Log Management Software

    Hallo @all,


    nach meinen Metrics Monitoring Beitrag.


    Würde ich heute mal gerne wissen welche Software ihr für Logs benutzt?


    Ich habe aktuell ein ELK-Stack (Elasticsearch, Logstash, Kibana) auf einer VM zum testen.

    Aber damit bin ich noch nicht so richtig warm geworden. Kibana ist irgendwie nicht so geil vorallem im Vergleich zu Grafana.

    Und obwohl ich nur die Syslogs der VM im ELK-Stack verarbeite braucht das ding jetzt schon 550MB für die Indexe.

    Das könnte dann recht schnell bei Produktivsystemen eskalieren...



    Vielen Dank und liebe Grüße,

    Nano

    Matrix: @nan0:nan0.dev - IRC: nan0 on hackint.org - Discord? Nein danke!

    ELK eindeutig. Graylog hatte ich auch mal im Einsatz, aber das liegt mir technisch zu weit zurück. Lohnen tut sich das nur im etwas größeren Stil.

    "Security is like an onion - the more you dig in the more you want to cry"

    Zitat von vmk

    ELK eindeutig. Graylog hatte ich auch mal im Einsatz, aber das liegt mir technisch zu weit zurück. Lohnen tut sich das nur im etwas größeren Stil.

    Könntest du mir etwas mehr Details verraten wie du das machst?


    Wieviel Storage braucht ELK bei dir? Das schreckt mich etwas ab.

    Und wie hast du Dashboards aufgebaut. Da komme ich mit Kibana nicht ganz zurecht.

    Matrix: @nan0:nan0.dev - IRC: nan0 on hackint.org - Discord? Nein danke!

    Der Storage Bedarf bei ELK liegt fast 1:1 wie die originalen Logfiles. Das konnte ich gut im Monitoring nachvollziehen, als ich alte Logfiles importiert hatte.


    Wenn du wirklich auf die Replikas in Elasticsearch bestehst, dann natürlich Faktor 2x.


    Dashboards sind einfach, das ist nur eine Graphensammlung. Überlegen dir aber bitte irgendein Namensschemata, sonst gehst du unter.


    Mit größerem Stil meine ich, du musst dich da schon einige Zeit einarbeiten. Vieles kommt dann von selbst. Filebeat ist sehr mächtig, wenn man es mal raus hat. Aber genau hier liegt viel Potential. Ebenso bei dem Thema „wofür soll das Dashboard gut sein?“. Du bist da schnell in Kontakt mit anderen Abteilungen/Fachbereichen, denn für nicht ITler ist eine Visualisierung sehr gut. Früher haben die Leute Excel benutzt und 1mal abends/pro Woche die Sache per Fax verschickt - Heutzutage bist du live.


    Ich betreibe zur Zeit keinen ELK mehr selbst. Das hatte ich in einer „kleineren“ Firma gemacht.

    "Security is like an onion - the more you dig in the more you want to cry"