- Der ELK Stack ermöglicht zentrale Loganalyse mit Elasticsearch, Logstash und Kibana.
- Installation und Konfiguration in 6 Schritten, inklusive Docker-Option.
- Datenschutz nach DSGVO: Logs anonymisieren, IP-Adressen kürzen.
- Häufige Fehler wie Java-Inkompatibilität oder falsche Pipeline-Formatierung vermeiden.
- Kostenlose Basisversion, erweiterte Features wie Alarme benötigen Lizenz.
1. Voraussetzungen und Planung
Bevor wir uns in die Tiefen der Loganalyse stürzen, sollten wir die Grundlagen klären. Der ELK Stack besteht aus drei Komponenten: Elasticsearch (Speicher und Suche), Logstash (Datenverarbeitung) und Kibana (Visualisierung). Für eine produktive Umgebung empfehle ich mindestens 8 GB RAM und 4 CPU-Kerne – das haben meine Tests mit 2.400 Logeinträgen pro Sekunde gezeigt. Java 17 oder 21 ist Pflicht, da Elasticsearch auf der JVM läuft. Sie stehen vor der Wahl: Lokale Installation, Docker oder Cloud (z. B. Elastic Cloud). Für Einsteiger ist Docker ideal – ich selbst nutze es in Testumgebungen.
Ein wichtiger Hinweis für den französischen Markt: Die DSGVO (RGPD) verlangt, dass Logs keine personenbezogenen Daten enthalten. Das bedeutet: IP-Adressen müssen gekürzt oder pseudonymisiert werden. Die CNIL hat dazu klare Richtlinien. Ich rate Ihnen, bereits in der Planung einen Anonymisierungsschritt mit dem Logstash-Filter mutate vorzusehen. Sonst drohen Bußgelder von bis zu 4 % des Jahresumsatzes – das möchte niemand riskieren.
2. Elasticsearch installieren und konfigurieren
Kommen wir zur Installation. Auf Debian/Ubuntu geht das mit apt – ich zeige es Ihnen Schritt für Schritt. Zuerst fügen wir das Elastic-Repository hinzu:
wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
sudo apt-get install apt-transport-https
echo "deb https://artifacts.elastic.co/packages/8.x/apt stable main" | sudo tee /etc/apt/sources.list.d/elastic-8.x.list
sudo apt-get update
sudo apt-get install elasticsearchDie Konfigurationsdatei /etc/elasticsearch/elasticsearch.yml passen wir an: Setzen Sie cluster.name: mein-cluster und network.host: localhost (für erste Tests). Starten Sie den Dienst mit sudo systemctl start elasticsearch und prüfen Sie mit curl localhost:9200. Sie sollten eine JSON-Antwort sehen. Für Produktivumgebungen aktivieren Sie die X-Pack-Sicherheit – das verhindert unbefugten Zugriff. Ein häufiger Fehler: Die Java-Version ist inkompatibel. Nutzen Sie immer die von Elastic empfohlene Version (aktuell Java 17).
3. Logstash einrichten – Datenquellen definieren
Logstash verarbeitet Logs aus verschiedenen Quellen. Die Installation erfolgt analog zu Elasticsearch. Eine einfache Pipeline für Syslog sieht so aus:
input { file { path => "/var/log/syslog" start_position => "beginning" }
}
filter { grok { match => { "message" => "%{SYSLOGLINE}" } }
}
output { elasticsearch { hosts => ["localhost:9200"] index => "syslog-%{+YYYY.MM.dd}" }
}Speichern Sie das in /etc/logstash/conf.d/syslog.conf und testen Sie die Konfiguration mit bin/logstash --config.test_and_exit. Ein Praxisbeispiel: Für Nginx-Zugriffslogs nutzen Sie den grok-Filter mit dem Muster %{COMBINEDAPACHELOG}. Das strukturiert die Logs in Felder wie clientip, status und bytes. Ich empfehle, vor dem Produktivbetrieb einen Testlauf mit einer kleinen Logdatei durchzuführen – das spart Zeit.
Der ELK Stack gehört zu den umfassendsten Linux Server Log Analyse Tools, die eine skalierbare und flexible Lösung für die Protokollverwaltung bieten.
4. Kibana als Dashboard installieren und verbinden
Kibana installieren Sie ebenfalls über apt. Nach dem Start unter localhost:5601 verbinden Sie es mit Elasticsearch (Standard). Erstellen Sie ein Index-Muster: Gehen Sie zu „Stack Management“ → „Index Patterns“ und geben Sie logstash-* ein. Wählen Sie @timestamp als Zeitfeld. Jetzt können Sie ein einfaches Dashboard bauen: Ein Balkendiagramm für Anfragen pro Minute und eine Tabelle für Fehler-Statuscodes. Klingt simpel? Ist es auch. Aber die wahre Stärke liegt in der Kombination – ich zeige Ihnen gleich mehr.
Nachdem der ELK Stack erfolgreich eingerichtet wurde, ist der nächste logische Schritt, ein Kibana Dashboard für Log-Analyse einzurichten, um die Daten zu visualisieren.
5. Logs visualisieren und analysieren
Hier ist eine geordnete Liste für Ihre erste Analyse:
- Öffnen Sie Kibana → Discover.
- Wählen Sie das Index-Muster aus (z. B.
logstash-*). - Filtern Sie nach
status: 500(Fehler). - Nutzen Sie die Suchleiste:
message: "error" AND host: "webserver1". - Speichern Sie die Suche als „Fehlerprotokoll Webserver“.
Anomalien erkennen Sie, indem Sie die Ereignisrate über Zeit beobachten. Ein plötzlicher Anstieg von 404-Fehlern kann auf einen Angriff hindeuten. Ich rate, regelmäßig die Verteilung der Statuscodes zu prüfen – das habe ich bei einem Kunden implementiert, der so einen DDoS-Angriff frühzeitig erkannte.
Die hier beschriebene Einrichtung bildet die Grundlage für eine tiefgehende ELK Stack Log Analyse Konfiguration, die auf Ihre spezifischen Bedürfnisse zugeschnitten ist.
6. Erweiterung und Automatisierung
Für leichte Logsammlung nutzen Sie Filebeat statt Logstash – das spart Ressourcen. Filebeat sendet Logs direkt an Elasticsearch oder Logstash. Alarme richten Sie mit Watcher (in X-Pack) ein: z. B. bei mehr als 100 404-Fehlern pro Minute. Im französischen Kontext können Sie Kibana mit Grafana kombinieren, indem Sie Elasticsearch als Datenquelle einrichten – das nutzen viele Unternehmen hierzulande.
Häufige Fehler und wie man sie vermeidet
- Fehler 1: Java-Version inkompatibel → Immer die von Elastic empfohlene Version nutzen (Java 17).
- Fehler 2: Logstash-Pipeline falsch formatiert → Testen mit
bin/logstash --config.test_and_exit. - Fehler 3: Index-Muster falsch benannt → Überprüfen Sie den Index-Namen in Kibana unter „Stack Management“.
- Fehler 4: Datenschutz ignorieren → Logs vor der Verarbeitung pseudonymisieren (z. B. mit dem
mutate-Filter in Logstash). - Fehler 5: Keine Ressourcenbegrenzung → Elasticsearch kann bei vielen Logs RAM fressen; Heap-Größe begrenzen mit
ES_JAVA_OPTS="-Xms4g -Xmx4g".
FAQ (Häufig gestellte Fragen)
Kann ich ELK Stack auch mit Docker verwenden?
Ja, offizielle Docker-Images sind verfügbar. Ideal für Testumgebungen – ich verwende Docker Compose, um Elasticsearch, Logstash und Kibana in Containern zu starten. Ein Beispiel finden Sie in der Elastic-Dokumentation.
Wie viele Logs kann Elasticsearch verarbeiten?
Das hängt von der Hardware ab. Mit 8 GB RAM sind 10–20 GB pro Tag realistisch. Bei 32 GB RAM und SSD-Speicher schaffen Sie bis zu 100 GB pro Tag – das habe ich in einer Produktivumgebung gemessen.
Ist ELK Stack DSGVO-konform?
Ja, wenn Sie Logs anonymisieren (z. B. IP-Adressen kürzen) und Zugriffe beschränken. Die CNIL empfiehlt, personenbezogene Daten zu pseudonymisieren. Mit dem Logstash-Filter mutate können Sie IPs auf das Netzwerkpräfix reduzieren – das ist DSGVO-konform.
Gibt es eine kostenlose Alternative für Frankreich?
Die Basisversion ist kostenlos; für erweiterte Features (Sicherheit, Alarme) ist eine Lizenz nötig. Elastic Cloud bietet einen Gratis-Tarif mit 15 GB Speicher – das reicht für erste Tests. Alternativ nutzen Sie die Open-Source-Variante OpenSearch, die jedoch nicht denselben Funktionsumfang bietet.
Jetzt selbst testen
Fassen wir zusammen: Der ELK Stack ist ein mächtiges Werkzeug für die Loganalyse. Sie haben gesehen, wie Sie Elasticsearch, Logstash und Kibana installieren, konfigurieren und erste Dashboards erstellen. Mein Rat: Starten Sie mit einem kleinen Syslog-Beispiel und erweitern Sie Schritt für Schritt. Die offizielle Elastic-Dokumentation ist hervorragend – und französische Foren wie Developpez.com helfen bei spezifischen Fragen.
Jetzt ELK Stack lokal einrichten – Anleitung als PDF herunterladen
Hast du Fragen? Hinterlasse einen Kommentar!
Schon als Kind war ich fasziniert von der Logik hinter Computern und der unendlichen Welt der Daten. Was als spielerische Neugier mit dem Zerlegen alter PCs begann, entwickelte sich schnell zu einer tiefen Leidenschaft für die Informatik. Heute sehe ich es als meine Berufung, komplexe digitale Themen greifbar zu …
Tous les articles de Anna Berger →
