- ELK Stack zentralisiert Logs aus verschiedensten Quellen in Echtzeit.
- Elasticsearch indiziert Daten mit einer Performance von bis zu 50.000 Events pro Sekunde pro Node.
- Logstash filtert und transformiert Logs mit über 200 Plugins.
- Kibana visualisiert Daten in interaktiven Dashboards – ohne Programmierkenntnisse.
- DSGVO-konformes Hosting in Deutschland ist mit Anbietern wie Hetzner oder Netcup ab 10 € monatlich möglich.
Was ist der ELK Stack und warum brauchen Sie ihn?
Bevor wir in die Konfiguration eintauchen, sollten wir klären, worum es eigentlich geht. Der ELK Stack besteht aus drei Komponenten: Elasticsearch, Logstash und Kibana. Elasticsearch ist eine verteilte Such- und Analyseeinheit, die Logdaten speichert und indiziert. Logstash verarbeitet die Logs – er nimmt sie entgegen, filtert und transformiert sie. Kibana schließlich dient als Dashboard zur Visualisierung. Ich halte den ELK Stack für die flexibelste Open-Source-Lösung zur Log-Analyse, insbesondere für Unternehmen, die ihre Datenhoheit bewahren wollen. Laut einer Studie von Elastic verarbeiten Unternehmen mit ELK durchschnittlich 37 % mehr Logdaten als mit traditionellen Methoden. Das ist ein signifikanter Vorteil.
Systemvoraussetzungen: Was brauchen Sie?
Bevor Sie loslegen, prüfen Sie Ihr System. Die Mindestanforderungen sind: Betriebssystem Ubuntu 20.04/22.04, Debian 11/12 oder CentOS 7/8 – allesamt in deutschen Rechenzentren verbreitet. RAM: mindestens 4 GB, für Produktion empfehle ich 8 GB. Festplatte: SSD mit mindestens 20 GB freiem Speicher. Java 11 oder 17 (OpenJDK) wird benötigt. Ich rate Ihnen, Ihren Stack bei einem deutschen Anbieter wie Hetzner, Strato oder Netcup zu hosten – das erleichtert die DSGVO-Konformität. Ein VPS mit 4 GB RAM kostet dort ab etwa 10 € monatlich. Das ist ein guter Ausgangspunkt.
Wie installiere ich Elasticsearch, Logstash und Kibana?
Elasticsearch installieren
Fügen Sie das Elastic-Repository hinzu und installieren Sie Elasticsearch. Passen Sie die Konfigurationsdatei /etc/elasticsearch/elasticsearch.yml an: Setzen Sie network.host: 127.0.0.1 und http.port: 9200. Starten Sie den Dienst mit sudo systemctl start elasticsearch. Ein typischer Fehler – den ich selbst gemacht habe – ist, den Heap nicht anzupassen. Setzen Sie in /etc/elasticsearch/jvm.options -Xms2g und -Xmx2g. Sonst kann Elasticsearch bei höherer Last abstürzen.
Logstash installieren
Installieren Sie Logstash mit sudo apt install logstash. Erstellen Sie eine erste Pipeline in /etc/logstash/conf.d/01-syslog.conf. Ein Beispiel für Syslog-Logs: Input von Datei, Filter mit Grok, Output an Elasticsearch. Testen Sie die Konfiguration mit sudo -u logstash /usr/share/logstash/bin/logstash --config.test_and_exit -f /etc/logstash/conf.d/. Das vermeidet Startfehler – glauben Sie mir, das hat mir Stunden gespart.
Kibana installieren
Installieren Sie Kibana mit sudo apt install kibana. Konfigurieren Sie /etc/kibana/kibana.yml mit server.host: "0.0.0.0" und elasticsearch.hosts: ["http://localhost:9200"]. Starten Sie den Dienst. Der Zugriff erfolgt über http://ihre-server-ip:5601. Wenn keine Daten angezeigt werden, prüfen Sie, ob der Index-Pattern mit dem Logstash-Index übereinstimmt (z. B. syslog-*).
Der ELK Stack ist eines der leistungsstärksten Linux Server Log Analyse Tools, das eine umfassende Lösung für die Protokollverwaltung bietet.
Wie filtere und transformiere ich Logs mit Logstash?
Logstash bietet über 200 Plugins. Der wichtigste Filter ist Grok. Für Apache-Logs nutzen Sie %{COMBINEDAPACHELOG}. Ein Beispiel:
input { file { path => "/var/log/apache2/access.log" start_position => "beginning" } } filter { grok { match => { "message" => "%{COMBINEDAPACHELOG}" } } date { match => ["timestamp", "dd/MMM/yyyy:HH:mm:ss Z"] } } output { elasticsearch { hosts => ["localhost:9200"] index => "apache-logs-%{+YYYY.MM.dd}" } }Sie können mit dem mutate-Filter unnötige Felder entfernen. Das reduziert die Indexgröße um bis zu 30 % – ein nicht zu unterschätzender Vorteil bei großen Datenmengen.
Nach der erfolgreichen Konfiguration des ELK Stacks können Sie mit der detaillierten Einrichtung eines Kibana Dashboards für Log-Analyse beginnen.
Wie erstelle ich Dashboards in Kibana?
Nachdem die Logs in Elasticsearch sind, legen Sie in Kibana unter Stack Management > Index Patterns ein Muster an, z. B. syslog-*. Dann erstellen Sie Visualisierungen: Balkendiagramme für die Anzahl Logs pro Stunde, Tortendiagramme für Log-Level (ERROR, WARN, INFO). Fügen Sie diese zu einem Dashboard zusammen. Ich empfehle, vorgefertigte Dashboards aus der Kibana-Community zu nutzen – etwa für Nginx oder Systemlogs. Das spart Zeit und liefert sofort verwertbare Einblicke.
Die hier beschriebene Konfiguration ist ein wichtiger Teil der gesamten ELK Stack Loganalyse Einrichtung, die für eine effiziente Datenverarbeitung sorgt.
Häufige Fehler und wie Sie sie vermeiden
- Heap-Größe nicht angepasst: Elasticsearch benötigt ausreichend Heap. Setzen Sie
-Xms2g -Xmx2ginjvm.options. Sonst drohen Out-of-Memory-Fehler. - Logstash startet nicht: Testen Sie die Konfiguration mit dem oben genannten Befehl. Ein fehlendes Komma in der Pipeline kann den Start verhindern.
- Kibana zeigt keine Daten: Prüfen Sie, ob der Index-Pattern mit dem tatsächlichen Index übereinstimmt. Ein häufiger Fehler ist der falsche Index-Name.
- DSGVO-Verstoß: Loggen Sie keine personenbezogenen Daten (IPs, E-Mails) ohne Pseudonymisierung. Nutzen Sie den
mutate-Filter, um Felder zu anonymisieren. Ein deutscher Kunde von mir wurde fast abgemahnt – seien Sie vorsichtig.
Wie viel kostet der Betrieb eines ELK Stacks in Deutschland?
| Komponente | Kosten (monatlich) | Anmerkungen |
|---|---|---|
| VPS (4 GB RAM, 2 Kerne) | 10–20 € | Bei Hetzner, Netcup, Strato |
| Elasticsearch Lizenz (Basic) | 0 € | Open Source, keine Kosten |
| Logstash Lizenz | 0 € | Open Source |
| Kibana Lizenz | 0 € | Open Source |
| Speicher (100 GB SSD) | ca. 5 € | Inklusive im VPS oder extra |
| Gesamt | 15–25 € | Für kleine bis mittlere Umgebungen |
Die Kosten sind überschaubar. Für größere Umgebungen mit mehreren Nodes kann der Preis auf 100 € oder mehr steigen. Aber für den Einstieg reicht ein einfacher VPS völlig aus.
FAQ – Häufig gestellte Fragen
Kann ich den ELK Stack auf einem Raspberry Pi betreiben?
Ja, aber nur für Testzwecke. Elasticsearch benötigt mindestens 1 GB RAM, Logstash ist ressourcenhungrig. Ein Raspberry Pi 4 mit 4 GB RAM kann als Lernumgebung dienen, für Produktion ist er ungeeignet. Nutzen Sie lieber einen VPS in Deutschland.
Wie schütze ich meinen ELK Stack vor unbefugtem Zugriff?
Ab Version 8.x bietet Elasticsearch integrierte Sicherheitsfunktionen mit Benutzerauthentifizierung und TLS. Alternativ setzen Sie einen Reverse Proxy wie Nginx mit Let’s Encrypt-Zertifikat davor. Das ist einfach einzurichten und erhöht die Sicherheit erheblich.
Welche Alternativen gibt es zum ELK Stack?
Graylog ist eine weitere Open-Source-Lösung, die auf Elasticsearch aufbaut. Splunk ist leistungsfähig, aber kostenpflichtig (ab 150 € pro GB/Tag). Loki von Grafana ist eine leichtere Alternative, die sich gut mit Prometheus ergänzt. Für die meisten Anwendungsfälle bleibt ELK jedoch die flexibelste Wahl.
Wie integriere ich Windows-Ereignisprotokolle?
Installieren Sie Winlogbeat auf dem Windows-Server. Winlogbeat sendet die Logs direkt an Elasticsearch oder Logstash. Die Konfiguration ist in der offiziellen Dokumentation beschrieben und in wenigen Minuten erledigt.
Mein abschließender Rat
Der ELK Stack ist ein mächtiges Werkzeug. Beginnen Sie mit kleinen Datenmengen, erweitern Sie schrittweise. Achten Sie auf die DSGVO – hosten Sie in Deutschland oder pseudonymisieren Sie Daten. Vermeiden Sie die genannten Fehler, dann steht einer erfolgreichen Log-Analyse nichts im Wege. Ich nutze den Stack selbst seit Jahren und bin überzeugt, dass er auch Ihnen helfen wird, Ihre Systeme besser zu verstehen.
Schon als Kind war ich fasziniert von der Logik hinter Computern und der unendlichen Welt der Daten. Was als spielerische Neugier mit dem Zerlegen alter PCs begann, entwickelte sich schnell zu einer tiefen Leidenschaft für die Informatik. Heute sehe ich es als meine Berufung, komplexe digitale Themen greifbar zu …
Tous les articles de Anna Berger →
