
- Logstash liest Datenströme aus Kafka über das Kafka-Input-Plugin und verarbeitet sie in einer Pipeline aus Input, Filter und Output.
- Die
group_idsteuert die Lastverteilung: gleiche Gruppe bedeutet Aufteilung, verschiedene Gruppen bedeuten doppelte Verarbeitung. - Für Echtzeit zählt die Partitionierung des Themas mehr als die Anzahl der Logstash-Instanzen.
- Prüfen Sie jede Konfiguration mit
--config.test_and_exit, bevor Sie den Dienst starten. - Personenbezogene Daten gehören vor dem Indexieren anonymisiert, sonst wird die DSGVO-Konformität zum Problem.
Was bedeutet es, Logstash Kafka Echtzeit-Datenanalyse zu konfigurieren?
Logstash Kafka Echtzeit-Datenanalyse zu konfigurieren heißt, eine Pipeline zu bauen, die Nachrichten aus einem Kafka-Thema liest, sie mit Filtern anreichert und in ein Ziel wie Elasticsearch schreibt. Klingt simpel. Ist es aber nicht.
Kurz gesagt :
- Logstash liest Kafka-Ströme über das Kafka-Input-Plugin und verarbeitet sie in einer Pipeline aus Input, Filter und Output.
- Die group_id steuert die Lastverteilung: gleiche Gruppe teilt die Verarbeitung auf, verschiedene Gruppen verarbeiten doppelt.
- Für Echtzeit ist die Partitionierung des Themas entscheidender als die Anzahl der Logstash-Instanzen.
- Personenbezogene Daten müssen vor dem Indexieren anonymisiert werden, um DSGVO-Konformität zu gewährleisten.
Bevor wir uns in die Tiefen der Konfiguration begeben, ist es unerlässlich, die fundamentalen Prinzipien der Datenverarbeitung zu verstehen, die diese beiden Werkzeuge so mächtig machen. Logstash ist eine Verarbeitungs-Pipeline. Es kennt drei Stufen: Input, Filter, Output. Apache Kafka ist ein verteilter Nachrichtenbroker. Er speichert Datenströme auf der Platte, in Partitionen, mit Replikation.
Der Unterschied ist architektonisch entscheidend. Kafka puffert. Logstash transformiert. Wenn Sie beides kombinieren, entkoppeln Sie Erzeuger und Verbraucher. Ein Webserver kann Events senden, ohne zu wissen, wer sie liest. Ein Analyse-Job kann sie lesen, ohne dass der Webserver auf ihn wartet.
Warum machen das französische Unternehmen? Ich sehe drei Muster. Fintechs verarbeiten Transaktionsströme für Betrugserkennung. E-Commerce-Plattformen werten Klickströme aus, um Empfehlungen in Sekunden zu aktualisieren. IoT-Installationen sammeln Sensorwerte aus Fabriken und verteilten Standorten.
In diesem Leitfaden zeige ich Ihnen sechs nummerierte Schritte. Von der Installation über das Kafka-Thema bis zur Überwachung in Produktion. Dazu die Fehler, die ich in Audits am häufigsten finde.
Für wen ist dieser Leitfaden gedacht und welche Voraussetzungen sind nötig?
Dieser Leitfaden richtet sich an Entwickler, Data Engineers und DevOps-Teams, die bereits mit Linux, JSON und der Kommandozeile arbeiten. Wer diese Grundlagen nicht mitbringt, wird an der Filter-Syntax scheitern.
Konkret brauchen Sie: Java 11 oder höher, Logstash 8.x und Kafka 3.x. Auf der Serverseite reicht für Tests eine Instanz mit 4 vCPU und 8 GB RAM. In Produktion planen Sie großzügiger, denn die JVM ist hungrig.
Wo hosten? Französische Cloud-Anbieter wie OVHcloud oder Scaleway sind für viele Teams attraktiv, weil die Daten das Land nicht verlassen. On-Premise bleibt üblich in regulierten Branchen. Ich habe beides betreut, und ehrlich gesagt: Die Konfiguration unterscheidet sich kaum. Nur das Netzwerk macht Ärger.
Ein Punkt, den viele unterschätzen: die DSGVO und die CNIL. Sobald personenbezogene Daten durch Ihre Pipeline fließen, brauchen Sie eine Rechtsgrundlage, eine definierte Aufbewahrungsfrist und eine Anonymisierung. Ich habe schon Pipelines gesehen, die IP-Adressen im Klartext in Elasticsearch schrieben. Das ist kein technisches Problem. Das ist ein juristisches.
1. Die Umgebung vorbereiten und die benötigten Komponenten installieren
Die Umgebung steht, wenn Java, Kafka und Logstash installiert sind, die Ports 9092 und 9600 erreichbar sind und alle Dienste über systemctl sauber starten und stoppen.
Arbeiten Sie mit getrennten Umgebungen für Entwicklung, Test und Produktion. Ich weiß, das klingt nach Lehrbuch. Aber die Hälfte der Incidents, die ich begleitet habe, entstand daraus, dass jemand auf dem Produktionsbroker testete.
- Java Development Kit installieren und
JAVA_HOMEsetzen. - Apache Kafka herunterladen und den KRaft-Modus starten (ZooKeeper ist auf dem Rückzug).
- Logstash über das offizielle Paket-Repository installieren.
- Die Dienste mit
systemctl enable --nowaktivieren und den Status prüfen.
Prüfen Sie nach der Installation die Ports mit ss -tlnp. Fehlt 9092, lauscht Kafka nicht auf der erwarteten Schnittstelle. Fehlt 9600, ist die Logstash-API nicht aktiv. Kleine Details, große Wirkung.
2. Ein Kafka-Thema für die Echtzeitdaten erstellen
Ein Kafka-Thema ist dann richtig dimensioniert, wenn die Anzahl der Partitionen mindestens der Anzahl Ihrer parallelen Konsumenten entspricht. Mehr Partitionen als Konsumenten sind Verschwendung, weniger sind ein Performance-Engpass.
Erstellen Sie das Thema mit kafka-topics.sh. Für unser Beispiel nennen wir es analyse-temps-reel mit drei Partitionen und einem Replikationsfaktor von zwei in Produktion.
Die Partitionierungsstrategie bestimmt die Lastverteilung. Schlüsselbasierte Partitionierung sorgt dafür, dass zusammengehörige Events beim selben Konsumenten landen. Das ist wichtig, wenn Sie Sitzungen oder Transaktionen in Reihenfolge auswerten wollen. Ohne Schlüssel verteilt Kafka round-robin, was für Log-Analyse meist genügt.
Denken Sie an retention.ms. Die Standardeinstellung von sieben Tagen ist für viele DSGVO-Szenarien zu lang. Ich setze in sensiblen Projekten oft 24 bis 48 Stunden. Das reduziert das Risiko und den Speicherbedarf zugleich.
| Parameter | Empfohlener Wert | Wirkung | Risiko bei Fehlkonfiguration |
|---|---|---|---|
| Partitionen | 3 bis 12 | Parallele Konsumenten | Engpass ab 3 Konsumenten |
| Replikationsfaktor | 2 bis 3 | Ausfallsicherheit | Datenverlust bei Broker-Ausfall |
| retention.ms | 86400000 bis 604800000 | Aufbewahrungsdauer | DSGVO-Verstoß oder Speicherdruck |
| auto_offset_reset | earliest oder latest | Startposition des Konsums | Nachrichtenverlust oder Duplikate |
3. Die Logstash-Pipeline mit einem Kafka-Input konfigurieren
Der Kafka-Input in Logstash wird über bootstrap_servers, topics, group_id und codec definiert. Diese vier Parameter entscheiden über Funktion und Lastverteilung.
Legen Sie die Datei logstash.conf im Verzeichnis /etc/logstash/conf.d/ ab. Eine minimale Input-Sektion sieht so aus:
input { kafka { bootstrap_servers => "kafka1:9092,kafka2:9092" topics => ["analyse-temps-reel"] group_id => "logstash-analyse" codec => "json" auto_offset_reset => "earliest" enable_auto_commit => true }
}Zwei Parameter verdienen Aufmerksamkeit. auto_offset_reset bestimmt, wo gelesen wird, wenn kein Offset gespeichert ist: earliest liest alles, latest nur Neues. enable_auto_commit steuert, ob Offsets automatisch bestätigt werden. Bei automatischem Commit können Nachrichten bei einem Absturz verloren gehen, wenn die Verarbeitung noch lief.
Für Echtzeit-Datenanalyse empfehle ich latest plus manuelles Commit in kritischen Pipelines. Ja, das kostet etwas Durchsatz. Aber Konsistenz schlägt Geschwindigkeit, wenn es um Geld oder Compliance geht.
4. Filter für die Echtzeit-Datenanalyse einrichten
Filter machen aus rohen Nachrichten auswertbare Felder: grok parst, date normalisiert Zeitstempel, mutate benennt um, entfernt oder konvertiert. Ohne Filter ist Logstash nur ein teurer Weiterleiter.
Der grok-Filter ist das Arbeitstier. Er zerlegt unstrukturierte Zeilen in benannte Felder. Für Webserver-Logs extrahieren Sie so IP-Adresse, Benutzeragent und Fehlercode. Wichtig: Testen Sie jedes Muster mit dem Grok-Debugger, bevor es in Produktion geht. Ein falsches Muster kostet Sie Stunden.
Der date-Filter vereinheitlicht Zeitstempel. Kafka liefert Event-Zeit, Logstash liefert Verarbeitungszeit. Beide können auseinanderliegen. Für Echtzeit-Auswertungen wollen Sie meist die Event-Zeit im Feld @timestamp.
Der mutate-Filter räumt auf. Er benennt Felder um, entfernt sensible Werte und konvertiert Typen. Genau hier gehört die Anonymisierung hin. Entfernen Sie IP-Adressen oder kürzen Sie sie auf das Subnetz, bevor irgendetwas gespeichert wird.
- Prüfen Sie jedes Grok-Muster gegen echte Beispieldaten, nicht gegen erfundene.
- Setzen Sie
tag_on_failure, um fehlgeschlagene Parses sichtbar zu machen. - Anonymisieren Sie personenbezogene Felder im
mutate-Filter, nicht erst im Output. - Vermeiden Sie verschachtelte Bedingungen, wo ein einfaches
ifreicht.
5. Den Output zu Elasticsearch oder einem anderen Ziel konfigurieren
Der Output schreibt die verarbeiteten Events in ein Ziel. Elasticsearch ist der Klassiker, aber Datei, InfluxDB, S3 oder ein weiteres Kafka-Thema sind valide Alternativen.
Für Elasticsearch nutzen Sie ein Indexmuster wie logstash-analyse-%{+YYYY.MM.dd}. Das erzeugt tägliche Indizes, was Rotation und Löschung vereinfacht. Achten Sie darauf, dass das Feld @timestamp korrekt gesetzt ist, sonst landen Events im falschen Index.
Fehler passieren. Deshalb konfigurieren Sie die dead_letter_queue. Sie fängt Events ab, die der Output nicht schreiben konnte. Ohne sie verlieren Sie Daten still und merken es erst Wochen später. Sprechen Sie aus Erfahrung: Ich habe genau das einmal übersehen, und die Lücke im Dashboard war nicht erklärbar.
Wenn Sie einen zweiten Kafka-Broker als Ziel nutzen, bleibt die Pipeline entkoppelt. Das ist nützlich, wenn mehrere Teams dieselben angereicherten Daten brauchen.
6. Die Pipeline testen, überwachen und in Produktion bringen
Eine Pipeline ist produktionsreif, wenn die Konfiguration syntaktisch geprüft ist, eine Testnachricht durchläuft, die Dokumente in Elasticsearch ankommen und eine Alarmierung bei Konsumverzögerung existiert.
Testen Sie zuerst mit --config.test_and_exit. Dieser Schalter prüft die Syntax, ohne den Dienst zu starten. Dann senden Sie eine Testnachricht in das Thema und beobachten das Logstash-Log.
- Konfigurationsdatei auf Syntaxfehler prüfen.
- Testnachricht in das Kafka-Thema senden.
- Verarbeitung im Logstash-Log kontrollieren.
- Indexierte Dokumente in Elasticsearch prüfen.
- Alarmierung bei Verzögerungen im Konsum einrichten.
Die Überwachung läuft über die Logstash-Monitoring-API und Kibana. Beobachten Sie die Konsumverzögerung, also den Abstand zwischen letztem Offset und Ende der Partition. Steigt sie, ist Ihre Verarbeitung langsamer als der Eingang. Dann hilft nur Skalierung: mehr Logstash-Instanzen, mehr Partitionen, mehr JVM-Heap.
Ein Wort zur JVM. Setzen Sie LS_JAVA_OPTS bewusst. Der Standard-Heap ist für Echtzeitlast oft zu klein, und ein voller Heap blockiert die gesamte Pipeline.
Welche Fehler sollte man beim Konfigurieren von Logstash und Kafka vermeiden?
Die häufigsten Fehler sind eine falsche group_id, ein zu kleiner JVM-Heap, fehlende Verschlüsselung, vernachlässigte DSGVO-Pflichten und eine zu grobe Partitionierung.
Eine falsche group_id führt zu doppelter Verarbeitung, weil zwei Konsumentengruppen dieselben Nachrichten lesen. Das fällt erst auf, wenn die Zahlen im Dashboard nicht stimmen. Prüfen Sie die Gruppenzuordnung, bevor Sie skalieren.
Fehlende TLS-Verschlüsselung zwischen Logstash und Kafka ist in regulierten Umgebungen ein Ausschlusskriterium. Konfigurieren Sie SASL und TLS, auch im internen Netz. Ich weiß, Zertifikate sind lästig. Aber unverschlüsselte Broker-Kommunikation ist ein offenes Fenster.
Eine unzureichende Partitionierung erzeugt einen Performance-Engpass, den Sie nicht durch mehr Logstash-Instanzen lösen können. Und ohne Wiederherstellungsstrategie für den Ausfall eines Brokers verlieren Sie im schlimmsten Fall Daten.
group_idpro Konsumentengruppe eindeutig halten.LS_JAVA_OPTSan das Datenvolumen anpassen.- TLS und SASL zwischen Logstash und Kafka aktivieren.
- Anonymisierung und Aufbewahrungsfristen dokumentieren.
- Partitionen an die erwartete Parallelität koppeln.
- Eine getestete Wiederherstellung für Broker-Ausfälle bereithalten.
Häufig gestellte Fragen zu Logstash und Kafka
Was ist der Unterschied zwischen Logstash und Kafka?
Kafka ist ein Nachrichtenbroker, der Datenströme speichert und verteilt; Logstash ist eine Verarbeitungs-Pipeline, die Daten liest, transformiert und weitergibt. Die beiden ergänzen sich, statt zu konkurrieren.
Kann man Logstash ohne Kafka betreiben?
Ja, mit Datei-, Beats- oder HTTP-Inputs. Kafka bringt jedoch Skalierbarkeit und Ausfallsicherheit, die ein einfacher Datei-Input nicht bietet.
Welche Kosten entstehen für eine Echtzeit-Pipeline in Frankreich?
Bei OVHcloud oder Scaleway liegen mittlere Instanzen mit 4 vCPU und 8 GB RAM grob zwischen 30 und 80 Euro pro Monat, abhängig von Laufzeit und Speicher. Rechnen Sie den Elasticsearch-Speicher separat.
Ist die Kombination Logstash und Kafka DSGVO-konform?
Ja, sofern Sie personenbezogene Daten anonymisieren, die Übertragung verschlüsseln und Aufbewahrungsfristen definieren. Die Verantwortung liegt beim Verantwortlichen, nicht beim Werkzeug.
Welche Alternativen gibt es zu Logstash?
Filebeat für leichtes Shipping, Fluentd und Vector für breitere Integrationen, Kafka Streams für Verarbeitung direkt im Broker. Die Wahl hängt vom Anwendungsfall ab.
Eine gut konfigurierte Pipeline für echte Echtzeit-Analyse
Sechs Schritte, ein Ziel: Daten vom Broker bis ins Analysewerkzeug, ohne Verlust und ohne Überraschung. Installation, Thema, Input, Filter, Output, Überwachung. Jeder Schritt hat seine Fallstricke, und fast alle sind vermeidbar.
Testen Sie, bevor Sie skalieren. Überwachen Sie, bevor Sie alarmiert werden. Und kümmern Sie sich um Konformität, bevor die Aufsicht fragt. Das ist keine Bürokratie, das ist Architektur.
Wenn Sie mehr solcher praktischen Leitfäden zu Data Engineering lesen möchten, abonnieren Sie den Newsletter. Und wenn Sie die Konfiguration lieber als Nachschlagewerk dabeihaben wollen, laden Sie den Leitfaden als PDF herunter.
Eine detaillierte Anleitung zur Konfiguration von Logstash mit Kafka für Echtzeit-Datenanalyse finden Sie in unserem umfassenden Leitfaden, der alle Schritte beleuchtet.
Um auch bei hohen Datenvolumen eine reibungslose Verarbeitung zu gewährleisten, ist ein gezieltes Logstash Performance-Tuning unerlässlich.
Für eine skalierbare und robuste Infrastruktur empfiehlt es sich, Logstash mit Docker & Kubernetes zu betreiben, um die Vorteile der Containerisierung voll auszuschöpfen.
Logstash Kafka für Echtzeit-Datenanalyse konfigurieren
- Kafka-Input einrichten — Konfigurieren Sie das Kafka-Input-Plugin mit Bootstrap-Servern, Topic und group_id, damit Logstash Nachrichten aus dem Thema liest.
- group_id festlegen — Legen Sie die group_id bewusst fest: gleiche Gruppe bedeutet Lastverteilung, verschiedene Gruppen bedeuten doppelte Verarbeitung.
- Partitionierung planen — Planen Sie die Partitionierung des Themas sorgfältig, da sie für Echtzeit wichtiger ist als die Anzahl der Logstash-Instanzen.
- Filter anwenden — Reichern Sie die Nachrichten mit Filtern an und anonymisieren Sie personenbezogene Daten vor dem Indexieren, um DSGVO-Konformität zu wahren.
- Konfiguration prüfen — Prüfen Sie jede Konfiguration mit –config.test_and_exit, bevor Sie den Dienst starten, um Fehler früh zu erkennen.




