
- Mehrere Pipelines in Logstash isolieren Datenströme und erhöhen die Resilienz.
- Die zentrale Steuerung erfolgt über die Datei
pipelines.ymlim Konfigurationsverzeichnis. - Jede Pipeline erhält eine eindeutige
pipeline.idund eigene Worker-Einstellungen. - Monitoring über die Logstash-API und Elasticsearch ist entscheidend für den Betrieb.
- Fehler vermeiden: Portkonflikte, doppelte IDs und unzureichende Ressourcentrennung.
Einführung: Warum und wie Sie mehrere Pipelines in Logstash strukturieren
Bevor wir uns in die Tiefen der Pipeline-Orchestrierung begeben, ist es unerlässlich, die fundamentalen Prinzipien der Isolation und Ressourcenverwaltung zu verstehen, die Logstash zu einem mächtigen Werkzeug machen. Ein Logstash-Pipeline ist im Kern eine Abfolge von Input-, Filter- und Output-Plugins, die Ereignisse verarbeitet. Wenn Sie mehrere Pipelines betreiben, können Sie unterschiedliche Datenströme – etwa Anwendungslogs, Metriken und Geschäftsereignisse – voneinander trennen. Das erhöht die Übersichtlichkeit und verhindert, dass ein fehlerhafter Filter die gesamte Verarbeitung lahmlegt.
Kurz gesagt :
- Mehrere Pipelines isolieren Datenströme und erhöhen die Resilienz.
- Die zentrale Steuerung erfolgt über die Datei pipelines.yml im Konfigurationsverzeichnis.
- Jede Pipeline erhält eine eindeutige pipeline.id und eigene Worker-Einstellungen.
- Monitoring über die Logstash-API und Elasticsearch ist entscheidend; Portkonflikte, doppelte IDs und unzureichende Ressourcentrennung sind zu vermeiden.
Die Notwendigkeit, mehrere Pipelines zu verwalten, ergibt sich aus steigenden Datenvolumina und der Vielfalt der Quellen. In meiner langjährigen Praxis als Systemarchitekt habe ich oft gesehen, dass monolithische Pipelines bei Wachstum schnell an ihre Grenzen stoßen. Die Trennung in eigenständige Pipelines – jede mit eigenen Workern und Warteschlangen – verbessert die Skalierbarkeit und Resilienz. Dieser Leitfaden führt Sie Schritt für Schritt durch die Einrichtung, Konfiguration und Überwachung mehrerer Pipelines. Als Voraussetzung sollten Sie über Grundkenntnisse in Logstash und YAML verfügen sowie Zugriff auf die Konfigurationsdateien haben.
1. Das Funktionieren mehrerer Pipelines in Logstash verstehen
Eine Logstash-Pipeline besteht aus drei Phasen: Input, Filter und Output. Jede Pipeline wird von einer eigenen Instanz der Pipeline-Runtime ausgeführt, die Ressourcen wie Threads und Speicher zugewiesen bekommt. Bei mehreren Pipelines spricht man von einer Multi-Pipeline-Konfiguration, die es ermöglicht, unabhängige Datenflüsse parallel zu betreiben. Der zentrale Unterschied zur monolithischen Pipeline liegt in der Isolation: Jede Pipeline hat eigene Worker, eigene persistente Warteschlangen und eigene Metriken.
Die Datei pipelines.yml ist das Herzstück der Multi-Pipeline-Verwaltung. Sie definiert, welche Pipelines gestartet werden und mit welchen Parametern. Jeder Eintrag enthält mindestens eine pipeline.id und einen path.config, der auf das Verzeichnis oder die Datei mit der Pipeline-Konfiguration verweist. Optional lassen sich pipeline.workers, queue.type und weitere Einstellungen festlegen. Die Architektur erlaubt es, Ressourcen gezielt zuzuweisen und so Performance-Engpässe zu vermeiden.
Die Isolation verbessert die Resilienz: Stürzt eine Pipeline ab, bleiben die anderen unberührt. Auch die Wartung wird einfacher, da Sie einzelne Pipelines unabhängig voneinander aktualisieren oder neu starten können. In der Praxis hat sich bewährt, für jeden Datenstrom eine eigene Pipeline zu definieren, sofern die Datenquellen und Verarbeitungslogiken klar getrennt sind. Allerdings sollten Sie die Anzahl der Pipelines nicht übertreiben, da jede Pipeline zusätzliche Ressourcen bindet.
2. Die Umgebung und Konfigurationsdateien vorbereiten
Prüfen Sie zunächst die installierte Logstash-Version und den Pfad zu den Konfigurationsverzeichnissen. In der Regel liegt die Hauptkonfiguration unter /etc/logstash/. Für jede Pipeline legen Sie ein eigenes Verzeichnis an, beispielsweise /etc/logstash/conf.d/pipeline-app/. Dort erstellen Sie eine oder mehrere .conf-Dateien mit den Blöcken input, filter und output. Achten Sie darauf, dass die Dateien syntaktisch korrekt sind und keine Überschneidungen bei Ports oder Pfaden auftreten.
Definieren Sie Umgebungsvariablen für wiederkehrende Werte wie Hostnamen, Ports oder Anmeldeinformationen. Dies erleichtert die Anpassung an unterschiedliche Umgebungen (Entwicklung, Test, Produktion). Ein Bewährtes Vorgehen ist die Verwendung von ${VAR}-Platzhaltern in den Konfigurationsdateien, die zur Laufzeit ersetzt werden. Versionieren Sie Ihre Konfigurationen in einem Git-Repository und führen Sie Code-Reviews durch, um Fehler frühzeitig zu erkennen.
- Verzeichnisstruktur: Ein Ordner pro Pipeline unter
/etc/logstash/conf.d/. - Dateinamen: Sprechende Namen wie
app-logs.conf,metrics.conf. - Umgebungsvariablen: In einer zentralen Datei oder als Systemumgebungsvariablen.
- Versionskontrolle: Git-Repository mit Branching-Strategie für Änderungen.
3. Pipelines in der Datei pipelines.yml deklarieren
Die Datei pipelines.yml liegt standardmäßig unter /etc/logstash/pipelines.yml. Sie enthält eine Liste von Pipeline-Definitionen. Jeder Eintrag beginnt mit einem Bindestrich und enthält mindestens pipeline.id und path.config. Weitere Parameter wie pipeline.workers, queue.type und queue.max_bytes sind optional. Die Syntax muss YAML-konform sein, insbesondere Einrückungen und Anführungszeichen.
Ein kommentiertes Beispiel für zwei Pipelines:
- pipeline.id: app-logs path.config: "/etc/logstash/conf.d/pipeline-app/*.conf" pipeline.workers: 4 queue.type: persisted - pipeline.id: metrics path.config: "/etc/logstash/conf.d/pipeline-metrics/*.conf" pipeline.workers: 2 queue.type: memory
Vergeben Sie eindeutige und sprechende IDs. Die Worker-Anzahl sollte sich an der Anzahl der CPU-Kerne und der erwarteten Last orientieren. Für persistente Warteschlangen wählen Sie queue.type: persisted, um Datenverlust bei Neustarts zu vermeiden. Prüfen Sie die YAML-Syntax vor dem Start mit einem YAML-Parser oder dem Befehl logstash --config.test_and_exit.
| Parameter | Pipeline app-logs | Pipeline metrics |
|---|---|---|
| pipeline.id | app-logs | metrics |
| path.config | /etc/logstash/conf.d/pipeline-app/*.conf | /etc/logstash/conf.d/pipeline-metrics/*.conf |
| pipeline.workers | 4 | 2 |
| queue.type | persisted | memory |
| queue.max_bytes | 1gb | nicht gesetzt |
4. Eingaben, Filter und Ausgaben für jede Pipeline konfigurieren
Wählen Sie für jede Pipeline spezifische Inputs, die sich nicht mit anderen Pipelines überschneiden. Beispielsweise können Sie für Anwendungslogs einen beats-Input auf Port 5044 verwenden und für Metriken einen tcp-Input auf Port 5045. Isolieren Sie Filter pro Pipeline, um unerwünschte Seiteneffekte zu vermeiden. Jede Pipeline sollte nur die Filter enthalten, die für ihren Datenstrom relevant sind.
Definieren Sie für jede Pipeline eigene Output-Ziele, etwa unterschiedliche Elasticsearch-Indizes oder Broker. Verwenden Sie Tags und Metadatenfelder, um die Herkunft der Ereignisse nachvollziehbar zu machen. Vermeiden Sie duplizierte Konfigurationen, indem Sie gemeinsame Filter in separate Dateien auslagern und per include einbinden. Dies fördert die Konsistenz und reduziert den Wartungsaufwand.
- Inputs: Eindeutige Ports, Topics oder Dateipfade pro Pipeline.
- Filter: Nur die für den Datenstrom notwendigen Plugins, keine globalen Filter.
- Outputs: Getrennte Indizes oder Senken, z.B.
logs-app-%{+YYYY.MM.dd}undmetrics-%{+YYYY.MM.dd}. - Metadaten: Felder wie
@metadata.pipelinezur Nachverfolgung. - Wiederverwendung: Gemeinsame Filter in
common/-Verzeichnis und Einbindung perinclude.
5. Pipelines starten, überwachen und diagnostizieren
Starten Sie Logstash und prüfen Sie die Logs auf Meldungen wie „Pipeline started“ für jede Pipeline. Die Logstash-API unter http://localhost:9600/_node/stats/pipelines liefert detaillierte Statistiken pro Pipeline. Überwachen Sie Schlüsselmetriken wie Durchsatz, Latenz, Warteschlangengröße und Fehlerraten. Richten Sie Alarme für kritische Schwellenwerte ein, etwa wenn die Warteschlange überläuft oder die Fehlerrate steigt.
Bei Problemen analysieren Sie die Logs und die API-Antworten. Häufige Ursachen sind Portkonflikte, fehlerhafte Filter oder Speichermangel. Nutzen Sie das --config.debug-Flag, um die geladene Konfiguration zu überprüfen. Eine Rotationsstrategie für Logs verhindert, dass Festplatten volllaufen. In meiner Erfahrung hat sich ein zentrales Monitoring mit Elasticsearch und Kibana bewährt, um alle Pipelines im Blick zu behalten.
| Metrik | Beschreibung | Kritischer Schwellenwert (Richtwert) |
|---|---|---|
| events.in | Anzahl der eingehenden Ereignisse pro Pipeline | Abhängig von der Kapazität |
| events.filtered | Anzahl der gefilterten Ereignisse | Muss nahe events.in liegen |
| queue.events_count | Anzahl der Ereignisse in der Warteschlange | > 80% der maximalen Größe |
| queue.queue_size_in_bytes | Größe der Warteschlange in Bytes | > 90% von queue.max_bytes |
| pipelines. | Anzahl der ausgegebenen Ereignisse | Sollte events.in entsprechen |
6. Mehrere Pipelines langfristig warten und weiterentwickeln
Neue Pipelines fügen Sie einfach in pipelines.yml hinzu und starten Logstash neu. Ein Neustart betrifft alle Pipelines, es sei denn, Sie nutzen die Reload-Funktion für einzelne Pipelines. Letztere ist jedoch nur begrenzt verfügbar und erfordert die Aktivierung von config.reload.automatic. Für Änderungen an einer einzelnen Pipeline ohne Neustart können Sie die API verwenden, sofern die Pipeline dies unterstützt.
Dokumentieren Sie jede Pipeline mit Eigentümer, Datenquelle, Ziel und Kritikalität. Integrieren Sie die Konfigurationen in ein Git-Repository und führen Sie regelmäßige Reviews durch. Bei Versionsupdates von Logstash prüfen Sie die Kompatibilität der Plugins und Konfigurationen. Ein schrittweises Vorgehen – zuerst in einer Testumgebung – minimiert das Risiko. In der Praxis hat es sich bewährt, pro Pipeline eine eigene Konfigurationsdatei zu pflegen und gemeinsame Elemente auszulagern.
- Neue Pipeline: Eintrag in
pipelines.ymlergänzen und Logstash neu starten. - Änderung: Nur die betroffene Pipeline anpassen und bei Bedarf neu starten.
- Versionierung: Git-Tags für Releases, die mit Logstash-Versionen korrelieren.
- Dokumentation: Ein README pro Pipeline mit Zweck und Ansprechpartner.
- Test: Neue Konfigurationen zunächst mit
--config.test_and_exitprüfen.
7. Häufige Fehler, die Sie vermeiden sollten
Der offensichtlichste Fehler ist die doppelte Vergabe derselben pipeline.id. Logstash startet dann nicht oder verhält sich unerwartet. Ein weiterer häufiger Fehler sind Portkonflikte, wenn zwei Pipelines denselben Input-Port belegen. Auch die Überlastung einer einzelnen Pipeline durch zu viele Worker oder zu große Warteschlangen kann die Performance beeinträchtigen. Vergessen Sie nicht, pipelines.yml nach Änderungen neu zu laden – ein einfaches Speichern reicht nicht.
Ein oft übersehener Punkt ist das Fehlen persistenter Warteschlangen. Ohne sie gehen bei einem Neustart Ereignisse verloren. Auch verwaiste Konfigurationsdateien in den Pipeline-Verzeichnissen können Verwirrung stiften, wenn sie nicht mehr verwendet werden. Räumen Sie regelmäßig auf und dokumentieren Sie, welche Dateien aktiv sind.
- Doppelte
pipeline.idverwenden. - Input-Ports nicht isolieren und Konflikte provozieren.
- Einen einzelnen Pipeline überlasten, statt die Last zu verteilen.
- Persistente Warteschlangen vernachlässigen und Datenverlust riskieren.
pipelines.ymländern, ohne Logstash neu zu starten.- Verwaiste Konfigurationsdateien nicht entfernen.
Häufig gestellte Fragen zur Verwaltung mehrerer Pipelines in Logstash
Kann man mehrere Pipelines in einer einzigen Logstash-Instanz ausführen?
Ja, Logstash unterstützt seit Version 6.0 mehrere Pipelines in einer Instanz. Die Konfiguration erfolgt über pipelines.yml, und jede Pipeline läuft in einem eigenen Thread-Pool mit eigenen Ressourcen. Dies ermöglicht die parallele Verarbeitung unterschiedlicher Datenströme, ohne dass separate Logstash-Prozesse gestartet werden müssen.
Wie isoliert man Ressourcen zwischen zwei Pipelines?
Die Isolation erfolgt über die Zuweisung von pipeline.workers und die Wahl des queue.type. Jede Pipeline erhält einen eigenen Satz von Workern und eine eigene Warteschlange. Dadurch können Sie die CPU- und Speichernutzung pro Pipeline steuern. Eine vollständige Isolation ist jedoch nicht gegeben, da alle Pipelines denselben JVM-Prozess teilen und sich die Heap-Nutzung teilen.
Was passiert, wenn eine Pipeline fehlschlägt: Sind die anderen betroffen?
Im Allgemeinen sind die anderen Pipelines nicht direkt betroffen, da sie in separaten Threads laufen. Ein Absturz einer Pipeline kann jedoch den gesamten Logstash-Prozess beeinträchtigen, wenn er zu einem JVM-Fehler führt. In der Regel fängt Logstash Fehler pro Pipeline ab und versucht, die Pipeline neu zu starten, ohne die anderen zu unterbrechen.
Braucht man eine pipelines.yml pro Pipeline oder eine globale Datei?
Es gibt eine globale Datei pipelines.yml, die alle Pipelines definiert. Jede Pipeline erhält dort einen Eintrag. Es ist nicht üblich, mehrere pipelines.yml-Dateien zu verwenden, da Logstash nur eine Datei liest. Die Aufteilung der Konfiguration erfolgt über die path.config-Angabe, die auf unterschiedliche Verzeichnisse oder Dateien verweisen kann.
Wie überwacht man jede Pipeline über die Logstash-API?
Die Logstash-API bietet unter http://localhost:9600/_node/stats/pipelines eine Übersicht aller Pipelines mit Metriken wie Ereigniszahlen, Warteschlangengröße und Fehlern. Für detailliertere Informationen können Sie den Pfad /_node/stats/pipelines/<pipeline_id> verwenden. Diese Daten lassen sich in Elasticsearch indizieren und in Kibana visualisieren.
Kann man die Konfiguration einer einzelnen Pipeline ohne Neustart von Logstash neu laden?
Ja, wenn config.reload.automatic: true in der logstash.yml gesetzt ist, überwacht Logstash die Konfigurationsdateien und lädt Änderungen automatisch neu. Dies gilt jedoch für alle Pipelines, nicht für eine einzelne. Ein gezieltes Neuladen nur einer Pipeline ist über die API nicht vorgesehen; in der Praxis starten Sie Logstash neu oder nutzen das automatische Reload, das alle Pipelines betrifft.
Welche Ressourcenlimits sollte man auf einem in Frankreich gehosteten Cloud-Server priorisieren?
Achten Sie auf CPU-Kerne, Arbeitsspeicher und Festplatten-I/O. Die Anzahl der Worker sollte die Anzahl der Kerne nicht überschreiten. Für persistente Warteschlangen benötigen Sie ausreichend Festplattenspeicher. Überwachen Sie die Heap-Nutzung der JVM und passen Sie -Xms und -Xmx an. In französischen Rechenzentren sind Netzwerklatenzen gering, sodass die Engpässe meist bei CPU und I/O liegen.
Zusammenfassung und nächste Schritte
Die Verwaltung mehrerer Pipelines in Logstash erfordert eine klare Struktur: von der Ordnerorganisation über die Deklaration in pipelines.yml bis hin zur Überwachung. Die Isolation erhöht die Resilienz und erleichtert die Wartung. Beginnen Sie mit einer kleinen Anzahl von Pipelines und erweitern Sie schrittweise. Testen Sie neue Konfigurationen gründlich, bevor Sie sie in Produktion einsetzen. Eine gute Dokumentation und Versionierung sind der Schlüssel für langfristigen Erfolg.
Als nächsten Schritt empfehle ich, eine erste zusätzliche Pipeline für einen untergeordneten Datenstrom einzurichten und deren Verhalten zu beobachten. So sammeln Sie Erfahrung, ohne das Gesamtsystem zu gefährden. Sobald Sie sich sicher fühlen, können Sie weitere Pipelines hinzufügen und die Vorteile der Isolation voll ausspielen.




