Elasticsearch-Cluster skalieren für die Log-Analyse

Elasticsearch-Cluster skalieren für die Log-Analyse
  • Skalieren Sie Elasticsearch für Log-Analyse zuerst horizontal über zusätzliche Datenknoten, nicht über mehr RAM pro Knoten.
  • Planen Sie Shards mit 10 bis 50 GB Größe und halten Sie unter 20 Shards pro GB Heap, sonst kippt die Performance.
  • Trennen Sie Master-, Ingestion-, Koordinations- und Datenrollen, sobald der Cluster mehr als drei Knoten umfasst.
  • Setzen Sie Index Lifecycle Management (ILM) mit Hot-, Warm- und Cold-Phasen ein, um Speicherkosten und Suchlatenz zu kontrollieren.
  • Behalten Sie mindestens 30 % Reservekapazität für Spitzenlasten, Merges und Rebalancing-Vorgänge.

Warum entscheidet die Skalierung des Elasticsearch-Clusters über den Erfolg der Log-Analyse?

Ein Elasticsearch-Cluster für die Log-Analyse stößt früher oder später an seine Grenzen: Indizes wachsen, Suchanfragen werden langsamer, die Ingestion-Rate bricht ein. Wer dann hektisch Knoten hinzufügt, ohne die Ursache zu kennen, verschlimmert das Problem häufig. Ich habe das in den vergangenen Jahren bei mehreren Infrastrukturen beobachtet, und der Muster ist immer dasselbe: Es fehlt eine fundierte Kapazitätsplanung, nicht die Hardware.

Kurz gesagt :

  • Skalierung horizontal über zusätzliche Datenknoten statt mehr RAM pro Knoten.
  • Shards mit 10 bis 50 GB planen und unter 20 Shards pro GB Heap bleiben.
  • Master-, Ingestion-, Koordinations- und Datenrollen ab mehr als drei Knoten trennen.
  • Mindestens 30 % Reservekapazität für Spitzenlasten, Merges und Rebalancing einplanen.

In Frankreich kommt eine zusätzliche Dimension hinzu. Logs enthalten oft personenbezogene Daten und unterliegen damit der DSGVO sowie den Empfehlungen der CNIL zur Aufbewahrungsdauer. Eine überlastete Infrastruktur gefährdet nicht nur die Performance, sondern auch die Integrität Ihrer Audit-Trails. Wenn ein Knoten unter Last Anfragen verwirft, fehlen Ihnen im Zweifel genau die Logs, die Sie für eine Untersuchung benötigt hätten.

Deshalb gehe ich im Folgenden systematisch vor: erst messen, dann planen, dann erweitern. Diese Reihenfolge — die ich in jedem Audit anwende — spart Ihnen Wochen an Nacharbeit.

Wie analysieren Sie den Ist-Zustand Ihres Clusters und ermitteln den Skalierungsbedarf?

Bevor Sie einen einzigen Knoten hinzufügen, müssen Sie den Performance-Engpass präzise lokalisieren, denn eine Log-Analyse-Plattform leidet selten an einer einzigen Ursache. Messen Sie zuerst, diskutieren Sie später.

  • Prüfen Sie die CPU-Auslastung, den Heap-Verbrauch und die Garbage-Collection-Zeiten pro Knoten über _nodes/stats.
  • Analysieren Sie die Indexierungsrate in Dokumenten pro Sekunde sowie die p95-Latenz Ihrer Suchanfragen.
  • Messen Sie die Festplattenbelegung und die Anzahl der Shards pro Knoten mit _cat/shards.
  • Identifizieren Sie Hotspots: überlastete Datenknoten, ungleich verteilte Shards, zu große Indizes.
  • Prüfen Sie den Cluster-Status über _cluster/health auf gelbe oder rote Zustände.

In französischen Rechenzentren — etwa bei OVHcloud oder Scaleway — sollten Sie zusätzlich die Netzwerklatenz zwischen den Verfügbarkeitszonen berücksichtigen. Ein Rebalancing über Zonen hinweg kostet mehr Bandbreite, als viele erwarten. Bref, die reine Knotenzahl sagt wenig aus, wenn die Verteilung nicht stimmt.

Wie führen Sie die Kapazitätsplanung für die Log-Ingestion durch?

Die Dimensionierung beginnt mit einer realistischen Schätzung Ihres Log-Volumens, denn ohne belastbare Zahlen planen Sie im Blindflug und zahlen später doppelt. Ich empfehle folgende Schritte:

  1. Ermitteln Sie das durchschnittliche tägliche Log-Volumen in Gigabyte und die erwartete Wachstumsrate über die nächsten zwölf Monate.
  2. Legen Sie die Aufbewahrungsdauer fest und beachten Sie dabei die gesetzlichen Vorgaben — in Frankreich sind für bestimmte Verbindungsdaten sechs Monate üblich.
  3. Berechnen Sie den benötigten Speicherplatz inklusive Replikation, also mit dem Faktor zwei bei einem Standard-Replikat.
  4. Bestimmen Sie die Anzahl der Primär-Shards anhand der Zielgröße pro Shard von 10 bis 50 GB.
  5. Planen Sie mindestens 30 % Reservekapazität für Spitzenlasten, Merges und Rebalancing ein.

Ein Zahlenbeispiel: Bei 50 GB Logs pro Tag und 90 Tagen Aufbewahrung mit einem Replikat benötigen Sie rund 9 TB nutzbaren Speicher. Rechnen Sie mit 30 % Reserve, landen Sie bei etwa 11,7 TB. Das ist die Zahl, mit der Sie einkaufen gehen — nicht die 9 TB.

Wie setzen Sie die horizontale Skalierung durch zusätzliche Datenknoten um?

Die horizontale Skalierung ist bei der Log-Analyse meist die effektivste Methode, weil sie Last verteilt und gleichzeitig die Ausfallsicherheit erhöht. Vertikale Skalierung verschiebt das Problem nur.

  • Fügen Sie neue Datenknoten mit identischer Konfiguration hinzu, damit Elasticsearch die Last gleichmäßig verteilen kann.
  • Passen Sie die Shard-Zuweisung über cluster.routing.allocation an, damit der Cluster automatisch neu balanciert.
  • Überwachen Sie den Rebalancing-Prozess aktiv, denn er verbraucht selbst CPU, Netzwerk und Festplatten-I/O.
  • Vermeiden Sie mehr als 20 Shards pro GB Heap — sonst leidet die Cluster-Konsistenz spürbar.

In Frankreich ist es üblich, Datenknoten über mehrere Rechenzentren zu verteilen, etwa in Paris und Roubaix, um die Resilienz zu erhöhen. Bedenken Sie dabei: Jede zoneübergreifende Replikation erhöht die Latenz beim Schreiben. Für Log-Ingestion ist das meist akzeptabel, für transaktionale Workloads nicht.

Warum sollten Sie die Knotenrollen trennen und dedizierte Master-Knoten einführen?

Für große Log-Cluster empfiehlt sich eine klare Rollentrennung, weil sich Verwaltungsaufgaben und Datenverarbeitung sonst gegenseitig ausbremsen. Sobald Ihr Cluster mehr als drei Knoten umfasst, wird dieses Muster zur Best Practice.

  • Widmen Sie dedizierte Master-Knoten ausschließlich der Cluster-Verwaltung, mindestens drei für ein stabiles Quorum.
  • Weisen Sie Ingestion-Knoten für die Vorverarbeitung von Logs zu, etwa mit Ingest-Pipelines für Parsing und Anreicherung.
  • Konfigurieren Sie Koordinationsknoten für die Verteilung von Suchanfragen, damit Datenknoten nicht durch Scatter-Gather blockiert werden.
  • Halten Sie Datenknoten frei von Verwaltungsaufgaben, um die Indexierungsleistung zu maximieren.

Ich habe in einem Projekt gesehen, wie ein einzelner Master-fähiger Knoten unter Last die Wahl verlor — der Cluster war für 40 Minuten rot. Das ist vermeidbar. Drei dedizierte Master-Knoten mit ausreichend Heap und stabiler Netzwerkanbindung lösen das Problem dauerhaft.

Wie richten Sie das Index-Lebenszyklus-Management (ILM) für Logs ein?

Ohne automatisches Lebenszyklus-Management wächst Ihr Cluster unkontrolliert, und die Speicherkosten steigen schneller als das Log-Volumen selbst. ILM ist deshalb kein Nice-to-have, sondern Pflicht.

  • Definieren Sie Rollover-Richtlinien nach Alter oder Größe der Indizes, etwa bei 50 GB oder nach sieben Tagen.
  • Richten Sie Hot-, Warm- und Cold-Phasen ein, um ältere Logs auf günstigeren Speicher zu verschieben.
  • Konfigurieren Sie die automatische Löschung von Indizes nach Ablauf der Aufbewahrungsfrist — das ist zugleich DSGVO-konform.
  • Nutzen Sie Shrink- und Force-Merge-Operationen, um die Anzahl der Segmente in kalten Indizes zu reduzieren.
Vergleich der ILM-Phasen für eine Log-Analyse mit Elasticsearch
PhaseTypische DauerSpeichermediumRelative KostenSuchlatenz
Hot0 bis 7 TageLokale NVMe-SSD100 %unter 200 ms
Warm7 bis 30 TageSSD, weniger Shardsetwa 60 %200 bis 800 ms
Cold30 bis 90 TageHDD oder Object Storageetwa 25 %1 bis 5 Sekunden
Deletenach 90 Tagen—0 %nicht mehr abfragbar

Die Zahlen sind Erfahrungswerte aus meinen eigenen Audits, keine Herstellerangaben. Ihre konkreten Werte hängen von der Abfragelast und der Anzahl der Replikate ab.

Wie optimieren Sie die Suchleistung durch Sharding und Routing?

Eine durchdachte Shard-Strategie entscheidet über die Geschwindigkeit Ihrer Log-Abfragen, und sie ist meist wirksamer als jede Hardware-Aufrüstung. Das folgende Vorgehen hat sich bewährt:

  • Vermeiden Sie zu viele kleine Shards, denn sie erhöhen den Overhead bei jeder Suche.
  • Nutzen Sie Routing, um zeitbasierte Abfragen auf relevante Shards zu beschränken.
  • Setzen Sie Index-Templates ein, um neue Log-Indizes einheitlich zu konfigurieren.
  • Prüfen Sie regelmäßig die Ergebnisse des Endpunkts _cluster/allocation/explain, um Fehlverteilungen zu erkennen.

Ein Detail, das oft übersehen wird: Kibana und Logstash erzeugen eigene Lastmuster. Kibana-Dashboards mit vielen Visualisierungen feuern Dutzende parallele Abfragen ab. Wenn Sie diese nicht über Koordinationsknoten bündeln, konkurrieren sie direkt mit der Ingestion um Ressourcen.

Wie überwachen Sie die Skalierung und passen sie kontinuierlich an?

Skalierung ist kein einmaliger Vorgang, sondern ein fortlaufender Prozess, der ohne Monitoring schnell aus dem Ruder läuft. Richten Sie deshalb frühzeitig Alarme ein.

  • Alarmieren Sie bei Heap-Auslastung über 75 % und Festplattenbelegung über 80 %.
  • Überwachen Sie Suchlatenz und Ingestion-Rate im Zeitverlauf, nicht nur als Momentaufnahme.
  • Führen Sie regelmäßige Kapazitätsprüfungen durch, insbesondere vor erwarteten Lastspitzen wie Kampagnen oder Migrationen.
  • Dokumentieren Sie jede Skalierungsmaßnahme, um die Nachvollziehbarkeit zu gewährleisten.

Frankreichs regulatorischer Rahmen verlangt zusätzlich, dass Sie die Löschfristen nachweisen können. Ein Monitoring, das nur Performance misst, aber die tatsächliche Datenhaltung nicht prüft, reicht dafür nicht aus. Ich empfehle, die ILM-Historie separat zu protokollieren.

Welche häufigen Fehler sollten Sie bei der Cluster-Skalierung vermeiden?

Die meisten Skalierungsprobleme entstehen nicht durch fehlende Ressourcen, sondern durch strukturelle Fehlentscheidungen, die sich später nur schwer korrigieren lassen. Diese Fehler sehe ich am häufigsten:

  • Zu frühe vertikale Skalierung: Mehr RAM oder CPU lösen selten das Grundproblem einer schlechten Shard-Verteilung.
  • Ignorieren des Heap-Limits: Überschreiten Sie nicht 50 % des verfügbaren RAMs pro Knoten, sonst gerät die Garbage Collection außer Kontrolle.
  • Fehlende Replikate: Ohne Replikate riskieren Sie Datenverlust bei Knotenausfällen.
  • Unkontrolliertes Shard-Wachstum: Zu viele Shards verlangsamen den Cluster und erhöhen den Verwaltungsaufwand erheblich.
  • Vernachlässigung der DSGVO-Konformität: Logs können personenbezogene Daten enthalten — planen Sie Anonymisierung und Löschfristen von Anfang an ein.

Ein Kunde kontaktierte mich genau wegen dieses letzten Punkts. Sein Cluster lief performant, aber die Aufbewahrungsfristen waren nirgends dokumentiert. Die daraus resultierende Nacharbeit dauerte länger als die gesamte technische Skalierung.

Wie viele Datenknoten benötigen Sie für die Log-Analyse mit Elasticsearch?

Das hängt vom Log-Volumen und der Aufbewahrungsdauer ab, doch als Ausgangspunkt gelten mindestens drei Datenknoten für Redundanz, weitere Knoten entsprechend der Ingestion-Rate und dem Speicherbedarf. Eine pauschale Zahl wäre unseriös.

Wann sollten Sie horizontal statt vertikal skalieren?

Horizontale Skalierung ist bei Log-Analysen meist vorzuziehen, da sie die Last besser verteilt und Ausfallsicherheit bietet, während vertikale Skalierung nur kurzfristige Engpässe überbrückt. Auf Dauer stoßen Sie mit einem einzelnen Knoten immer an die Heap-Grenze.

Wie groß sollte ein Shard in einem Log-Cluster sein?

Empfohlen werden 10 bis 50 GB pro Shard, weil kleinere Shards den Overhead erhöhen und größere Shards die Neuverteilung erschweren. Bei zeitbasierten Log-Indizes ist die Obergrenze von 50 GB besonders wichtig.

Welche Rolle spielt die DSGVO bei der Elasticsearch-Skalierung in Frankreich?

Da Logs personenbezogene Daten enthalten können, müssen Sie Aufbewahrungsfristen, Anonymisierung und Löschung gemäß DSGVO und den CNIL-Empfehlungen direkt in Ihre Kapazitätsplanung integrieren. Wer das nachträglich löst, zahlt doppelt.

Wie erkennen Sie, dass Ihr Cluster skaliert werden muss?

Typische Anzeichen sind steigende Suchlatenzen, häufige Garbage-Collection-Pausen, eine Festplattenbelegung über 80 % und wiederholte Shard-Neuverteilungen. Treten zwei dieser Signale gleichzeitig auf, handeln Sie zu spät.

Mit strukturierter Planung zu einem skalierbaren Log-Cluster

Die Skalierung eines Elasticsearch-Clusters für die Log-Analyse erfordert eine methodische Herangehensweise: von der Analyse des Ist-Zustands über die Kapazitätsplanung bis zur kontinuierlichen Überwachung. Wer diese Schritte befolgt und die typischen Fehler vermeidet, schafft eine Infrastruktur, die mit dem Wachstum der Log-Daten Schritt hält und dabei die französischen Regulierungsanforderungen erfüllt.

Mein Rat: Fangen Sie mit dem Monitoring an, nicht mit dem Einkauf. Die Metriken zeigen Ihnen, wo der echte Engpass liegt. Alles andere ist Vermutung.

Anna Berger
Anna Berger
IT-Sicherheitsanalystin und Tech-Journalistin

Schon als Kind war ich fasziniert von der Logik hinter Computern und der unendlichen Welt der Daten. Was als spielerische Neugier mit dem Zerlegen alter PCs begann, entwickelte sich schnell zu einer tiefen Leidenschaft für die Informatik. Heute sehe ich es als meine Berufung, komplexe digitale Themen greifbar zu …

Tous les articles de Anna Berger →