Pipeline mit geringer Latenz
Eine Low-Latency-Pipeline ist eine Datenverarbeitungsarchitektur, die darauf ausgelegt ist, die Zeitverzögerung zwischen der Generierung (Eingabe) von Daten und deren Bereitstellung für den Verbrauch oder die Aktion (Ausgabe) zu minimieren. Im Wesentlichen priorisiert sie Geschwindigkeit gegenüber der Stapelverarbeitungseffizienz und gewährleistet so eine nahezu Echtzeit-Reaktionsfähigkeit.
In modernen, datenintensiven Anwendungen können Verzögerungen direkt zu entgangenem Umsatz, einer schlechten Benutzererfahrung oder kritischen Betriebsausfällen führen. Beispielsweise kann bei der Betrugserkennung selbst eine Verzögerung von nur wenigen Sekunden dazu führen, dass eine betrügerische Transaktion abgeschlossen wird. Niedrige Latenz ist entscheidend für Systeme, die sofortige Feedbackschleifen erfordern.
Diese Pipelines stützen sich typischerweise auf Stream-Verarbeitungstechnologien anstelle traditioneller Stapelverarbeitung. Daten werden kontinuierlich aus Quellen (wie IoT-Sensoren oder Benutzerklicks) aufgenommen und inkrementell verarbeitet, sobald sie eintreffen. Zu den Schlüsselkomponenten gehören oft Nachrichtenbroker (wie Kafka) und Stream-Verarbeitungs-Engines (wie Flink oder Spark Streaming), die die Ereignissequenzierung und -transformation mit minimalem Overhead handhaben.
Die Implementierung von Low-Latency-Systemen führt zu Komplexität. Zu den Herausforderungen gehören das Management von Zuständen über verteilte Streams, die Gewährleistung von exakt einmaliger Verarbeitungssemantik und die Handhabung von Backpressure, wenn die Dateneingangsraten die Verarbeitungskapazität übersteigen.
Dieses Konzept steht in enger Beziehung zu High Throughput Systems (die sich auf das Volumen konzentrieren) und Edge Computing (das sich auf die Nähe zur Datenquelle konzentriert).
