Der Weg zur AusführungErstellung und Bereitstellung von Workflows

Was bietet ein Workflow?

Ein Workflow beschreibt in erster Linie eine Reihe von Schritten, was mit Daten zu tun ist. Zum Beispiel ihren Inhalt analysieren, sie anreichern, Informationen filtern usw. usw. Workflows können sehr einfach, aber auch extrem komplex sein. Ihrer Fantasie sind dabei keine Grenzen gesetzt.

Aber das ist noch nicht alles, denn es wird auch definiert, WAS gelesen werden soll, VON WO die Daten gelesen werden sollen, WOHIN sie geschrieben werden sollen und WIE die Daten aussehen, wenn sie gelesen und geschrieben werden.

Darüber hinaus ist ein Workflow der kleinste Nenner in Bezug auf das, was Sie ausführen können. Sie führen mindestens einen Workflow aus, aber Sie können auch viele, UNTERSCHIEDLICHE gleichzeitig ausführen. Sie können auch den SELBEN Workflow mehrmals ausführen, um die Verarbeitungsleistung zu skalieren und die Ausfallsicherheit zu gewährleisten, die Sie für Ihren speziellen Anwendungsfall benötigen.

Um ein besseres Verständnis dafür zu bekommen, wie Workflows in layline.io verwendet werden, lassen Sie uns eine kurze Erklärung und ein Beispiel durchgehen:

Im obigen Beispiel handelt es sich um einen sehr einfachen Workflow, der aus einer Datei liest (1), Daten aus dem Eingabedatenformat in ein anderes Format umwandelt (2) und dann die Daten in ein Kafka-Topic ausgibt (3).

Workflows können nahezu beliebig komplex sein, um spezifische Geschäftsanforderungen zu erfüllen.

Die einzelnen "Boxen" im Workflow werden als "Prozessoren" bezeichnet. Prozessoren werden entweder individuell konfiguriert oder basieren auf sogenannten "Assets".

Assets sind am besten als grundlegende Funktionsblöcke zu verstehen. Schauen wir uns einige Beispiele an, um eine bessere Vorstellung zu bekommen:

• S3 Source Asset: Ein Asset, das weiß, wie man aus einem AWS S3-Speicher liest.
• Javascript Flow Processor Asset: Ein Asset, das zur Erfüllung von Aufgaben in sehr individueller Geschäftslogik /programmiert/ werden kann.
• Kafka Output Processor Asset: Ein Asset mit der Fähigkeit, Daten an Kafka auszugeben.

und so weiter.

Assets können als Vorlagen für Prozessoren dienen und ermöglichen so die Wiederverwendung konfigurierter Funktionen entweder innerhalb desselben Workflows oder in anderen Workflows, die Teile derselben Funktionen benötigen. Assets können sich auf andere Assets stützen, z. B. stützt sich ein Kafka Source Asset auf ein Kafka Connection Asset.

Der breitere Konfigurationskontext, in dem ein Workflow lebt, wird als "Projekt" bezeichnet. Die Anzahl der Workflows, Prozessoren und Assets innerhalb eines Projekts ist unbegrenzt:

Die gesamte Konfiguration findet im Configuration Center statt, das Teil von layline.io ist. Dort werden Workflows mit Hilfe des eingebauten Workflow-Editors konfiguriert (siehe Abbildung "Workflow-Editor und Setup"). Die Assets wiederum werden mit den entsprechenden Asset-Editoren konfiguriert:

Mit Hilfe des Configuration Centers ist es relativ einfach, eine Reihe von Workflows zusammenzustellen, die dazu dienen, verschiedene Datenquellen zu bedienen, Informationen zu verarbeiten und zu analysieren und die Ergebnisse dann an Datensenken auszugeben.

Das Configuration Center bietet auch verschiedene Mechanismen zum Testen von Verbindungen und konfigurierten Funktionen innerhalb des Workflows, ohne dass diese in einem Cluster bereitgestellt werden müssen.

Workflow Deployment

Nachdem die Workflows konfiguriert wurden, besteht der nächste Schritt darin, sie in einem Reactive Cluster bereitzustellen. Der Reactive Cluster besteht aus einer Reihe von Reactive Engines, die als Ausführungskontext für Workflows dienen. Das Configuration Center bietet Funktionen zur einfachen Bereitstellung von Workflows in einem Reactive Cluster.

Sie können einen oder mehrere Workflows für die Bereitstellung (1) in einem Reactive Cluster Ihrer Wahl (2) auswählen und die Bereitstellung dann ausführen (3). Dadurch werden die von Ihnen für die Bereitstellung ausgewählten Workflows sowie alle zugehörigen Assets und Konfigurationsdaten an den Ziel-Reactive Cluster übertragen, wo sie dann zur Ausführung aktiviert werden können.

Einmal aktiviert, verarbeiten Workflows sofort die ihnen zur Verfügung stehenden Daten. Die Verarbeitung kann entweder über das Configuration Center oder über Drittanbieter-Tools wie Grafana überwacht werden. Das folgende Bild zeigt einen Bruchteil der Überwachungsoptionen, die Sie im Configuration Center haben:

Zusammenfassung

layline.io bietet out-of-the-box alles, was zum Erstellen, Bereitstellen, Ausführen und Überwachen komplexer Szenarien zur Verarbeitung von Ereignisdaten (aka Workflows) erforderlich ist. Die Architektur erlaubt sowohl kleine Implementierungen als auch verteilte lokale und Cloud-Implementierungen im XXL-Format.