Das Wissensportal für IT-Professionals. Entdecke die Tiefe und Breite unseres IT-Contents in exklusiven Themenchannels und Magazinmarken.

SIGS DATACOM GmbH

Lindlaustraße 2c, 53842 Troisdorf

Tel: +49 (0)2241/2341-100

kundenservice@sigs-datacom.de

Data Warehouse, Data Lake, Datenbanken – schon lange bedienen sich moderne Analyseinfrastrukturen verschiedener Konzepte, um gesammelte Daten aller Art sicher zu lagern, zu verarbeiten und zugänglich zu machen. Im Zentrum der IT-Architektur steht dabei häufig eine komplexe und ausgefeilte Data Pipeline. Dabei kann bereits die Wahl eines geeigneten Tools zur Gestaltung einer solchen Pipeline schwierig sein, da die Auswahl an Softwarelösungen zahlreiche bewährte Alternativen zur Verfügung stellt.

In diesem Artikel soll das Open-Source-Projekt Airflow von Apache vorgestellt werden: ein Workflow-Manager zum programmatischen Erstellen, Planen und Überwachen von Arbeitsprozessen. Apache Airflow (kurz: Airflow) verbindet dabei eine nutzerfreundliche Weboberfläche mit einem leistungsfähigen Backend. Dieses implementiert die Prozesse der Pipeline als Python-Skripte und schafft somit eine zugängliche Entwicklungsgrundlage für Systemarchitekten, IT-Administratoren und Datenwissenschaftler.

Das e…