Development Java Big Data

Ein Architekturstack für Data Science mit Java, Python und JavaScript – Teil 1: Architekturkomponenten

Wie kann man Python, das für datenwissenschaftliches Arbeiten weit verbreitet ist, in Kombination mit Java und JavaScript zur Verarbeitung und Visualisierung großer Datenmengen in professionellen Anwendungen verwenden? Wir stellen anhand eines aktuellen Fallbeispiels einen schnell einsetzbaren Architekturstack für den Einsatz von Data Science vor. Die Anwendung ist ein Cockpit, das betriebliche Daten und Zustände analysiert sowie Abweichungen erkennt und visualisiert. Das System gliedert sich in mehrere Systemteile. Das Backend besteht aus einer Java-Applikation und einer Python-Anwendung. Python-Skripte übernehmen die Analyse der Daten und die Speicherung der Ergebnisse als JSON-Objekte in Redis. Das Frontend, eine Single-Page-Applikation basierend auf Angular, bezieht diese Objekte und visualisiert die Analyseergebnisse per JavaScript-Bibliothek Plotly. Die allgemeine geschäfts-logische Steuerung übernimmt eine im Payara Server laufende Java-Anwendung. Flask, Gunicorn und Traefik sind für das Routing und Load Balancing zuständig. Die Systemteile laufen in getrennten Docker-Containern.

Für ein Verfahren des IT-Systemhauses der Bundesagentur für Arbeit wurde eine Cockpit-Anwendung entwickelt. Ein Teil dieses Cockpits ist die Analyse von betrieblichen Daten und Zuständen. Für diesen Zweck wurde ein generischer Architekturstack aufgebaut, der ohne größere Anpassungen in anderen Projekten verwendet werden kann. Zuerst stellt der Artikel die verwendeten Technologien vor und erklärt ihr Zusammenspiel. Dabei gehen wir auch darauf ein, welche Anpassungen vorgenommen werden können. Im…

Nächster Artikel

IT Spektrum

JavaSPEKTRUM

BI-Spektrum

German Testing Magazin

Unsere Interviews

Artikelreihen

Ein Architekturstack für Data Science mit Java, Python und JavaScript – Teil 1: Architekturkomponenten

Kostenfreien Account erstellen oder einloggen.

Wie früher – Malen nach Zahlen