NoSQL und Data Science illustriert an einer Volltextsuche
Bisweilen ist es unklar, wie sich die Disziplin Data Science Engineering in BI-Architekturen einbettet. Ein Problem dabei ist, dass Data Engineers häufig komplexe Pipelines – unter anderem zur Industrialisierung von maschinellen Lernverfahren – designen oder auch NoSQL-Datenbanken nutzen. Hier stoßen gängige, SQL-basierte Transformationen, wie man sie aus dem klassischen ETL-Bereich kennt, an Grenzen. In dem Artikel erläutern wir anhand des Beispiels einer Volltextsuche, wie moderne Daten-Pipelines und NoSQL-Technologien in eine BI-Architektur eingebettet werden können. Dabei zeigen wir auf, an welchen Stellen ein Paradigmenwechsel notwendig ist und inwieweit sich die erforderlichen Skills verschieben.