Vor allem große Unternehmen nutzen das Internet der Dinge, um Prozesse zu automatisieren und so effizienter arbeiten zu können. Auch Mittelständler müssen sich mit den Chancen des IoT beschäftigen, um wettbewerbsfähig zu bleiben. Kleine und mittlere Unternehmen (KMU) stehen dabei vor zwei großen Herausforderungen:
- zum einen die finanziellen und zeitlichen Investitionen, die für die Einführung von digitalen Innovationen anfallen,
- zum anderen die hohen Anforderungen an die Sicherheit und Leistungsfähigkeiten der neuen Lösungen.
Letzteres umfasst nicht nur die Vermeidung von Fehlern bei der Entwicklung neuer Systeme, sondern auch den ausreichenden Schutz der unternehmenskritischen Daten, beispielsweise vor Hackerangriffen. Daher ist es für Unternehmen aller Größen wichtig, die IoT-Systeme, -Software und -Geräte vor ihrer Einführung umfassend auf die Aspekte Sicherheit, Vertrauenswürdigkeit, Funktionalität, Interoperabilität und Robustheit hin zu testen.
So können noch vor der Anwendung der IoT-Lösungen Fehler bei der Entwicklung vermieden und Sicherheits- sowie Datenschutzanforderungen ausreichend berücksichtigt werden. Solche Tests sparen nicht nur die Kosten für spätere Nachbesserungen, sondern ermöglichen auch, dass die digitalen Lösungen schneller in den Unternehmen zur Anwendung kommen.
Eclipse IoT-Testware
Bisher gab es kaum Werkzeuge, die KMU nutzen konnten, um ihre IoT-Lösungen ausreichend zu testen. Daher hat das Fraunhofer-Institut für Offene Kommunikationssysteme (FOKUS) in Zusammenarbeit mit der Eclipse Foundation, dem IoT-Spezialisten Relayr und vielen weiteren Unternehmen wie Ericsson und Spirent die IoT-Testware entwickelt [Sch17].
Die Eclipse Foundation ist eine gemeinnützige Open-Source-Gemeinschaft, die im Rahmen verschiedener IT-Projekte Plattformen für die Entwicklung von Software, Software-Komponenten und -Werkzeugen bereitstellt [Eclipse]. Software für IoT-Tests wird bei der Eclipse Foundation im Rahmen des Projekts Eclipse Technology [EcTP] entwickelt, wozu auch die IoT-Testware gehört. Die IoT-Testware nutzt als Testautomatisierungswerkzeug Eclipse Titan [EcTitan]. Diese Umgebung wurde zum Kompilieren und Ausführen von TTCN-3-Testcode [Gra14, TTCN3] entwickelt. TTCN-3 (Testing and Test Control Notation) ist eine bei ETSI und ITU offen standardisierte Testautomatisierungstechnologie.
Die Fähigkeiten der IoT-Testware wurden bereits in [Kai17] vorgestellt. Hier wurden mit ca. 50 Testfällen die Unterschiede in verschiedenen Implementierungen von MQTT-Brokern mittels Conformance-Testen untersucht. MQTT ist das „Message Queuing Telemetry Transport“-Protokoll [MQTT]. Es ist ein leichtgewichtiges, offenes Nachrichtenprotokoll für Machine-to-Machine-Kommunikation (M2M), das die Übertragung von Telemetriedaten zwischen IoT-Geräten auch bei hohen Verzögerungen oder anderen Einschränkungen in Netzen ermöglicht.
Mithilfe der Testsuite wurden zum Beispiel Abweichungen bei der Behandlung von MQTT-Nachrichtenelementen gefunden, unter anderem wurden von den getesteten Brokern sogenannte „reserved“-Flags nicht erkannt beziehungsweise entgegen dem Standard behandelt. „Inconclusive“ Ergebnisse ergaben sich bei den Tests mit fehlerhaften Zugangsdaten, die auf Einschränkungen bei der Konfiguration zurückzuführen waren. Anhand der Ergebnisse können sich Anwender für Implementierungen entscheiden, die einen hohen Grad an Konformität und Zuverlässigkeit ermöglichen.
Basierend auf den funktionalen Testszenarien entstehen auch Performanz- und Sicherheitstests. Während die Performanztests insbesondere mit dem freien, von Ericsson entwickelten IoT-Performanz-/Last-Tester RIoT (einer Implementierung mittels Titan-SIM [Böh16]) erfolgen, werden für die Sicherheitstests die Programme der von FOKUS entwickelten Fuzzing-Bibliotheken Fuzzino [FOKUS] einbezogen. Abbildung 1 zeigt den Einsatz der IoT-Testware in Verbindung mit Fuzzino für die Sicherheitstests an einem CoAP-Server. Wireshark dient hierbei der (passiven) Gewinnung von Daten zur Parametrisierung der Fuzzing-Bibliothek.
Abb. 1: Fuzzing auf der Basis der CoAP-Tests
IoT-Lösungen vor der Einführung testen
Die im IoT-T Projekt entwickelten Testlösungen ermöglichen es, Software- und künftig auch Hardwareschnittstellen für das IoT zu testen. Für die Prozessunterstützung stellt das Projekt IoT-T zudem IoT-Testlabs zur Verfügung. Diese werden sowohl von der DEK-RA als auch von Fraunhofer IPK und Fraunhofer FOKUS betrieben. Die Teams der Testlabs unterstützen Unternehmen dabei, eigene Testlabore in ihren Unternehmen einzurichten, um zukünftig selbstständig und ohne viel Aufwand IoT-Lösungen vor ihrem Einsatz überprüfen zu können.
Die DEKRA wird nach Ablauf des Projekts in ihrem IoT-Testlab die unabhängige Prüfung und Zertifizierung anhand von nationalen und internationalen Standards anbieten. Dadurch können Entwicklungszeiten und -kosten gesenkt und abgesicherte IoT-Lösungen in Unternehmen eingeführt werden.
Praxistest im Bereich Automotive und Produktion
Aktuell testet das Projekt IoT-T seine Testlösungen im Automotive-Bereich und in der industriellen Produktion. So nutzt der Autohersteller Audi die OPC-UA-Testfälle der IoT-Testware. Konkret werden IoT-Anwendungen getestet, bevor sie in der Shopfloor-IT eingesetzt werden. Dieser Bereich ist zuständig für den Abgleich zwischen Produktion und Lagerbeständen. Reibungslose und automatisierte Abläufe sind hier unbedingt notwendig, um den Produktionsfluss nicht zu unterbrechen. Aufbauend auf diesem Praxiseinsatz steht das IoT-Testlab in Berlin den KMUs für die Überprüfung ihrer IoT-Software und -Geräte zur Verfügung.
TST-Arbeitsgruppe des ETSI
Über Eclipse hinaus verfolgt Fraunhofer FO-KUS das Ziel, die IoT-Testware auch mittels europäischer Standards weiterzuentwickeln. So wurde die neue ETSI-Arbeitsgruppe „Testing“ (TST) des Technischen Arbeitsgremiums „Methods for Testing and Specifications“ (MTS) beim „European Telecommunications Standards Institute“ (ETSI) etabliert [ToR].
Zu den ersten Themen der TST-Gruppe zählen die Erstellung von Studien, Empfehlungen, Testkatalogen und -spezifikationen für die Ebenen entsprechend der IoT-High-Level Architecture von AIOTI [HLA]: IoT-Netzwerkschicht, IoT-Schicht und Anwendungsschicht. Für die Beschreibung der Testziele wurde die von ETSI entwickelte Notation TDL-TO [TDL] ausgewählt, deren Beschreibungen sich mittels Open-Source-Werkzeugen sowohl in gebräuchlichen Tabellen im Word-Format darstellen als auch in TTCN-3-Codesequenzen übersetzen lassen.
Das IoT-Quality-Engineering- Weiterbildungsschema
Da Technologien und Werkzeuge insbesondere von Experten erfolgreich angewendet werden können, wurde zudem auf Einladung des ASQF (Arbeitskreis Software-Qualität und Fortbildung) und in Kooperation mit dem GTB (German Testing Board) ein neues Weiterbildungsschema für die Entwicklung und Absicherung qualitativ hochwertiger IoT-Lösungen erarbeitet [CPIoT].
Für den „Certified Professional for IoT“ geht es nicht um die reine Validierung „am Ende“, sondern die vorausschauende Erlangung von Qualitätskriterien von den ersten Entwicklungsschritten an. So spielt zum Beispiel die Priorisierung der relevanten Qualitätskriterien einer IoT-Lösung eine entscheidende Rolle. CPIoT-Zertifikatskurse werden seit Februar 2018 angeboten. Der Lehrplan umfasst Kapitel unter anderem zu IoT-Qualitätsmerkmalen, IoT-Architekturen, Prozesse und Methoden für das konstruktive Quality Engineering, Analytisches Quality Engineering (inkl. Test) sowie Lifecycle-Management für IoT.
Zusammenfassung
Im vom Bundesministerium für Wirtschaft und Energie geförderten Projekt IoT-T [IoT-T] erarbeiten wir auf IoT abgestimmte Teststrategien, Lösungen zur Testautomatisierung sowie Testwerkzeuge für individuelle Testläufe und Interoperabilitäts-Testevents. Die in IoT-T erstellte IoT-Testware ist Teil einer umfassenden Strategie zur Qualitätssicherung von IoT-Lösungen. Grundlage ist die konsequente Anwendung von bewährten Methoden und Techniken aus der Standardisierung und die Verbreitung über professionellen Open-Source-Gemeinschaften.
Unser Dank geht an die Kollegen bei ETSI, der Eclipse Foundation sowie unseren Projektpartnern, insbesondere Alexander Kaiser von Relayr und György Réthy von Ericsson, und an unsere Kollegen von Fraunhofer FO-KUS Dorian Knobloch und Sascha Hackel, die uns insbesondere bei der Implementierung und Testausführung unterstützen.
Referenzen
[Böh16]
T. Böhm et al., Challenges and Trade-offs in Performance Testing, Hustef 2016, siehe: https://www.hustef.hu/hustef_2016/www.hustef.hu/hustef/web.nsf/0/9C4A6E727B5B60E6C1258003004035D2/%24FILE/HUSTEF-2016_Challenges-And-Tradeoffs-In-Performance-Testing.pdf
[CPIoT]
ASQF Certified Professional for IoT (CPIoT), siehe:
https://www.asqf.de/asqf/zertifizierungen/asqf-certified-professional-for-iot-cpiot/
[Eclipse]
Eclipse Foundation, siehe:
http://www.eclipse.org/
[EcTitan]
Eclipse Titan, siehe:
https://projects.eclipse.org/projects/tools.titan
[EcTP]
Projekt Eclipse Technology,
https://projects.eclipse.org/projects/technology
[FOKUS]
Fuzzino, Fraunhofer FOKUS, siehe:
https://www.fokus.fraunhofer.de/de/sqc/security_testing
[Gra14]
J. Grabowski et al., History, status, and recent trends of the testing and test control notation version 3 (TTCN-3), in: Int. J. on Software Tools for Technology Transfer, vol. 16, no. 3, pp. 215–225, Jun. 2014
[HLA]
AIOTI HLA, High Level Architecture für das Internet der Dinge der Alliance for the Internet of Things Innovation, Release 2.1, 2016, siehe:
https://aioti-space.org/wp-content/uploads/2017/03/AIOTI-WG3-IoT-High-Level-Architecture-Release_2_1.pdf
[IoT-T]
Bundesministerium für Wirtschaft und Energie (BMWI), Projekt IoT-T, siehe:
http://www.iot-t.de/
[Kai17]
A. Kaiser et al., Eclipse IoT-Testware: Die Open-Source-Testsuite für das MQTT-Protokoll, in: OBJEKTspektrum, Online Themenspecial Testing, September 2017, siehe:
http://www.sigs.de/public/ots/2017/OTS_Testing_2017/Kaiser_OTS_Testing_2017.pdf
[MQTT] Message Queuing Telemetry Transport, siehe:
http://mqtt.org/
[Sch17]
I. Schieferdecker et al., IoT-Testware – An Eclipse Project, in: 2017 IEEE Int. Conf. on Software Quality, Reliability and Security (QRS), 2017
[TDL]
ETS TDL, siehe:
https://tdl.etsi.org
[ToR]
Terms of Ref. for ETSI TC MTS TST WG (Testing), siehe:
https://portal.etsi.org/TBSiteMap/MTS/MTSTSTToR.aspx
[TTCN3]
ETSI Testing and Test Control Notation, Version 3 (TTCN-3),
http://www.ttcn-3.org/
