Spätestens seit dem Mooreschen Gesetz (1965) sind wir es gewohnt, mit exponentiellem Wachstum zu rechnen. Es wundert niemanden, dass der neue KI-Chip von Cerebras 400.000 Kerne und 1,2 Billionen Transistoren besitzt. Die Annahme, dass sich auch die Künstliche Intelligenz zukünftig exponentiell weiterentwickeln wird, liegt also nahe. Viele utopische und dystopische Zukunftsvisionen basieren einzig auf dieser einen Annahme. Doch wie wahrscheinlich sind diese Szenarien?
„Seit dem Mooreschen Gesetz sind wir es gewohnt, mit exponentiellem Wachstum zu rechnen“
Spätestens seit der 1972 von Edsger Dijkstra in „The Humble Programmer“ ausgerufenen Softwarekrise wissen wir: Netzwerke, Hardware und biologische Prozesse können durchaus exponentielles Wachstum aufweisen. Software tut dies bisher nicht. Der Fortschritt in der Hardware überstieg bisher immer die Fortschritte in der Software. Die Softwarekrise dauert daher noch immer an. Sie verschärft sich sogar. Natürlich erleben wir durch schnellere Hardware immer auch einen Speed-up in der Software. Wir können mehr Daten in gleicher Zeit verarbeiten und somit „größere“ Probleme lösen. Irgendwann erreichen wir aber, bedingt durch externe Faktoren, einen Zustand der Sättigung. Eine weitere Beschleunigung findet nicht mehr wirklich statt. Dies ist übrigens auch der Grund, wieso unsere persönliche Nutzungszeit von Notebooks und Smartphones wieder anwächst. Es gibt keinen wirklichen Anlass, sich ein neueres Gerät zuzulegen.
„Wir erleben gerade den Anfang einer großen Datenkrise der KI“
Genau dies erleben wir gerade auf dem Gebiet der KI, insbesondere bei Verfahren des Deep Learning. Dank Hardwarefortschritt konnten wir mehr Trainingsdaten in kürzerer Zeit verarbeiten. Gleichzeitig wurde es einfacher, Probleme durch „Trial-and-Error“ zu lösen, das heißt, die Code-Compile-Test-Zyklen haben sich dramatisch verkürzt. Schon jetzt zeigt sich aber, dass nicht mehr diese Geschwindigkeit, sondern die geeigneten Trainingsdaten zum Bottleneck für die Weiterentwicklung der KI werden. Wir erleben gerade – anlog zur Softwarekrise von Dijkstra – den Anfang einer großen Datenkrise der KI. Dieser Effekt kommt im Augenblick durch eine Besonderheit der neuronalen Netze noch nicht voll zum Tragen. Erhöhte Hardwareperformanz ermöglicht es, auch komplexere Netzwerke mit mehr Parametern aufzubauen und damit Probleme in höherer Qualität zu lösen. Das vollständige GPT-2-Modell des Textgenerators von Open AI beispielsweise besteht aus 1558 Millionen Parametern und hat eine deutlich höhere Qualität als die vorher veröffentlichten Versionen mit weniger Parametern. Wir befinden uns also aktuell immer noch in einer Phase starken Wachstums, aber erste Anzeichen einer Sättigung sind bereits zu erkennen. Es ist also zu erwarten, dass sich der wissenschaftliche Fortschritt in diesem Gebiet schon sehr bald deutlich verlangsamen und dann sogar stagnieren wird. All dies trotz weiterer Fortschritte in der Hardware. Davon streng zu trennen ist die wirtschaftliche Verwertung dieser Erkenntnisse, die noch immer erst am Anfang steht. Die Künstliche Intelligenz hat sich bisher in Form einer S-Funktion beziehungsweise treppenförmig entwickelt. Auf relativ kurze Phasen wissenschaftlichen Fortschritts folgten immer lange Phasen der wirtschaftlichen Verwertung. Alle Indikatoren zeigen, dass dies auch aktuell wieder der Fall sein wird. Natürlich kann und wird es auch in Zukunft weitere wissenschaftliche Durchbrüche geben. Damit zu rechnen und darauf zu wetten, ist aber sehr riskant. Wir alle wissen: „Black Swans“ und „Unknown Unknowns“ lassen sich leider nur sehr schwer vorhersagen … die Entwicklung von TikTok schon.
