Dies funktioniert erstaunlich gut, das Internet ist aktuell voll von Erfolgsmeldungen: automatisierte Tweets, Facebook- und Blogbeiträge, Artikel, Codegeneratoren, Rollenspiele bis hin zu Märchen und Drehbüchern. Dabei greift das GPT-3-Modell auf aktuell rund 175 Milliarden Parameter zurück. Mehr Parameter bedeuten bei neuronalen Netzen mehr Verbindungen, mehr Speicher und damit bessere Ergebnisse.
Die Begeisterung für GPT-3 kennt daher keine Grenzen. Sam Altmann, einer der Gründer von OpenAI, sah sich sogar genötigt, öffentlich die Notbremse zu ziehen. Auf Twitter schrieb er: „Der Hype um GPT-3 ist völlig übertrieben!” Der Grund: Ein durchschnittlicher Mensch spricht im Durchschnitt etwa 16.000 Worte am Tag. Das GPT-3-Modell wurde mit fast einer Billion Wörter trainiert. Damit hat GPT-3 also so viele Sätze analysiert, wie 2000 Menschen in ihrem ganzen Leben hören würden. Den Sinn dahinter versteht die Software trotzdem nicht. GPT-3 weiß nicht, dass „Olivenöl“ zwar aus Oliven besteht, dafür „Babyöl“ nicht aus Babys gemacht wird, sondern ein Öl für Babys ist.
„GPT-3 gilt als Höhepunkt einer auf immer mehr Daten und immer mehr Trainings ausgerichteten KI-Entwicklung”
GPT-3 ist das größte trainierte Sprachmodell. Es ist derzeit nur noch über eine kostenpflichtige API zugänglich, die exklusiven Rechte hat sich Microsoft gesichert. Nach unabhängigen Berechnungen kostet ein Trainingslauf ca. 5 Millionen Dollar an Rechenpower. Die Software gilt daher als Höhepunkt einer auf immer mehr Daten und immer mehr Trainings ausgerichteten KI-Entwicklung, die sich nur wenige Unternehmen weltweit leisten können. „GPT-3 kann einen ziemlich plausiblen Text erzeugen, aber verglichen mit dem menschlichen Gehirn ist es immer noch winzig klein”, schreibt der Forscher Geoff Hinton, ein Pionier der neuronalen Netze.
Das menschliche Gehirn besteht aus bis zu 100 Milliarden Nervenzellen, die mit über einer Trillion Synapsen miteinander verbunden sind. Es verbraucht dabei nur 20 Watt an Leistung, also fast nichts im Vergleich zu der für das Training von GPT-3 aufgewendeten Energie. Im Vergleich zum menschlichen Gehirn befindet sich das „Denkvermögen“ von GPT-3 ungefähr auf dem Niveau einer Hummel. Schon im Jahr 2032, so hat es der deutsche Forscher Christian Brauckhage berechnet, könnten wir, wenn die Entwicklung so wie bisher weitergeht, ein menschliches Hirn simulieren. Wird sich der Funke der Intelligenz dann von selbst entzünden? Der Streit darüber entzweit die KI-Forschung – „Symbolisten“ gegen „Konnektivisten“ – seit über 60 Jahren.
„Für eine Super-KI müssen wir aber einen anderen, neuen Weg finden”
Turing-Award-Preisträger Yann LeCun, selbst ein Verfechter neuronaler Modelle, schrieb dazu kürzlich: „Der Versuch, intelligente Maschinen nur durch immer größere Sprachmodelle zu bauen, ist wie der Versuch, mit Flugzeugen zum Mond zu fliegen. Flugzeuge können durchaus Höhenrekorde brechen, aber um zum Mond zu fliegen, erfordert es einen völlig anderen Ansatz”. Am Ende handelt es sich bei GPT-3 eben doch „nur“ um einen riesigen Haufen an Statistik. Überraschend gut, verblüffend, vielleicht sogar ganz nützlich. Für eine Super-KI müssen wir aber einen anderen, neuen Weg finden. Darin sind sich inzwischen sogar alle KI-Forscher einmal einig. Copy & Paste reicht vielleicht für manche menschliche Doktorarbeit, in der KI reicht es am Ende vielleicht doch nur für „Bullshit Bots“, die eigene Kompetenz nur sehr geschickt vortäuschen.
