Was sind eigentlich LLMs (Large Language Models) und warum eignen sie sich so gut für die Hilfe bei der Softwareentwicklung? Um das zu verstehen, folgt ein kurzer Überblick über wichtige Konzepte generativer KI.

Sprachmodelle und Transformer-Architekturen in der Nussschale

LLMs werden meistens über sogenannte Transformer trainiert, deren Architektur sie ebenfalls für Inferenz nutzen. Das Training von LLMs erfolgt mithilfe riesiger Textcorpora, die sich aus vielen (öffentlich zugänglichen) Dokumen…