Das Wissensportal für IT-Professionals. Entdecke die Tiefe und Breite unseres IT-Contents in exklusiven Themenchannels und Magazinmarken.

side banner

heise conferences GmbH

(vormals SIGS DATACOM GmbH)

Lindlaustraße 2c, 53842 Troisdorf

Tel: +49 (0)2241/2341-100

kundenservice@sigs-datacom.de
logo logo
adv
Java AI

Entwicklung eines LLM-Chatbots mit Tool-Calling in Java – Teil 2: Tool-Calling

Im ersten Teil [1] dieses umfassenden Tutorials über die Entwicklung eines LLM-Chatbots (Large Language Model) wurden die Grundlagen gelegt. Der zweite Teil stellt die Tool-Calling-Funktionalität in Java vor.

Bevor wir Tool-Calling implementieren, müssen wir verstehen, wie es konzeptionell funktioniert. Tool-Calling ist keine eingebaute Fähigkeit der meisten LLMs. Stattdessen ist es ein Muster, das wir implementieren, indem wir das Modell sorgfältig instruieren und seine Antworten parsen.

Verständnis der Tool-Calling-Grundlagen

Der Prozess funktioniert wie folgt.

  • Wir stellen dem Modell Beschreibungen verfügbarer Tools im System-Prompt zur Verfügung. Diese Beschreibungen erklären, was jedes Tool tut, welche Parameter es akzeptiert und für welchen Zweck es sich verwenden lässt.
  • Nun weisen wir das Modell an, mit einem speziellen Format zu antworten, wenn es ein Tool verwenden will, typischerweise JSON.
  • Danach parsen wir die Antwort des Modells, um dort nach gewünschten Tool-Aufrufen zu…