KI-Stammtisch
How to Build a Chatbot On- & Offline (Fast)
Im Rahmen des Projekts „KI-Exploration: KI in Lehre und Forschung“ wurde erforscht, in welchem Umfang ein Sprachmodell (Large Language Model, LLM) durch gezielte Methoden mit neuem Wissen angereichert werden kann, um spezifische Fragen präziser und kontextabhängig zu beantworten. Dabei stand die Frage im Fokus, welche Ansätze sich für das Training und die Anpassung eines LLM eignen, um dessen Leistungsfähigkeit und Nützlichkeit sowohl in der Wissensvermittlung als auch in praktischen Anwendungen zu steigern.
Der Projektansatz umfasste mehrere Schritte: vom Fine-Tuning eines bestehenden Modells über die Implementierung einer Funktion zur PDF-Ausgabe für eine strukturierte Wissenseinbettung bis hin zur Anwendung von Retrieval-Augmented Generation (RAG). Durch RAG wird das LLM in die Lage versetzt, zusätzlich auf externe Wissensquellen zuzugreifen und kontextualisierte Antworten zu liefern, was ein präziseres und umfassenderes Antworten ermöglicht.
Im Projekt wurden sowohl ChatGPT in seiner Online-Variante als auch ein lokal betriebenes Modell (LLaMA3) eingesetzt, um zwei unterschiedliche Chatbot-Ansätze zu realisieren: einen Online- und einen Offline-Chatbot. Diese Dualität ermöglicht es, die Vor- und Nachteile beider Ansätze zu evaluieren und mögliche Anwendungsszenarien für beide Varianten darzustellen. Ziel ist es, anhand praxisnaher Beispiele aufzuzeigen, wie und in welchen Kontexten die gezielten Anpassungen eines LLM den größten Mehrwert bieten.
Projektteam: Boleslav Glavatki, Yolanda Sommerfeldt, Sophie Thümmler
Beratung: Christian Kandels
Die vollständigen Ergebnisse werden im Dezember hier vorgestellt.
https://www.hs-merseburg.de/hochschule/projekte/sl2/service-fuer-studium-lehre/exploration-ki/
Referenten:
Boleslav Glavatki (Fachbereich Ingenieur- und Naturwissenschaften)
Yolanda Sommerfeldt (Fachbereich Soziale Arbeit.Medien.Kultur)
Termin: 12.12.2024, 12:45 – 13:30 Uhr
Ort: Bibliotheks-Foyer (HG/A/Foyer 1. OG)
Online:Zoom Link.
Veranstaltung speichern (iCal)
