Prüfungsleistungen und generative KI

Allgemein können mit generativer KI z.B. Texte, Bilder, Code, Musik erstellt werden. Typischerweise ist dieser Erstellungsprozess dadurch geprägt, dass mit der "Maschine" in einen schriftlichen Dialog getreten wird. Es werden Anweisungen an das KI-System gerichtet, um damit entsprechende Antworten und Ergebnisse zu initiieren (Prompting). Es gilt zu beachten, dass die derart erstellten Inhalte zwar formal und stilistisch überzeugend sein können, aber keine Garantie zur inhaltlichen Richtigkeit gegeben wird. Damit liegt es in der Verantwortung der initiierenden Person, die generierten Inhalte auf Richtigkeit, Vollständigkeit, Logik und Konsistenz zu überprüfen.

Weitere wichtige Anwendungsfelder von KI sind das Übersetzen, Verändern oder Paraphrasieren von Texten. Somit können einmal generierte Text auch mehrfach maschinell überarbeitet und verändert werden.

Im Prüfungskontext ist zudem künftig eine zumindest potenziell größere Rolle von KI in der Aufgabenerstellung, Durchführung, Auswertung und - bei elektronischen Prüfungen - auch in der Prüfungsaufsicht (Proctoring) zu erwarten.

Der Einsatz generativer KI rührt an das Selbstverständnis und an den Kern wissenschaftlichen Arbeitens. Dies betrifft damit insbesondere auch die Ansprüche an wissenschaftliche Haus- und Abschlussarbeiten. Die Hauptanforderung an wissenschaftliches Arbeiten – die systematische und methodisch fundierte Verknüpfung eigenständiger und kreativer Gedanken mit bereits vorhandenen wissenschaftlichen Erkenntnissen – kann als solche durch den Einsatz generativer KI nicht umfänglich erfüllt werden. Dies gründet zunächst primär im minimierten eigenständigen und kreativen Beitrag sowie zusätzlich in der Limitierung und Intransparenz bezüglichen des methodischen Vorgehens. Mögliche Anwendungsfelder liegen damit eher in der Unterstützung der Recherche oder als Hilfsmittel zur textlichen, formalen und stilistischen Überarbeitung.

Trotz individueller Abweichungen und Besonderheiten in einzelnen Studiengängen, Fächerkulturen und Abschlussarten soll im Folgenden ein Überblick zur Relevanz generativer KI in einzelnen Prüfungsleistungen gegeben werden (wird fortlaufend ergänzt und aktualisiert):

Schriftliche Prüfungen

Mündliche Prüfungen

Nach aktuellem Stand ist ein rechtssicherer Nachweis zur Verwendung generativer KI in eingereichten Texten nicht möglich, sofern die betroffenen Textstellen nicht gekennzeichnet sind. Aktuelle KI-Erkennungs-Tools können bestenfalls Indizien liefern. Eine hundertprozentige Unterscheidung zwischen Mensch und Maschine kann jedoch nicht gewährleistet werden. Die Gründe hierfür sind vielfältig. Vorliegende Texte sind häufig nicht nur einfach von Menschen oder Maschinen erstellt, sondern können nachträglich überarbeitet, paraphrasiert oder übersetzt worden sein - sowohl menschlich als auch maschinell. Tests zeigen, dass solche Überarbeitungen einen Nachweis generell deutlich erschweren. Auch kann die KI-gestützte Generierung als solche nicht reproduziert werden, d.h. selbst bei identischen Prompts und des gleichen verwendeten KI-Modells sind die Ergebnisse nie deckungsgleich. Zudem können falsch-negative und falsch-positive Resultate nicht ausgeschlossen werden. Vor allem aber wird die zweifelsfreie Beurteilung durch die häufige Angabe von Wahrscheinlichkeiten nahezu unmöglich gemacht. (Was nützt z.B. die Erkenntnis, ein Absatz wurde mit 70%iger Wahrscheinlichkeit durch KI erstellt?). Für eine destaillierte Analyse aktueller Werkzeuge zur Erkennung KI-generierter Texte sei hier unbedingt auf Weber-Wulff et al. Testing of detection tools for AI-generated text.International Journal of Educational Integrity 19, 26 (2023) verwiesen.

Ungeachtet der oben beschriebenen deutlichen Einschränkungen stehen eine Vielzahl von Textwerkzeugen zur Verfügung und der Markt hierfür ist weiterhin dynamisch. Hier eine Auswahl zum Probieren, ohne Empfehlungen abgeben zu wollen:

• Unter KI-Bedingungen ist die herkömmliche schriftliche Hausarbeit als Prüfungsleistung immer dann in Frage gestellt, wenn es nur darum geht, vorhandenes Wissen lediglich zu reproduzieren und neu zu "verpacken".
   
• Für die Erbringung einzelner Prüfungsleistungen muss explizit entschieden werden: Ist die Nutzung von KI-Tools erlaubt – ja oder nein? Wenn ja: Die Nutzung muss dokumentiert werden (verwendete Tools, Auflistung Prompts, Screenshots, …). In jedem Fall ist über die Nutzung von KI in der Selbständigkeitserklärung verbindlich Auskunft zu geben. 
   

• Revision der Prüfungsformate

  • Optional verstärkte Nutzung von Closed Book Klausuren (handschriftlich oder am Computer in abgesicherter Prüfungsumgebung)

  • Überlegungen zur Einführung einer mündlichen Komponente als Ergänzung zur schriftlichen Hausarbeit, falls praktikabel („Disputation“)

  • Hinwendung zu handlungsorientierten, kreativen und kommunikativen Prüfungsformen. Hierfür kann verstärkt auf die Kompetenzorientierung als Forderung im Hochschulqualifikationsrahmen (HQR, in seiner Neufassung von 2017) aufgebaut werden. Die dort postulierten Schwerpunkte sind: Wissen und Verstehen; Einsatz, Anwendung und Erzeugung von Wissen; Kommunikation und Kooperation; Wissenschaftliche Professionalität

• Zur Diskussion kann ebenfalls eine Neugewichtung von Bewertungskriterien stehen, z.B. eine mögliche Verringerung des Stellenwerts formaler und stilistischer Aspekte zu Gunsten einer stärkeren Gewichtung von Prozessen und Methodik.

• Sollte das Arbeiten mit generativer KI als neue Schlüsselkompetenz anerkannt und gefördert werden?
  Unbedingt ja. Jedoch bedarf es hierzu einer weiteren Verständigung zu konkreten Qualifikationszielen sowie zu fachspezifischen Anforderungen und Lösungen