Herausforderungen für Konzeption, Durchführung und Bewertung von Prüfungen
Generative Künstliche Intelligenz hat längst Einzug in den Hochschulalltag gehalten – und stellt etablierte Prüfungsformate nun selbst auf den Prüfstand.
Die Entwicklungen und Anwendungsmöglichkeiten im KI-Bereich verlaufen hochdynamisch, und nicht alle Fragen können bereits abschließend beantwortet werden. Auf dieser Seite wird der aktuelle Stand der Diskussion zum Umgang mit KI im Prüfungskontext aufgezeigt. Zugleich soll sie als Wegweiser zum praktischen Umgang mit den Herausforderungen generativer KI und als Einstieg zur weiteren Beschäftigung mit dem Thema dienen.
Was kann generative KI leisten?
Allgemein können mit generativer KI z.B. Texte, Bilder, Code, Musik erstellt werden. Typischerweise ist dieser Erstellungsprozess dadurch geprägt, dass mit der "Maschine" in einen schriftlichen Dialog getreten wird. Es werden Anweisungen an das KI-System gerichtet, um damit entsprechende Antworten und Ergebnisse zu initiieren (Prompting). Es gilt zu beachten, dass die derart erstellten Inhalte zwar formal und stilistisch überzeugend sein können, aber keine Garantie zur inhaltlichen Richtigkeit gegeben wird. Damit liegt es in der Verantwortung der initiierenden Person, die generierten Inhalte auf Richtigkeit, Vollständigkeit, Logik und Konsistenz zu überprüfen.
Weitere wichtige Anwendungsfelder von KI sind das Übersetzen, Verändern oder Paraphrasieren von Texten. Somit können einmal generierte Text auch mehrfach maschinell überarbeitet und verändert werden.
Im Prüfungskontext ist zudem künftig eine zumindest potenziell größere Rolle von KI in der Aufgabenerstellung, Durchführung, Auswertung und - bei elektronischen Prüfungen - auch in der Prüfungsaufsicht (Proctoring) zu erwarten.
Generative KI & wissenschaftliches Arbeiten
Der Einsatz generativer KI rührt an das Selbstverständnis und an den Kern wissenschaftlichen Arbeitens. Dies betrifft damit insbesondere auch die Ansprüche an wissenschaftliche Haus- und Abschlussarbeiten. Die Hauptanforderung an wissenschaftliches Arbeiten – die systematische und methodisch fundierte Verknüpfung eigenständiger und kreativer Gedanken mit bereits vorhandenen wissenschaftlichen Erkenntnissen – kann als solche durch den Einsatz generativer KI nicht umfänglich erfüllt werden. Dies gründet zunächst primär im minimierten eigenständigen und kreativen Beitrag sowie zusätzlich in der Limitierung und Intransparenz bezüglichen des methodischen Vorgehens. Mögliche Anwendungsfelder liegen damit eher in der Unterstützung der Recherche oder als Hilfsmittel zur textlichen, formalen und stilistischen Überarbeitung.
Relevanz für Prüfungsleistungen
Die Grundlinien zum Einsatz von (generativer) KI im Prüfungskontext werden in der Rahmenstudien- und -prüfungsordnung § 15 Prüfungsleistungen (3) geregelt. Hiernach ist die Nutzung zwar generell zulässig, ist aber an strikte Nachweis- und Dokumentationspflichten gebunden. Zur Art und Weise eines möglichen Einsatzes von Künstlicher Intelligenz als zugelassenes Hilfsmittel wird auf die jeweiligen studiengangspezifischen Bestimmungen verwiesen.
Trotz individueller Abweichungen und Besonderheiten in einzelnen Studiengängen, Fächerkulturen und Abschlussarten soll im Folgenden ein Überblick zur Relevanz generativer KI in einzelnen Prüfungsleistungen gegeben werden (wird fortlaufend ergänzt und aktualisiert):
Schriftliche Prüfungen
- Potenziell hohe Möglichkeit der Verwendung KI-generierter Inhalte.
- Wird jedoch durch den Anspruch eigenständiger wissenschaftlicher Untersuchungen, Forschungs- oder Entwicklungsarbeit sowie durch die vorausgesetzte Betreuung von Abschlussarbeiten limitiert.
- sprachliche und stilistische und Bearbeitung und Korrektur
- keine Relevanz jenseits von Betrugsversuchen während der Klausur. Maßnahmen zur Prüfungsaufsicht sind zu optimieren
- keine Relevanz jenseits von Betrugsversuchen während der Klausur. Die technischen Möglichkeiten einer abgesicherten Prüfungsumgebung sind zu optimieren und durch Prüfungsaufsicht zu ergänzen
- Besondere "Attraktivität" für Betrugsversuche mittels Verwendung generativer KI
- Überwachung nach derzeitigem rechtlichen und technischem Stand nicht umfänglich möglich
- nicht empfehlenswert
- Potenziell hohe Möglichkeit der Verwendung KI-generierter Inhalte.
- Besondere "Attraktivität" durch tendenziell niedrigere inhaltliche Durchdringstiefe ("Überblicksdarstellungen") und Forschungasansasatz
- sprachliche und stilistische und Bearbeitung und Korrektur
- Optionen zum Einsatz generativer KI durchaus vorhanden und als Ergänzung (z.B. im Bereich der Recherche u.U. sinnvoll)
- Nutzung im Vorfeld verbindlich klären und dokumentieren
- Optionen zum Einsatz generativer KI durchaus vorhanden und als Ergänzung (z.B. im Bereich der Recherche oder auch der grafischen Darstellung und Auswertung u.U. sinnvoll)
- Nutzung im Vorfeld verbindlich klären und dokumentieren
- in Abhängigkeit fachspezifischer Anforderungen jenseits von z.B. grafischen Darstellungen eher von geringer Relevanz
Mündliche Prüfungen
- Die Erarbeitung von Referaten und ggf. dazugehörigenen Präsentationen muss als besonders "attraktiv" für die Verwendung generativer KI eingeschätzt werden, eventuell noch höher als bei schriftlichen Hausarbeiten.
- Die Möglichkeit der gründlichen und ggf. technischen Überprüfung ist zumindest während des Vortrages nicht gegeben. Das mündliche Nachfragen bietet jedoch die Option, das grundlegende Verständnis der Zusammenhänge und Lösungswege zu überprüfen und ggf. zu hinterfragen. Hiervon sollte im Zweifelsfall intensisiv und stärker Gebrauch gemacht werden.
- jenseits der Prüfungsvorbereitung - und eventuellen Betrugsversuchen in einer der Prüfung vorschalteten kurzen Vorbereitungsphase mit konkreter Aufgabenstellung - keine/kaum erkennbare Relevanz zur Nutzung generativer KI. Ausnahme: Prüfungsformen mit direktem und erlaubtem Einsatz von KI
Kann die Verwendung generativer KI nachgewiesen werden?
Nach aktuellem Stand ist ein rechtssicherer Nachweis zur Verwendung generativer KI in eingereichten Texten nicht möglich, sofern die betroffenen Textstellen nicht gekennzeichnet sind. Aktuelle KI-Erkennungs-Tools können bestenfalls Indizien liefern. Eine hundertprozentige Unterscheidung zwischen Mensch und Maschine kann jedoch nicht gewährleistet werden. Die Gründe hierfür sind vielfältig. Vorliegende Texte sind häufig nicht nur einfach von Menschen oder Maschinen erstellt, sondern können nachträglich überarbeitet, paraphrasiert oder übersetzt worden sein - sowohl menschlich als auch maschinell. Tests zeigen, dass solche Überarbeitungen einen Nachweis generell deutlich erschweren. Auch kann die KI-gestützte Generierung als solche nicht reproduziert werden, d.h. selbst bei identischen Prompts und des gleichen verwendeten KI-Modells sind die Ergebnisse nie deckungsgleich. Zudem können falsch-negative und falsch-positive Resultate nicht ausgeschlossen werden. Vor allem aber wird die zweifelsfreie Beurteilung durch die häufige Angabe von Wahrscheinlichkeiten nahezu unmöglich gemacht. (Was nützt z.B. die Erkenntnis, ein Absatz wurde mit 70%iger Wahrscheinlichkeit durch KI erstellt?). Für eine destaillierte Analyse aktueller Werkzeuge zur Erkennung KI-generierter Texte sei hier unbedingt auf Weber-Wulff et al. Testing of detection tools for AI-generated text.International Journal of Educational Integrity 19, 26 (2023) verwiesen.
Ungeachtet der oben beschriebenen deutlichen Einschränkungen stehen eine Vielzahl von Testwerkzeugen zur Verfügung und der Markt hierfür ist weiterhin dynamisch. Eine Empfehlung kann derzeit nicht ausgesprochen werden
Konsequenzen und Empfehlungen
- Unter KI-Bedingungen ist die herkömmliche schriftliche Hausarbeit als Prüfungsleistung immer dann in Frage gestellt, wenn es nur darum geht, vorhandenes Wissen lediglich zu reproduzieren und neu zu "verpacken".
- Für die Erbringung einzelner Prüfungsleistungen muss explizit entschieden werden: Ist die Nutzung von KI-Tools erlaubt – ja oder nein? Wenn ja: Die Nutzung muss dokumentiert werden (verwendete Tools, Auflistung Prompts, Screenshots, …). In jedem Fall ist über die Nutzung von KI in der Selbständigkeitserklärung verbindlich Auskunft zu geben.
Revision der Prüfungsformate
Optional verstärkte Nutzung von Closed Book Klausuren (handschriftlich oder am Computer in abgesicherter Prüfungsumgebung)
Überlegungen zur Einführung einer mündlichen Komponente als Ergänzung zur schriftlichen Hausarbeit, falls praktikabel („Disputation“)
Hinwendung zu handlungsorientierten, kreativen und kommunikativen Prüfungsformen. Hierfür kann verstärkt auf die Kompetenzorientierung als Forderung im Hochschulqualifikationsrahmen (HQR, in seiner Neufassung von 2017) aufgebaut werden. Die dort postulierten Schwerpunkte sind: Wissen und Verstehen; Einsatz, Anwendung und Erzeugung von Wissen; Kommunikation und Kooperation; Wissenschaftliche Professionalität
Zur Diskussion kann ebenfalls eine Neugewichtung von Bewertungskriterien stehen, z.B. eine mögliche Verringerung des Stellenwerts formaler und stilistischer Aspekte zu Gunsten einer stärkeren Gewichtung von Prozessen und Methodik.
Sollte das Arbeiten mit generativer KI als neue Schlüsselkompetenz anerkannt und gefördert werden?
Unbedingt ja. Jedoch bedarf es hierzu einer weiteren Verständigung zu konkreten Qualifikationszielen sowie zu fachspezifischen Anforderungen und Lösungen
