Überlegungen zu KI-generiertem Feedback

Text: Jacqueline Egli

«Bitte lesen Sie sich die kommentierte Arbeit in Ruhe durch. Überlegen Sie, ob Sie die Korrekturen nachvollziehen können und ob das schriftliche Feedback für Sie verständlich ist. Bei Unklarheiten wenden Sie sich bitte an mich. Überarbeiten Sie den Text und vertiefen Sie das Thema. Reichen Sie Ihre Arbeit in zwei Wochen erneut ein.»

Diese Situation kennen wohl alle Lehrpersonen: abends oder über das Wochenende viele Texte lesen und Rückmeldungen dazu verfassen. Das braucht Zeit, Geduld und Ausdauer. Besonders, wenn die Weiterentwicklung erneut gelesen und gefeedbackt wird. Wer würde sich da nicht über einen Zauberspruch freuen, der diese Arbeit automatisch erledigt. (Generative) künstliche Intelligenz (KI) kann vieles, aber kann sie auch das? – Ja und Nein.

Lernförderliches Feedback

Das Angebot, Texte oder Projekte bereits während der Erstellung zu sichten und zu besprechen, legt den Fokus auf den Prozess (siehe den Blogbeitrag Über das Potenzial von Online-Feedback von Mònica Feixas und Franziska Zellweger) oder die Handlung und nicht (nur) auf das Endprodukt. Dies ist wichtig, denn Feedback greift u.a. dann, wenn es von der feedbackerhaltenden Person reflektiert und gleich weiterverarbeitet wird. Tobias Zimmermann nennt in seinem Buch Leistungsbeurteilung an Hochschulen lernförderlich gestalten explizit zwei verschiedene Arten von Unterstützung: adaptive (durch Erklärung und Beispiele) und behelfsmässige (durch Erhalten der richtigen Antwort). Lernförderlich ist nur ersteres, da es durch Hilfestellung unterstützt. Dies unterstreicht die aktuelle Studie von Hamsa Bastani «Generative AI can harm learning»: Laut dieser wurden zwar Übungen generell mit Unterstützungen von KI-Bots besser gelöst, aber das Lernen unterstützt haben nur die KI-Tutorsysteme, die – aufgrund der Einstellungen – keine Lösung, sondern lediglich Hinweise auf weitere (Reflexions-)Schritte gaben.

KI-generierte Rückmeldungen

Mehrere KI-Anwendungen bieten neuerdings an, Korrekturen und Feedback zu übernehmen (z.B. ChatGPT, DeepL und Language Tool) Aber wie gut, differenziert und lernförderlich sind diese KI-generierten Rückmeldungen?

Intuitiv werden viele sagen, dass die Rückmeldung eines Menschen wertvoller ist als die einer KI. Denn beim Feedback spielt die Beziehungsebene eine wichtige Rolle, wie u.a. Tobias Zimmermann in seinem Blogbeitrag deutlich macht, und diese ist an Menschen gebunden.

Quelle: Adobe Stock

Studien (Dai et al. 2023 oder Escalante et al. 2023) haben nun beschrieben, dass auch maschinelles Feedback – bei gut erstellten Prompts – lernförderlich sein kann und dass sich bei den Studierenden keine eindeutige Präferenz zeigt, von wem sie die Rückmeldung erhalten möchten. Escalante stellt in seiner Studie «no difference in learning outcomes», also keinen Unterschied bezüglich Lernergebnis zwischen maschinellem und menschlichem Feedback fest. Es stellt sich die Frage, ob die Studierenden sich bewusst sind, dass die KI eine Maschine ist oder ob sie dies manchmal vergessen und die KI als empathisch und verständnisvoll sehen, also vermenschlichen.

Gemäss dieser Studien ist das Feedback der KI positiver (Fokus auf Gelungenes), während das der Lehrperson negativer gepolt ist (Fokus auf Verbesserungswürdiges). Dies ist nicht falsch, denn aus Fehlern lernt man. In der Schule ist es aber auch wichtig, bereits Gelungenes hervorzuheben und daran Weiterentwicklungsmöglichkeiten zu knüpfen (also Stärken zu stärken). Möglicherweise kann KI das Feedback der Lehrperson sinnvoll ergänzen.

Rückmeldungen von GPT wurden von den Studierenden signifikant besser verstanden (Dai et al. 2023). KI generiertes Feedback begann meist mit einer kurzen Zusammenfassung der Arbeit des Lernenden und einem Überblick über die Bewertung, gefolgt von weiteren Ausführungen. Die bessere Verständlichkeit könnte daraus resultieren, dass GPT länger und in vollständigen Sätzen kommentiert, wohingegen Rückmeldungen aus menschlicher Hand eher aus unvollständigen Sätzen, bzw. Satzfragmenten bestehen. Die Verständlichkeit bleibt dabei oft auf der Strecke.

Erfahrungsgemäss tendiert KI-Feedback zur Oberflächlichkeit. Die KI erkennt Details und Besonderheiten von Inhalten oft nicht, insbesondere wenn diese regional differieren, da diese Informationen in ihren Trainingseinheiten wohl nicht vorkamen. ChatGPT liefert daher eher allgemein gehaltenes Feedback. Zudem kann die KI etwas als «gut» rückmelden, auch wenn es inhaltlich falsch ist. Daher ist es wichtig, in der Klasse Falschinformationen und Halluzinationen zu thematisieren.

Mit den Worten von Beat Döbeli in seinem Blogbeitrag: «Konkret: Das Feedback eines GMLS ist derzeit vermutlich schlechter als das einer guten Lehrperson. Das Feedback eines GMLS ist jedoch rascher und öfter verfügbar als das einer Lehrperson.»

Es kann für Lernende auch ein Sicherheitsanker sein, wenn sie eine erste Rückmeldung von einer anonymen und wertungsfreien Instanz erhalten und darauf basierend erste Überarbeitungen vornehmen können, bevor eine Lehrperson (oder Peers) einen Blick darauf werfen.

Lerneffekt?

Wenn es um Rückmeldungen zu Grammatik oder Orthografie geht, kann die KI diese meist problemlos erkennen und korrigieren. Allerdings gibt z.B. ChatGPT keine Erklärungen zu den Optimierungen. Bleiben diese aus, verpufft der Lernerfolg, resp. er muss sich mühsam erarbeitet werden, indem der Ursprungstext mit dem generierten Output verglichen wird, Unterschiede herausgestrichen und verstanden werden. Natürlich kann die KI auch aufgefordert werden, diese Aufgaben zu übernehmen und eine Tabelle mit den häufigsten Fehlern zu erstellen, allenfalls sogar mit einer Erklärung dazu. Aber Hand aufs Herz: wie viele Lernende nehmen diesen Aufwand wohl auf sich, wenn die Lösung direkt erfragt werden kann?

Es ist daher unabdingbar, sowohl das Thema «Lernen» als auch das Thema «Feedback» auf der Meta-Ebene mit den Klassen zu besprechen. Einerseits sollten die Jugendlichen lernen, dass Skill-Skipping (sich also die Lösung geben lassen anstatt sich die Kenntnisse selbst zu erarbeiten) zwar einfach, aber nicht lernförderlich ist. Andererseits sollten sie auch befähigt werden, Feedback zu verstehen und für sich zielführend einzusetzen. Und für diese Diskussion braucht es Menschen mit Empathie, Menschenkenntnis und einem Augenzwinkern.

INFOBOX

Am 20. Mai 2025 findet der halbtägige Kurs (Digitales) Feedback – Lernprozesse sichtbar machen statt.

Im Rahmen des CAS Unterricht gestalten mit digitalen Medien besteht die Möglichkeit, das Modul Lernförderliches Feedback: digital, multimedial oder mit KI zu besuchen. Das Modul ist auch einzeln buchbar.

Zur Autorin

Jacqueline Egli ist Dozentin am Zentrum für Berufs- und Erwachsenenbildung an der PH Zürich. Ihre Themengebiete sind unter anderem die Schul- und Unterrichtsentwicklung mit dem Schwerpunkt auf den digitalen Wandel und Changemanagement und Organisationsentwicklung für Bildungsinstitutionen.

Wissenschaftliches Schreiben – KI als Ghost, Partner oder Tutor

Text: Alex Rickert

Es gibt inzwischen empirische Evidenz dafür, dass Studierende und Schüler:innen mit KI zwar qualitativ bessere Texte schreiben, dadurch aber weniger Lernen in Bezug auf den Gegenstand im Vergleich zum Schreiben ohne KI (Ju 2023; Süße u. Kobert 2023). Es fragt sich daher, inwiefern der Einsatz von KI beim Schreiben zum Zweck des Lernens sinnvoll ist. Auf welche Weise sollen generative Bots beim Schreiben von Texten zum Einsatz kommen, damit sie den Schreibprozess unterstützen und gleichzeitig das Lernen durch Schreiben fördern? Dieser Frage geht der vorliegende Beitrag nach.

KI fürs Fachlernen nutzen – aber wie?

Ausgehend von einer Heuristik nach Steinhoff (2023) wird von drei Rollen ausgegangen, die eine generative KI beim Schreiben als zusätzlicher «Aktant» nebst der schreibenden Person spielen kann. Diese Rollen sind: Ghostwriter, Writing Partner und Writing Tutor.

  • Als Ghostwriter nimmt ein Large Language Model (LLM) einer Person das Schreiben ab. Eine Person formuliert einen Prompt oder eine interaktive Sequenz von Prompts, die den Schreibauftrag enthält. Der Output der KI wird übernommen und die Person beansprucht die Autorschaft dennoch für sich. Schreibkompetenz reduziert sich auf Prompting-Kompetenz.
  • Als Writing Partner schreibt die KI zusammen mit der Person, die das LLM bewusst und zielorientiert beim Schreiben miteinbezieht, sei es stellenweise, z.B. nur beim Überarbeiten, oder während allen Phasen des Schreibens. Die KI hat die Rolle einer Ko-Autorin. Im Vergleich zur Ghostwriter-Praktik interagiert der Mensch hier dynamisch und bringt sich selbst als Autor ein. Analog zu Ghostwring-Praktiken besteh die Gefahr, Fehlinformationen zu erhalten. Um ein LLM als Writing Partner zu nutzen, bedarf es hoher Lese- und Schreibkompetenzen. Die Person muss in der Lage sein, die Schreibaktivitäten metakognitiv zu steuern und entscheiden können, welche Art von KI-Einbezug zu welchem Zeitpunkt sinnvoll ist.
  • In der Rolle als Writing Tutor unterstütz ein KI-Bot eine Person beim Schreiben, indem er der schreibenden Person als «Quasi-Lehrperson» gegenübertritt. Die Person nimmt das LLM interagierend als Lerner:in in Anspruch.
Welche Rolle nimmt die KI bei der Unterstützung beim Schreiben ein? (Quelle: Adobe Stock)

Implikationen für das wissenschaftliche Schreiben mit KI: ein Diskussionsvorschlag

Im Folgenden werden die KI-Rollen anhand von Beispielen hinsichtlich ihres Potenzials fürs Lernen durch das Schreiben beurteilt. Hierbei wird auf prototypischen Phasen des Schreibprozesses – Planen, Formulieren, Überarbeiten – eingegangen. Die Beurteilung erfolgt anhand einer Ampel-Logik, wobei rot eine kritisch anzusehende, orange und grün eingefärbte KI-Praktiken legitime, aber im Falle des Writing Partners mit Vorsicht einzusetzende Rollen darstellen. Die Begründung zu den Urteilen folgt danach.

PLANENFORMULIERENÜBERARBEITEN
Ghostwriter

– Skizze oder Inhaltsverzeichnis für einen Text generieren (strukturell und inhaltlich) und übernehmen
    – Text ausformulieren lassen auf Basis von Prompts
    – Zusammenfassungen generieren
    – Fazit formulieren
– Text inhaltlich, strukturell, stilistisch und/oder formal revidieren lassen.
Writing Partner

– eigene Ideen weiterentwickeln
– Strukturvorschläge zu definierten Inhalten generieren
– Brainstorming mit integraler Plausibilitäts- und Wahrheitsprüfung
– Hypothesen formulieren aufgrund zuvor festgelegter Variablen
– Reformulieren der Fragestellung
– einen selbst geschriebenen Abschnitt kürzen
– Formulierungs-alternativen generieren
– Text inhaltlich, strukturell, stilistisch und/oder formal revidieren lassen, dabei Überarbeitungen hervorheben lassen und die Eignung der Revisionen selbst überprüfen
Writing Tutor

– Geplante Textstruktur auf Schlüssigkeit prüfen lassen
– Feedback zur Passung der geplanten Inhalte zu einer Fragestellung evaluieren lassen
– Tipps zum Vorgehen bei der Textplanung oder zur Recherche einholen
– Textsortenspezifische Formulierungshilfen erfragen
– Tipps zum Vorgehen beim Formulieren einholen
– Verschiedene Stile aufzeigen
– Rückmeldungen zur Lesefreundlichkeit, Satzlänge und zur Wortwahl einholen
– Feedback zu aufgabenbezogenen Passung von Inhalt, Struktur, Stil und/oder Korrektheit generieren und begründen lassen
– Tipps für die Schlussredaktion einholen
– Überarbeitungsvorschläge priorisieren lassen

The good, the bad and the buddy

Zur Beurteilung der Frage, welche Rolle der KI-Anwendung in welcher Phase des Schreibens lernförderlich und legitim ist, muss zunächst geklärt werden, was epistemisches Schreiben ist oder anders gefragt: Unter welchen Bedingungen ist Schreiben förderlich für das Fachlernen?

Dieser Frage liegt eine Vielzahl von weitverzweigten Theorien und empirische Arbeiten zugrunde, die hier nur sehr verkürzt und unvollständig erläutert werden. Der Nachweis, dass (Fach-)Lernen durch Schreiben erfolgt, wurde vielfach postuliert, theoretisch modelliert sowie empirisch nachgewiesen (z. B. Meta-Analysen von van Dijk et al. 2022; Graham et al. 2020; Bangert-Drowns et al. 2004). Es existieren mehrere Modelle, die die Funktionsweise des Lernens durch Schreiben beschreiben. Das verbreitete Modell von Galbraith und Baaijen (2018) geht davon aus, dass inhaltliche Konzepte als mental verknüpfte semantische Einheiten im Langzeitgedächtnis gespeichert sind. Beim Schreiben greift die schreibende Person auf dieses Repertoire zurück. Um ihr Schreibziel zu erreichen, aktiviert sie die gespeicherten Verknüpfungen in Syntheseprozessen, überprüft diese und fügt gegebenenfalls weitere Ideen aus bereits gespeicherten semantischen Einheiten oder externen neue Quellen hinzu. Im Prozess dieser Wissensaktivierung und -transformation findet Lernen statt.

Aus dieser Perspektive werden die drei KI-Rollen wie folgt eingeschätzt:

  • Ghostwriter: Keine oder minimale Notwendigkeit der Informationstransformation eigener Wissensbestände sowie kognitiver Syntheseprozesse in Bezug auf den Lerngegenstand. KI-Anwendung ersetzt den Lernprozess oder kürzt ihn ab. Prompting-Kompetenzen ersetzen Schreibkompetenzen.
  • Writing Partner: Wissensaktivierung und -transformation ist erforderlich. Die KI-Rolle unterstützt den Lernprozess, sofern die Sinnhaftigkeit und der Zeitpunkt der KI- Anwendung metakognitiv bewusst gesteuert sind sowie die Bereitschaft und die Fähigkeit vorhanden sind, Informationen des Outputs in eigene Wissensbestände zu integrieren und damit eigenes Wissen zu transformieren.
  • Writing Tutor: Wissensaktivierung und -transformation ist erforderlich. Eigene Textproduktion steht im Mittelpunkt. Unterstützung beim (strategischen) Vorgehen durch Instruktionen und Feedback der KI. Die KI-Rolle unterstützt den Lernprozess.

Fazit: Augen auf beim Prompten! 

Die drei KI-Rollen lassen sich nicht immer klar voneinander abgrenzen. Vor allem die Übergängen zwischen der Partner- und der Tutoren-Rolle sind fliessend. Die Heuristik zu diesen KI-Rollen, die in der obigen Tabelle beispielhaft Mensch-Maschine-Interaktionen in verschiedenen Phasen des Schreibprozesses aufführt, verstehen sich als Diskussionsbeitrag, um den sinnvollen und legitimen KI-Einsatz zu planen und zu reflektieren. Das hier angelegte Ampelsystem ist nicht apodiktisch zu verstehen. Auch die Ghostwriter-Rolle kann beim Schreiben unter Umständen lernförderlich sein. Etwa dann, wenn der Output als musterhaftes Beispiel einer Textsorte oder einer Formulierung studiert und dessen Merkmale analysiert werden. Solche Analysen können dabei helfen, Wissen über Textsorten aufzubauen.

Ein absolut zentraler Aspekt bei allen Formen der KI-Anwendung in Wissenskontexten ist der zweifelhafte epistemische Status der KI-Ausgaben. LLMs garantieren aufgrund ihrer Funktionsweise keine verlässlichen Outputs können keine Verantwortung für die Richtigkeit von Informationen übernehmen. Aus diesem Grund sprechen wissenschaftliche Publikationsinstanzen – z.B. Nature – den LLMs eine Autorschaft ab. Jede KI-Ausgabe muss deshalb minutiös daraufhin überprüft werden, ob sie wahr, vollständig, verzerrt und für das eigene Vorhaben relevant und valide ist. Dabei gilt: Je höher das Ausmass an Delegation von Schreibaufgaben an die KI ist, desto höher ist die Notwendigkeit, Informationen zu prüfen. Die KI-Anwendung Ghostwriter macht die Prüfung des Outputs unausweichlich, auch für die Writing-Partner-Rolle ist sie notwendig und für die Writing-Tutor-Anwendung mindestens empfohlen. Diese Prüfverfahren setzen digitale Lesekompetenzen voraus, die als «epistemisch wachsames Lesen» (Philipp 2021; 2023) bezeichnet werden. Verkürzt gesagt, versteht man darunter Fähigkeitenbündel, um die Plausibilität von Aussagen, die Vertrauenswürdigkeit von Quellen, die Kohärenz von Aussagen oder die Entstehung und Interpretation von Daten zu evaluieren. Es sind in erster Linie diese Fähigkeiten, die für das Lernen durch Schreiben mit KI geschult werden müssen und dies mit Vorteil zusammen mit einem Menschen in der Rolle eines Reading Tutors.

INFOBOX

Das Schreibzentrum der PH Zürich bietet Module zum Schreiben an, in denen KI-Aspekte thematisiert werden:

Schreiben begleiten und beurteilen (Start: 17. März 2025)
Wissenschaftliches Schreiben (Start: 23. September 2025)


Auch für literarische Zugänge zum Schreiben finden Sie beim Schreibzentrum Angebote – z.B. das Modul Biografisches Schreiben (Start: 30. April 2025).


Einzelpersonen, Teams und Organisationen bietet das Schreibzentrum Weiterbildungen und Schreibberatungen in Form von Coachings, Kursen oder Workshops an. Kontaktieren Sie uns! schreibzentrum@phzh.ch

Zum Autor

Alex Rickert ist Leiter des Schreibzentrums und ist als Dozent in Weiterbildungsgefässen aktiv. Seine Arbeits- und Forschungsschwerpunkte sind Textlinguistik, Schreibberatung und -didaktik.

Folgen über E-Mail
LINKEDIN
Share