Meine ganze ‚Schreibenergie‘ der letzten Wochen floss fast ausschließlich in mein Lehrbuch, weshalb es die letzten zwei Wochen hier auch keinen neuen Blogpost gab. Mein selbst gestecktes Ziel für die Rohfassung war der 31.08. und am Ende war es dann doch recht sportlich. Nun bleiben mir noch knappe acht Wochen für die Überarbeitung – aber erst einmal ist die Erleichterung groß, dass der erste, recht passable Entwurf steht. Deshalb habe ich heute auch endlich wieder Muße, einen neuen Blogpost zu erstellen.
Inhaltlich soll es diese Woche um eine Diskussion gehen, die diese Woche über die Mailing-Liste „Schreiben an Hochschulen“ geführt wurde, in die ich mich eingebracht habe und die ich sehr spannend und daher auch berichtenswert fand.
Die Diskussion startete mit der Mail einer Kollegin, die KI-Tools suchte, „die Studierende bei der Literaturrecherche sinnvoll unterstützen können, auch wenn noch wenig Erfahrung mit Hausarbeiten vorhanden ist“. Die Kollegin führte weiterhin aus, dass sie bislang noch kein KI-Tool überzeugen konnte, „weil entweder die Qualität der Ergebnisse nicht stimmt oder der Output nur mit sehr kritischer Revision nutzbar wird, was Anfänger mE überfordert – und durch diesen Mehraufwand entsteht auch keine Arbeitserleichterung“. Auf diese Anfrage haben einige Mitglieder der Liste geantwortet. Der Übersicht halber habe ich die Antworten hier mal thematisch geclustert:
Mehrere Diskussionsteilnehmende zeigten eine unverhohlene Skepsis bzw. generelle Negativbewertung bis hin zur Verurteilung von KI-Literaturrecherche-Tools. Als Argumente genannt wurden hierfür v. a. halluzinierte Quellen: Mehrere Teilnehmer:innen betonten, dass gerade ChatGPT oft nicht existierende Literaturquellen generiere, was zu einem erheblichen Mehraufwand bei der Überprüfung führe. Diese Halluzinationstendenz mache die Nutzung für unerfahrene Studierende problematisch und könne diese verunsichern. Einige Mails stellten so auch die Effizienz von KI-Tools infrage und betonten, dass traditionelle Recherchemethoden für Anfänger:innen besser geeignet sind.
Eine zweite Gruppe an Teilnehmenden betonte den Nutzen von KI-Tools als eine Art Lernhilfe: So schlugen einige Mitdiskutierende vor, dass KI-Tools eher als Ergänzung zur traditionellen Recherche genutzt werden sollten, beispielsweise zur Generierung von Suchbegriffen oder zur Inspiration bei der Auswahl von Themen. Zudem wurde in diesen Mails auch betont, dass KI-Tools effektiv eingesetzt werden können, wenn die Studierenden ausreichend über deren Funktionsweise und Grenzen informiert sind. Die Anleitung durch Lehrende sei hierbei unerlässlich.
Eine dritte Gruppe hob schließlich hervor, dass man keine pauschalen Aussagen treffen könne: Mehrere Mails betonten, dass die Eignung von KI-Tools stark von der jeweiligen Fachdisziplin abhängt. In manchen Fächern, besonders wenn viel Literatur in anderen Sprachen als Englisch oder in Publikationsformen außerhalb von Journal-Artikeln existiert, sind traditionelle Methoden weiterhin vorzuziehen. In diesem Kontext wurde auch vorgeschlagen, dass der Einsatz von KI-Tools eine gute Gelegenheit bietet, die Medienkompetenz der Studierenden zu fördern. Die kritische Reflexion über die Zuverlässigkeit und den Einsatz von Technologie stehe hier im Vordergrund. Insgesamt wurde in dieser dritten Gruppe die Notwendigkeit betont, den Einsatz von KI-Tools im Bereich der Literaturrecherche je nach Kontext und spezifischer Aufgabe zu differenzieren, statt sie pauschal abzulehnen oder zu empfehlen.
Mein eigener Beitrag zu der Diskussion war der folgende: „KI-Literaturrecherche-Tools sind genau so gut/schlecht wie klassische Literaturrecherche-Tools. Es geht wie immer auch hier darum, einen für die jeweilige Aufgabe passenden Workflow zu etablieren bzw. zur Aufgabe passende ‚Werkzeuge‘ zu suchen. Suche ich Paper aus einem Fach, in dem ohnehin nur auf Englisch publiziert wird und in dem viel Forschung Open Access in Journals veröffentlicht ist, sehe ich keinen Grund, keine KI-Recherche-Tools zu verwenden (auch ChatGPT, aber eben nicht das generelle, sondern etwa den GPT von Consensus; dann habe ich auch (fast) keine Halluzinationen). Suche ich hingegen Literatur aus Fächern, in denen auf Deutsch (Französisch, Spanisch etc.) veröffentlicht wird und zwar hauptsächlich in Sammelbänden oder Monografien, sind KI-Tools kein geeignetes Werkzeug. Und da sich so viele darüber aufregen, dass KI-Tools ja auch viele schlechte Paper ausspucken würden: Ist das bei ‚traditionellen‘ Datenbanken wirklich so anders? Auch dort entbindet mich die Datenbank ja nicht davon, die Qualität der Ergebnisse zu überprüfen. Insofern scheint mir das Hauptproblem darin zu bestehen, dass KI-Tools (offensichtlich) suggerieren, dass Literaturrecherche nun per Mausklick funktioniert und ‚super easy‘ ist, quasi voraussetzungslos – das ist aber nicht der Fall und wird es auch nie sein.“
Ja, ChatGPT halluziniert mitunter. Die Wahrscheinlichkeit dafür sinkt aber signifikant, wenn ich a) die Internetrecherche aktiviere und b) – vor allem! – nicht nur auf das dahinterstehende LLM zurückgreife, sondern einen auf Literaturrecherche spezialisierten GPT verwende, etwa den von Consensus. Um diese Optionen zu wissen, gehört für mich zu KI-Kompetenz dazu bzw. zu einer generellen Schreibkompetenz im KI-Zeitalter.
Ich finde es letztlich tatsächlich fatal, mit Studierenden – und zwar unabhängig von ihrem Fachsemester – über Literaturrecherche zu sprechen, dabei aber KI-Tools nicht zu thematisieren. Andrea Klein, eine sehr geschätzte schreibdidaktische Kollegin von mir aus dem VK:KIWA, brachte dies in ihrem Diskussionsbeitrag sehr treffend zum Ausdruck: „Das alles müssen wir Studierenden beibringen – mit und ohne KI-Tools. Das bewusste Aussparen von KI-Tools führt meiner Meinung dazu, dass die Studierenden Lehrende nicht mehr ernstnehmen („von gestern“). Es kommt mir ein wenig so vor, als würden wir versuchen, den Studierenden Zettelkataloge und Microfiche schmackhaft zu machen, weil wir denken, dass der OPAC und die Datenbanken verwirrend für sie sein könnten. Wenn KI-Tools in Hinblick auf Recherche und Texterschließung gar nichts leisten würden, gäbe es sie übrigens schon nicht mehr. […] In diesem Sinn: Ich freue mich auf einen Vorkurs zu KI & Literaturrecherche, den ich in wenigen Wochen für neueingeschriebene Studierenden geben werde. Diese haben zu dem Zeitpunkt noch keinen Tag in ihrem Fach studiert und ich werde alles daran setzen, sie umfassend fit zu machen, so dass sie sich bei ihren späteren Recherchen die richtigen Fragen stellen“. That’s it! Genau darum geht es doch! Nur, weil (schreibdidaktisch) Lehrende KI-Literaturrecherche-Tools nicht thematisieren, u. a. weil sie selbst nicht so recht um deren Stärken und Schwächen bzw. um deren generelle Funktionsweise wissen und undifferenziert-pauschal von der „Unsinnigkeit“ solcher Tools sprechen, verschwinden die Tools doch nicht! Und wer soll die Studierenden ansonsten beim entsprechenden Kompetenzerwerb begleiten? Hier könnte ich mich sehr in Rage schreiben …
Lernen bzw. Kompetenzerwerb ist anstrengend. Warum sollte das nicht ebenso für den Erwerb von KI-Kompetenz gelten, wie es für alles andere auch gilt? Passend dazu bin ich heute in diesem Text von Ethan Mollick auf eine aktuelle Meta-Studie aus dem Psychological Bulletin gestoßen, die zeigt, dass die meisten Menschen sich vor kognitiv anspruchsvollen Aufgaben scheuen und zwar unabhängig von ihrem Bildungshintergrund. Denken ist anstrengend und wird daher vermieden, wann immer es geht – so ließen sich die Ergebnisse recht plakativ zusammenfassen. Auch vor diesem Hintergrund erscheint eine Literaturrecherche à la „ich gebe meine Forschungsfrage ein und erhalte die zusammengestellten Antworten aus der Literatur auf dem Silbertablett präsentiert“ sehr verlockend. Viele, die dies kritisieren, sehen aber nicht, dass es nicht wenige Studierende angesichts mangelnder Kompetenz (und mangelnder sinnvoller Angebote zum entsprechenden Kompetenzerwerb) bei ihrer KI-freien Literaturrecherche bislang auch nicht sehr viel anderes gemacht haben: ein paar Schlagworte in den OPAC eingegeben, die ersten Treffer in der Bib besorgt, fertig. Wir haben hier ein generelles Problem und KI-Tools sind hier nur ein weiteres Symptom. Bitte verklärt nicht die ‚Prä-genKI‘-Welt!
Zum Schluss noch ein Satz dazu, was ich gerade abseits von KI-Meldungen lese (wobei es auch hier in einem Kapitel um KI geht): Ich habe mich in ein Buch mit dem Titel „Zukunftswelten. Meine Reise zur Wissenschaft von morgen“ vertieft, das Patrick Cramer, Präsident der Max-Planck-Gesellschaft geschrieben hat. Das Buch ist sehr mitreißend und vor allem auch für Nicht-Naturwissenschaftler:innen sehr verständlich geschrieben. Ich zitiere aus einer Buchrezension von Spektrum, die sich mit meinem Leseeindruck deckt: „‚Es verschlägt mir die Sprache, als ich die hohe Experimentierhalle betrete. So etwas habe ich noch nicht gesehen. Überall Vakuumkammern, silberne Röhren und bunte Kabel. Eine derart komplizierte Maschine könne man nicht bauen, soll ein Gutachter geäußert haben, damals, als der Vorschlag aufkam, eine Plasmaeinschlussanlage vom Typ Stellarator zu errichten. Der Gutachter täuschte sich …‘ In diesem Fall staunte der Autor im Kontext von Kernfusion und Supraleitung, aber ähnliche Äußerungen finden sich in vielen Kapiteln des Buchs von Patrick Cramer. Der renommierte Wissenschaftler hatte 2022/23, vor seinem Amtsantritt als Präsident der Max-Planck-Gesellschaft (MPG), all ihre 84 Institute besucht und sich vor Ort jeweils über die aktuelle Forschungslage informiert. Daraus ist dieses Buch entstanden, das seinen Titel »Zukunftswelten« zu Recht trägt. Denn der Autor lässt seine Leser teilhaben an seiner »Reise zur Wissenschaft von morgen« – einer ebenso spannenden wie erhellenden Reise.“ Ich freue mich schon auf ähnlich begeisterte Rezensionen zu meinem Buch, an dessen Überarbeitung ich mich nun setze … 😉