Ich bin vortragstechnisch normalerweise ja kaum außerhalb meiner Hochschul-Bubble unterwegs. Diese Woche hatte ich aber gleich drei Vorträge, die sich an ein (ganz) anderes Publikum richteten als sonst. Ich war in einem Senior:innen-Café, bei einem Frauen-Netzwerk-Abend in der Weinbar und bei einem Online-Forum für Lehrkräfte.
Station 1: Kaffee, Kuchen, KI
Los gings am Montag bei den Naturfreunden Wiesbaden, beim Senior:innen-Café am Nachmittag. Ich war eingeladen, einen allgemeinen Vortrag zu KI zu halten und hatte ehrlich gesagt gar keine Ahnung, was mich erwartet. Als ich ankam, gab es erst mal selbstgebackenen Kuchen und viel zu dünnen Kaffee. An dem Tisch, an den ich mich setzte, fragten mich direkt zwei Frauen, was es mit dem „kleinen Kreis bei WhatsApp“ auf sich habe, den sie jetzt immer sehen würden. Das sei doch auch KI, oder? Und ob man das ausstellen könne? Eine andere zeigte mir ihr Handy: Eine App sei da plötzlich aufgetaucht, angeblich ein KI-Tool, gratis für eine Woche, danach kostenpflichtig – sie wisse gar nicht, was das ist und wie es auf ihr Handy kam. Tja, das wusste ich auch nicht, die App habe ich aber noch nie gesehen. Da dachte ich: Vielleicht ist es doch ganz gut, dass meine Großeltern kein Smartphone haben und so gar nicht erst uninformiert mit irgendwelchen KI-Tools in Berührung kommen.
Auf meine Einstiegsfrage für den Vortrag, wer schon mal ein KI-Tool wie ChatGPT benutzt hat, meldeten sich ungefähr knapp 50 % der Anwesenden. Der Vortrag selbst lief gut, auch wenn ich gemerkt habe, wie herausfordernd es ist, über KI zu sprechen, wenn die Begriffe, die ich sonst so benutze, wenig anschlussfähig sind. Am Ende gab es natürlich sehr viele Nachfragen. Besonders spannend war die Diskussion mit einer Frau, die Perplexity regelmäßig für medizinische Diagnosen nutzt – und wirklich irritiert war, als ich sagte, dass da auch falsche Infos dabei sein können. Das basiere doch auf Google? Und Google sage ja nur, was stimmt. Oder?! Schon spannend, wie generell im Diskurs auf einmal die klassische Google-Suche als ‚Gral der Wahrheit‘ erscheint; haben wir nicht irgendwann mal alle gelernt, dass Sachen im Internet nicht per se wahr sind?
Am Ende kamen dann zwei völlig gegensätzliche Rückmeldungen auf mich zu: Der eine Herr meinte, dass es wirklich toll sei, dass ich nicht nur über KI lamentiert, sondern auch gut die Vorteile aufgezeigt habe. Der andere bedankte sich wiederum dafür, dass ich nicht nur das Positive erzählt, sondern auch die Risiken benannt hätte. Ich habe es also wohl ganz gut ausbalanciert.
Mich beschäftigen die vielen Fragen nach dem Vortrag seither. Ich frage mich: Wie erklären wir eigentlich der breiten Bevölkerung, was KI ist und was nicht? Wie sorgen wir für ein Grundverständnis, das nicht auf Hype oder Angst basiert, sondern auf Aufklärung? Wie sorgen wir für eine grundlegende AI Literacy bei breiten Teilen der Bevölkerung, unabhängig von Alter und Bildungsgrad?
Station 2: Von Hochschule zu Schule
Am Mittwoch war ich zu Gast beim FelloFish-Forum und durfte vor Lehrkräften einen Input zum Thema KI und Schreiben geben. Hier war ich gespannt, wie meine hochschulisch-schreibdidaktischen Überlegungen im schulischen Kontext ankommen, was davon adaptierbar ist und was eher nicht. Ich habe vom Schulsystem, von schulischer Fachdidaktik ziemlich wenig Ahnung. Es war dann aber ein richtig guter Austausch. Spannend fand ich vor allem, wie unterschiedlich das Mindset ist: Während wir in der Hochschule mittlerweile eher darüber sprechen, wie man KI sinnvoll integriert, war hier die Frage naturgemäß viel stärker, was KI mit dem Prozess des Erwerbs grundlegender Schreibkompetenzen macht und wie man KI auch ganz bewusst aus Aufgaben heraushalten, den Schüler:innen die Gründe hierfür aber auch transparent machen kann.
Station 3: Wein, Wissen, WMN [alle Stations-Alliterationen natürlich made by ChatGPT]
Der letzte Vortrag war am Donnerstagabend beim Frauennetzwerk Wiesbaden-Mainz (WMN) in einer Mainzer Weinbar. Der Titel meines Impulses lautete „KI-Hacks für den Arbeitsalltag“ (hier gibt es die Slides). Technik gab es leider keine, weshalb sich alle Teilnehmerinnen meine Slides per QR-Code auf dem eigenen Smartphone angeschaut haben – auch mal eine Erfahrung.
Das Publikum war bunt gemischt und bestand definitiv aus lauter spannenden Persönlichkeiten, von der Unternehmerin über einige Frauen aus der IT-Branche bis zu Frauen vor dem Wiedereinstieg in den Job nach Babypause oder Sabbatical. Bei den WMN-Treffen ist es üblich, dass die Teilnehmerinnen sich ein Namensschild schreiben und unter ihrem Namen einen Hashtag zum Thema des Abends notieren. Gestern lautete die Hashtag-Frage: „Was verbindest Du mit KI?“ Am coolsten/kreativsten fand ich die beiden Hashtags „#uffbasse“ (auch wenn ich Hessisch furchtbar finde …) und „#weichspüler“.
Ich hätte im Vorfeld gedacht, dass es bei den Fragen im Nachgang vor allem um Datenschutz gehen würde. Tatsächlich ging es aber mehr um Urheberrecht, um ethische Fragen, um Bias. Besonders präsent war das Thema Sexismus in KI-Systemen und eine Teilnehmerin sagte, dass gerade wir als Frauen da besonders genau hinschauen müssen, um keinen KI-induzierten anti-feministischen Backlash zu kreieren.
Was ich interessant fand: Viele Fragen waren noch sehr stark auf dieses „ChatGPT schreibt für mich“ bezogen. In der Hochschule diskutieren wir inzwischen ja viel über ‚Zwischenräume‘, über Co-Creation, über iteratives Schreiben mit KI. Hier war das Bild aber noch oft: Ich geb was ein, KI schreibt mir was, fertig.
Was bleibt
Drei Tage, drei Vorträge, drei neue Perspektiven. Was bei mir besonders hängen geblieben ist: Wie unterschiedlich der KI-Diskurs je nach Kontext geführt wird und was für ein langer Weg es noch ist, bis wir von einem gemeinsamen Verständnis sprechen können. Gleichzeitig aber auch, wie groß das Interesse ist, wie viele Fragen da sind. Und wie wichtig es ist, dass wir diese Fragen ernst nehmen und immer wieder dazu in den Austausch gehen. Vielleicht müssen wir genau da ansetzen: nicht mit noch mehr Technik-Skills, sondern mit Gesprächsräumen. Mit Formaten, die Menschen befähigen, Fragen zu stellen, ohne sich dumm zu fühlen. Und mit einer Sprache, die nicht voraussetzt, dass alle schon wissen, worum es geht. Insofern hoffe ich auf viele weitere Begegnungen außerhalb meiner Bubble!
Am Ende des Blogposts kehre ich dann doch wieder zurück in meine Bubble. Ich möchte noch vier Artikel anführen, die ich diese Woche gelesen habe, zusammen mit einer kurzen KI-generierten Zusammenfassung (Gemini; natürlich inhaltlich überprüft und ggf. modifiziert):
Artikel 1: Evolution of AI in Education: Agentic Workflows.
Der Artikel untersucht den Einsatz von KI-Agenten im Bildungswesen und konzentriert sich dabei auf die Anwendbarkeit von Agenten-Workflows in diesem Bereich. Es werden vier Hauptparadigmen für den Entwurf von KI-Agenten vorgestellt: Reflexion, Planung, Tool-Nutzung und Multi-Agenten-Kollaboration.
- Reflexion: Hierbei geht es um die Fähigkeit von KI-Agenten, ihre eigene Leistung zu bewerten, aus Fehlern zu lernen und ihre Strategien zu verfeinern. Dies beinhaltet Mechanismen wie Feedback-Schleifen, verbale Verstärkung und Selbstkorrektur. Im Bildungskontext ermöglicht dies die Anpassung von Lernmaterialien an die Bedürfnisse der Schüler und die Förderung von Metakognition.
- Planung: Dieses Paradigma bezieht sich auf die Fähigkeit von KI-Agenten, komplexe Aufgaben in kleinere Teilaufgaben zu zerlegen und einen Plan zu deren Bearbeitung zu erstellen. Dies ist besonders nützlich in der Bildung, um personalisierte Lernpfade zu erstellen und den Unterrichtsinhalt optimal zu strukturieren.
- Tool-Nutzung: Hierbei geht es um die Fähigkeit von KI-Agenten, externe Werkzeuge wie Datenbanken oder Web-Suchfunktionen zu nutzen, um ihre Aufgaben zu erfüllen. Im Bildungskontext kann dies bedeuten, dass Agenten auf eine Vielzahl von Ressourcen zugreifen, um den Lernprozess zu unterstützen.
- Multi-Agenten-Kollaboration: Dieses Paradigma untersucht, wie mehrere KI-Agenten zusammenarbeiten können, um ein gemeinsames Ziel zu erreichen. Im Bildungsbereich kann dies beispielsweise in automatisierten Bewertungssystemen eingesetzt werden, bei denen ein Agent den Inhalt bewertet und ein anderer die sprachliche Richtigkeit überprüft.
Der Artikel hebt hervor, dass diese Paradigmen das Potenzial haben, die Effektivität von KI-Anwendungen im Bildungsbereich zu steigern, indem sie eine größere Anpassungsfähigkeit, verbessertes Denkvermögen und konsistentere Leistungen ermöglichen.
Besonders spannend in meinen Augen: In Gruppenprojekte eingebettete KI-Agenten können Interaktionsmuster analysieren, Ungleichheiten bei der Beteiligung erkennen und Maßnahmen für eine Verbesserung der Kollaboration geben. So kann KI, ohne dass sie irgendeinen inhaltlichen Beitrag liefert, die Arbeit in Gruppen verbessern.
Auf Artikel 2 möchte ich hinweisen, weil ich hierfür einen interessanten Prompt entwickelt habe. Der Artikel ist von Februar 2024 und trägt den Titel „Embracing the future of Artificial Intelligence in the classroom: the relevance of AI literacy, prompt engineering, and critical thinking in modern education“. Den Artikel habe ich bei ChatGPT hochgeladen und folgenden Prompt eingegeben: „ich gebe dir hier eine studie. ich wollte sie erst wegklicken, da ich dachte, dass sie mir keine neuen erkenntnisse geben kann. aber man lernt ja immer etwas. basierend auf meinem hintergrund, den du kennst: welche punkte aus der studie könnten für mich neu sein und meine bisherigen erkenntnisse erweitern?“ ChatGPT kennt mich einfach sehr gut, weshalb ich durch diesen Prompt wirklich noch neue Erkenntnisse aus dem Text gezogen habe.
Artikel 3 führe ich an, da ich beim Lesen viel Widerstand spürte. Der Titel lautet „Students’ prompt patterns and its effects in AI-assisted academic writing: Focusing on students’ level of AI literacy“ Die Studie untersucht, wie sich die Promptmuster von Studierenden mit verschiedenen Niveaus von AI Literacy beim Einsatz von genAI für wissenschaftliches Schreiben unterscheiden und welche Auswirkungen dies auf die Schreibaufgabenleistung hat. Kim et al. Analysierten dafür die Promptmuster von 19 Studierenden bei der Interaktion mit genAI für akademische Schreibaufgaben. Die Studierenden wurden auf der Grundlage ihres Al-Literacy-Niveaus in Gruppen eingeteilt. Es wurde eine Inhaltsanalyse der Chatprotokolle zwischen Studierenden und GenAI sowie eine kategoriale Datenanalyse von Interviews mit Studierenden durchgeführt. Außerdem wurden die studentischen Essays von fünf Experten bewertet, um den Zusammenhang zwischen Promptmustern und Aufgabenleistung zu ermitteln.
Zum einen fand ich es schon kritisch, dass die Definition von KI Literacy allein auf Prompting bezogen ist: „Echoing this, AI literacy is widely recognized as the capacity to formulate precise prompts, interpret AI-generated outcomes, and iteratively refine these prompts to achieve desired results (Hwang et al., 2023)“. Und dann war auch die Operationalisierung des Konzeptes von AI Literacy, die sich in den Prompts zeigen soll, etwas krude. Als differenzierender Faktor wurden lediglich die direktiven Verben innerhalb der Prompts einer Interaktion betrachtet, ob also z. B. das Verb „identify“ oder das Verb „generate“ genutzt wurde. Die eingesetzten Verben wurden dann auf die Bloomsche Taxonomie abgebildet, sodass sich daraus folgende Gleichsetzung ergab: Verwendet eine Studentin in ihrem Prompt das Verb „name“, ist dies der Taxonomiestufe „knowledge“ zuzuordnen. Daraus ergeben sich wiederum Interpretationen wie die folgende: „For instance, the HL [high AI literacy; I.B.] group employs starting verbs categorized into KN [knowledge; I.B.] with variations depending on their writing needs, demonstrating an understanding of the exact requirements and an ability to explicitly describe them (see Table 5). In contrast, the LL[low AI literacy; I.B.] group tends to use limited starting verbs such as “explain (topic)” or “what is (topic)” for KN, focusing on finding definitions.“ Oder, eine andere Interpretation: „While the HL group employs creative verbs such as “How to address the limitations of (theory) in…” or “Create a new idea on (topic) related to my previous idea,” the LL group uses CR verbs limitedly, primarily to “outline the task” and “draft it,” relying heavily on GenAI to generate content and delegating tasks requiring higher-level thinking to AI.“
Am Ende wird daraus geschlussfolgert: „The usage of prompt verbs by students in their writing indicates their comprehension and application of concepts, particularly in the context of content generation and composition facilitated by GenAI. As students interact with AI tools to formulate prompts, their choice and sequencing of verbs reflect how they conceptualize and articulate their instructions to the GenAI.“ Für mich ist das höchst problematisch; es wird nach Kausalitäten gesucht, wo m. E. nicht zwangsläufig welche bestehen müssen. Allein anhand der direktiven Verben, die ich in Prompts verwende, kann noch lange nicht auf meine AI Literacy geschlossen werden geschweige denn darauf, wie lernförderlich mein Einsatz von KI-Tools ist. Prompts sollten niemals kontextlosgelöst betrachtet werden, also ohne, dass der weitere Interaktionsverlauf in die Untersuchung einbezogen wird. Das stellt für mich eine extreme Verkürzung dar.
Ein anderes Ergebnis der Studie ist für mich wiederum sehr logisch: „Second, this study found different cognitive engagement between the two groups during writing. Strikingly, the HL group exhibited interactive engagement, such as co-constructing the essay content by combining both their own idea and the system-generated content, seeking elaboration on the text and learning new expressions through iterative conversations with the system, whereas the LL group mainly participated in passive engagement by merely accepting the system-generated content and suggestions.“
Artikel 4 finde ich einfach sehr spannend und möchte ihn deshalb teilen. Er trägt den Titel „How Deep Do Large Language Models Internalize Scientific Literature and Citation Practices?“
Diese Studie untersucht, inwieweit Large Language Models (LLMs) Zitierpraktiken aus den Trainingsdaten ‚verinnerlichen‘ bzw. eigene, neue Standards etablieren (könnten). Die Autor:innen verwendeten den SciSciNet-Datensatz, eine umfangreiche bibliometrische Datenbank, um 10.000 Arbeiten aus Q1-Journalen der Jahre 1999 bis 2021 zu analysieren. Sie forderten GPT-4o auf, Referenzen basierend auf Titel, Autor:innen, Jahr, Veranstaltungsort und Abstract dieser Arbeiten zu generieren, wobei die Anzahl der generierten Referenzen der Anzahl der im Originalpapier zitierten Referenzen entsprach. Die Existenz der generierten Referenzen wurde anhand der SciSciNet-Datenbank überprüft. Anschließend verglichen die Forschenden die Eigenschaften der generierten Referenzen mit denen der tatsächlichen Referenzen in den Originalarbeiten.
Die Studie kommt zu folgenden zentralen Ergebnissen:
- LLMs verstärken systematisch den Matthäus-Effekt in Zitaten, indem sie durchweg häufig zitierte Arbeiten bevorzugen.
- Dieses Muster ist in allen wissenschaftlichen Bereichen zu beobachten.
- LLM-Empfehlungen weichen von traditionellen Zitierpraktiken ab, indem sie neuere Referenzen mit kürzeren Titeln und weniger Autoren bevorzugen.
- Die generierten Referenzen sind inhaltlich relevant für die Originalarbeiten und zeigen ähnliche Netzwerkeffekte wie die tatsächlichen Referenzen.
- LLMs reduzieren die Selbstzitate von Autoren.
