Seit Ende letzten Jahres steht mit ChatGPT ein sprachbasiertes KI-Tool zur Verfügung, das es geschafft hat, innerhalb kurzer Zeit für gehörig Aufruhr zu sorgen. Manch Studierender oder Studierende fragt sich somit, ob es möglich ist, eine Künstliche Intelligenz (KI) die Hausarbeit oder Seminararbeit schreiben zu lassen.
In Schulen und Universitäten, aber auch in der Presse und Öffentlichkeit wird seitdem diskutiert, welche Auswirkungen dieses KI-Tool auf die Lehre und auch möglicherweise Prüfungsformen hat. Grund genug auch für uns, sich Gedanken zu machen, welches Potenzial ChatGPT hat, wissenschaftliche Texte zu verfassen oder damit gleich ganze Hausarbeiten oder gar Abschlussarbeiten schreiben zu lassen.
Dazu haben wir einige unserer wissenschaftlichen Autoren und Autorinnen gefragt, wie ihre Einschätzung ist. Im Folgenden haben wir die prägnantesten Aussagen zusammengestellt. Obwohl die Entwicklung von KI-Tools wie ChatGPT noch am Anfang steht, ergibt sich doch ein überraschend konsistentes Bild. Dieses widerspricht dem Eindruck, der in vielen Presseberichten vorherrscht, dass nämlich ChatGPT das Schreiben von wissenschaftlichen Texten übernehmen könnte und sich somit die Hochschulen massenhaft mit KI-generierten Texten beschäftigen bzw. diese beurteilen müssten. Zweifellos nutzen viele Studierende dieses oder ähnliche Tools bereits, aber wie sie dieses für ihre wissenschaftliche Aufgabenstellungen im Rahmen ihres Studiums tun, bleibt vorerst offen und wäre Gegenstand von weitergehenden empirischen Erhebungen. Anhaltspunkte über die (begrenzten) Möglichkeiten geben jedenfalls die Einschätzungen unserer wissenschaftlichen Autoren und Autorinnen.
Dr. J.S.
Es ist natürlich immer schwierig, Vorhersagen zu treffen – gerade, wenn es um einen Bereich geht, der sich so schnell entwickelt wie KI. Derzeit denke ich aber, dass die Nützlichkeit von ChatGPT bei der Erstellung wissenschaftlicher Arbeiten begrenzt ist und zumindest mittelfristig auch begrenzt bleiben wird. Meine Hauptgründe für diese Einschätzung:
- ChatGPT hat keinen Zugriff auf wissenschaftliche Artikel von akademischen Journals, da diese copyrightgeschützt sind (ich habe hierzu auch mal ChatGPT selbst befragt – das System hat das bestätigt). Zwar gäbe es hier Lösungsmöglichkeiten wie z. B. Lizenzierungsmodelle, aber wissenschaftliche Verlage sind nun nicht unbedingt bekannt dafür, besonders agil zu sein. Sicher sind sie sich auch der Risiken und Schwierigkeiten bekannt, die dies für Universitäten und letztendlich auch für sich selbst mit sich bringen würde, weshalb sie hier vermutlich sehr genau abwägen werden – sofern sie überhaupt offen für diese Möglichkeit sind. Von daher denke ich, dass hier sicher noch ein paar Jahre ins Land ziehen werden, bevor ChatGPT auf mehr Daten Zugriff hat als auf die, die öffentlich zugänglich sind.
- KI, die auf Machine Learning/Deep Learning beruht (so wie ChatGPT bzw. das ihm zugrundeliegende Modell) erzielt keine guten Ergebnisse in Umgebungen, in denen es keine sich wiederholenden Muster gibt. Kurz erklärt: ChatGPT ist letztendlich ein Vorhersagemodell. Es nimmt einen Input und vervollständigt diesen mit dem wahrscheinlichsten Output, der sich aus dem Datenkorpus ergibt, mit dem das System trainiert wurde. Damit kann man zwar trotz des im Kern sehr simplen Mechanismus beeindruckende Ergebnisse erzielen, aber das System ist nicht in der Lage, z. B. divergent zu „denken“, Analogien zu verstehen, oder die Bedeutung von Inhalten zu verstehen. Hieraus ergeben sich z. B. auch viele der Probleme bei der Entwicklung von autonomem Fahren.
Grob gesagt ist KI uns Menschen stand heute nur in solchen Aufgaben überlegen, in denen es sich wiederholende Muster gibt und die sich in einer relativ kontrollierten Umgebung mit wenigen Unvorhersehbarkeiten abspielen (klassisches Beispiel: Schach). Menschen hingegen sind in Aufgaben besser, in denen Abstraktion, „gesunder Menschenverstand“ (Wissen um grundlegende Bedeutungszusammenhänge), Kreativität/divergentes Denken, Innovation usw. gefragt sind. In wissenschaftlichen Arbeiten ist letzteres häufig gefragt (z. B. bei der Entwicklung von Fragestellungen, der Interpretation von Daten usw.). Ich würde behaupten wollen, dass KI uns hier auch zumindest so lange nicht den Rang ablaufen wird, wie diese hauptsächlich auf Machine Learning beruht.
- KI wird historisch schon immer überschätzt. Betrachtet man die Geschichte der KI, dann findet man dort zuhauf Vorhersagen von Koryphäen aus den 50er, 60er und 70er-Jahren, dass KI in wenigen Jahren schon sämtliche Aufgaben erledigen können wird, die von Menschen erledigt werden. Und noch 2018 noch behauptete Elon Musk, dass im Jahr 2020 autonom fahrende Autos einen erheblichen Prozentsatz der Autos auf unseren Straßen ausmachen würden. Immer und immer wieder erweisen sich diese Vorhersagen als völlig utopisch.
Das hängt möglicherweise damit zusammen, dass der Begriff „künstliche INTELLIGENZ“ nahelegt, dass KI mit menschlicher Intelligenz vergleichbar ist (was sie, wie gesagt, nicht ist). Und die durchaus beeindruckenden Leistungen von KI in sogenannten „freundlichen“ Umgebungen mit sich häufig wiederholenden Mustern führen dann vielleicht zu der Annahme, dass KI menschlicher Intelligenz generell überlegen ist (was ebenfalls nicht zutrifft). Zudem werden auch immer wieder die Probleme unterschätzt, die sich in der KI stellen. Ein gutes Beispiel hierfür: Die Entwicklung von Computer Vision – uns Menschen gelingt es problemlos, Objekte, die wir sehen, zu kategorisieren. Und weil es uns so leicht fällt, dachte man in der KI zunächst, das sei technisch einfach umzusetzen (was es aber eben ganz und gar nicht war).
Interessant ist es in diesem Zusammenhang auch, sich den Gartner Hype Cycle vor Augen zu führen, der den typischen Verlauf technologischer Adoption zeigt: https://en.wikipedia.org/wiki/Gartner_hype_cycle
Ich würde spekulieren, dass wir uns, was ChatGPT und KI insgesamt angeht, gerade in der Nähe des „Peak of inflated expectations“ befinden. Es wäre auch nicht das erste Mal, dass dies in der Geschichte der KI passiert. Schon oft gab es solche Peaks, die dann aber schnell wieder in einem „KI-Winter“ endeten.
- Und schließlich: Garbage in – garbage out: ChatGPT kann keine Gedanken lesen. Wenn man ChatGPT für wissenschaftliche Zwecke nutzen will, dann muss man sich im Grunde bereits gut im jeweiligen Gebiet auskennen, um ausreichend spezifische Prompts erstellen zu können und den Output beurteilen zu können.
Wofür ChatGPT bei der wissenschaftlichen Texterstellung sinnvoll genutzt werden kann:
- Erste Strukturierung zum Thema erstellen
- Artikel zusammenfassen
- Text grammatikalisch und orthographisch korrigieren
- Brainstorming von Themenideen/Fragestellungen
- Einen ersten Überblick über ein Forschungsfeld erhalten
- … und sicher noch einiges mehr, aber:
Hauptsächlich werden es Routineaufgaben sein, die uns ChatGPT abnimmt. Ich sehe es als Werkzeug oder als einen persönlichen Assistenten, wenn ich es überhaupt benutze. Die Hauptarbeit – das Denken – kann ChatGPT uns jedenfalls nicht abnehmen. Weil es nicht wirklich denken kann.
J.W.
Hinsichtlich der „Fähigkeiten“ von KI-Technologien beziehe ich tendenziell eine eher (sehr) skeptische Position. Ich bin der Meinung, dass KI-Technologien und ihr Einfluss auf die Arbeits- und Lebenswelt der Menschen in den Öffentlichkeit meist völlig überzogen dargestellt werden. Ich halte den öffentlichen Diskurs rund um ChatGPT für einen der unzähligen (Medien-)Hypes, die rund um das Thema KI regelmäßig entstehen und die Gemüter aufheizen.
Meine Meinung wird tendenziell sogar von den meisten Presseartikeln gestützt. Ähnliche Artikel konnte man bereits vor 10 Jahren in der Presse lesen. Damals haben mich derartige Artikel noch sehr polarisiert. Ich war hin- und hergerissen zwischen Euphorie und Sorge. Die Euphorie bezog sich darauf, dass KI unser Leben in ungeahntem Ausmaß verbessern wird und die Sorge bezog sich darauf, dass sie mir meine Arbeit wegnimmt. Heute sehe ich das deutlich entspannter und bewerte weder das Eintreffen des einen noch des anderen Szenarios als realistisch.
Der Artikel in Science bezieht ganz klar Position und sagt, dass es sich bei ChatGPT, um eine nette Spielerei handelt, die Technologie jedoch keinen Autor ersetzen kann und auch keine brauchbaren Ergebnisse im Rahmen der wissenschaftlichen Texterstellung liefert. Das Beispiel mit den KI generierten Abstracts fand ich auf den ersten Blick zunächst „erschreckend“, jedoch ist ein Abstract keinesfalls eine wissenschaftliche Arbeit, sondern eine kurze Zusammenfassung der selbigen. Zudem empfinde ich die Erfolgsquote der KI-Abstracts als extrem schlecht. Man stelle sich vor, dass nur 27% meiner Arbeiten „durchgehen“ würden. Ich gehe auch davon aus, dass diese Quote in Zukunft nicht deutlich verbessert werden kann ohne wiederum andere Probleme zu erzeugen.
Ich war jahrelang sehr fasziniert von KI und habe deswegen auch meine Master-Arbeit über dieses Thema am Lehrstuhl für angewandte Statistik geschrieben. Dabei habe ich eine (kleine) KI entwickelt, die die Ausfallwahrscheinlichkeit von Krediten schätzt (Credit-Scoring). Während der Ausarbeitung meiner Masterarbeit habe ich immer mehr die Faszination für KI verloren. KI ist am Ende stets „einfach nur“ eine statistische Methode, die Wahrscheinlichkeiten schätzt und zwar eine Wahrscheinlichkeit für „Ja“ und eine Wahrscheinlichkeit für „Nein“. Dabei wird sie immer den Fehler erster Art und den Fehler zweiter Art machen, d.h. sie sagt „Ja“, obwohl die richtige Antwort „Nein“ ist oder sie sagt „Nein“, obwohl die richtige Antwort „Ja“ ist. Man kann zwar den Fehler erster Art reduzieren, dabei erhöht sich jedoch stets der Fehler zweiter Art und vice versa. Da sich eine KI zudem nicht bewusst ist, was sie eigentlich tut, wird sie regelmäßig (gravierende) Fehler machen und völlig absurde Ergebnisse erzeugen, wie es auch bei ChatGPT der Fall ist. Dies trifft insbesondere auf neue und unbekannte Situationen zu, die die KI noch nicht kennt, weil sie nicht in Ihren Trainingsdaten enthalten war. Ich erinnere mich auch an Gespräche, die ich damals mit den Mitarbeitern des Lehrstuhls führte. Alle waren extrem skeptisch, was die Fähigkeiten der KI betrifft, was mich damals noch sehr irritierte.
Ein gewaltiges Problem bei KI ist weiterhin die Tatsache, dass man nicht nachvollziehen kann, wie und warum sie zu einem bestimmten Ergebnis gekommen ist. In diesem Zusammenhang spricht man auch von dem sogenannten Black-Box Problem. Daher ist den Kreditinstituten im Rahmen des Credit-Scoring der Einsatz von KI gesetzlich untersagt. An dieser Stelle ist auch immer die Frage der Haftung interessant. Wenn eine KI eine Bewertung, beispielsweise eine juristische Empfehlung abgibt, wer ist dann am Ende haftbar, wenn sich diese Empfehlung als falsch erweisen sollte und großer (finanzieller) Schaden entsteht?
Nun geht die Erstellung von(wissenschaftlichen) Texten weit über eine Ja/Nein-Antwort hinaus, aber im Prinzip ist eine Texterstellung aus (sehr) vielen Ja/Nein-Antworten zusammengesetzt. Sicherlich geht die technologische Entwicklung weiter und die Tech-Konzerne arbeiten bereits mit Nachdruck an neueren und (vermeintlich) besseren KI-Technologien. In diesem Zusammenhang wird oft argumentiert „Ah, wenn wir nur genug Rechnerleistung haben, dann…“ oder „wenn wir nur ausreichend große Datenmengen haben, dann…“. Ich sehe das eher skeptisch und schließe mich der Meinung des bekannten Statistikers und Wirtschaftssachbuch-Autors Nassim Taleb an, welcher davon ausgeht, dass eine KI die Komplexität der Welt einfach nicht beherrschen kann und an der Datenmenge bzw. am Datenmüll „erstickt“.
Ich kann mir jedoch vorstellen, dass KI-Lösungen wie ChatGPT unter Umständen möglicherweise zu einem künftigen Zeitpunkt als Unterstützungsfunktion beim wissenschaftlichen Schreiben gewinnbringend eingesetzt werden könnten.
Dr. J.G.
Ich denke, dass Algorithmen und KI sicherlich in allen Disziplinen die Zukunft darstellen werden, wir uns also an selbige gewöhnen müssen, aber vor allem die Vorteile sehen sollten. Wie Sie wissen, bin ich hauptamtlich mit der Akademisierung von (…) beschäftigt. In der Universität wird aktuell an einem entsprechenden Algorithmus geforscht, der zukünftig die Entscheidung erleichtern soll, ob (anonymisiert…)
Ich denke, so ist es auch bei ChatGPT: Es wird mittelfristig „als lernende Technologie“ sicherlich sehr viele Aufgaben erledigen können (das sollte man als Chance sehen, weil ja Wissenschaft auch immer komplexer wird). Aktuell halte ich das dieser KI zugeschriebene Potential aber für begrenzt. Es gibt wohl gute Erfahrungen bei kleineren, unkomplexen Texten, aber für Haus- und Abschlussarbeiten in hoher Qualität ist die KI aktuell noch nicht geeignet. Dies kann sich aber ggf. in den nächsten Jahren ändern.
Was ich nicht glaube ist, dass sich wegen ChatGPT die Prüfungsformate an den Hochschulen ändern, dafür ist unser Hochschulsystem erstens zu träge, zweitens zu unterfinanziert und drittens zu unzentralisiert.
Zu 1.) Beispiel für Trägheit: Wir wissen seit vielen Jahren, dass Plagiat strafbar ist. Alles was die Hochschulen aber machen ist, die Studierenden zu zwingen, dass sie an jede Arbeit eine Antiplagiatserklärung dranheften. Hausarbeiten und Abschlussarbeiten werden an vielen Fakultäten aber niemals routinemäßig durch einen Antiplagiatsscanner gescreent, weil es zu viel Arbeit ist. Routinemäßig zum Einsatz kommen Plagiatsscanner nur bei Doktorarbeiten. Plagiatsscanner haben auch den großen Nachteil dass sie natürlich nur publizierte Arbeiten erfassen können: Hausarbeiten und Abschlussarbeiten, die nie veröffentlicht werden, aber von der Fachschaft dann von Semester zu Semester weitergegeben werden, können daher fast unendlich plagiiert werden. Ich denke also, dass die Antiplagiatserklärungen bald um den Satz ergänzt werden müssen, dass man versichert, keinen Algorithmus genutzt zu haben. Das war es dann aber auch schon, mehr werden die Fakultäten nicht unternehmen.
zu 2.) Unterfinanzierung: Wir wissen alle, dass die Hochschulen maximal unterfinanziert sind. Das Problem nimmt eher zu, als dass es besser wird, in Baden-Württemberg fängt man jetzt an, Professuren nicht mehr zu verbeamten, sondern im Angestelltenverhältnis zu beschäftigen. Hausarbeiten sind als Prüfungsform auch deswegen so beliebt, weil sie die Lehrstühle entlasten. I.d.R. benötigt der Student für eine Hausarbeit mehr Selbstlernzeit als für die Vorbereitung auf eine Klausur, weswegen man mit der Lehrleistung runter kann. Außerdem kann die Korrektur durch Doktoranden etc. erfolgen, während bei mündlichen Prüfungen die Professoren bzw. akademischen Mitarbeiter selbst ran müssen. Ich kann mir daher nicht vorstellen, dass man Hausarbeiten ersetzt.
M.S.
Es ist schon verblüffend, was ChatGPT bietet und es kann eine Hilfe in vielfältiger Hinsicht darstellen. Aktuell sehe ich in Bezug auf das Schreiben von wissenschaftlichen Texten aber noch keine Relevanz bzw. nur eine punktuelle Einsetzbarkeit. Man liest zwar viel darüber, aber bei genauer Prüfung ist dies mehr Sein als Schein. Dafür enthält es zu viele Fehler oder es ist einfach unzureichend vom Umfang. Für die Zukunft lässt sich das aber natürlich nicht ausschließen, dass hier mehr möglich sein wird.
Wenn das Tool menschliche Schlussfolgerungen ersetzen kann, dann wäre dies auch auf Level der Universitäten ein Thema. Dann würde die Technologie aber auch alle menschliche Forschung ersetzen können bzw. würde sich diese ggf. auf Nachprüfung oder Ähnliches beschränken.
Wie sich das auf Bewertung von Studenten auswirkt (Klausuren, schriftliche Arbeiten diverser Art) müsste dann evaluiert werden. Es ist nicht auszuschließen, dass sich hier Änderungen ergeben könnten.
Wenn ein Tool aber einen versierten Ghostwriter substituieren kann, dann substituiert dieses natürlich auch den Studenten. Wozu sollte man Studiengänge anbieten, wenn technologisch alles automatisiert werden kann? Teilweise ist dies auch bereits von praktischer Relevanz und auch bestimmte Sektoren wie zum Beispiel in der Rechtsberatung, in der Wirtschaftsprüfung oder Steuerberatung geht man davon aus, dass künstliche Intelligenz menschliche Arbeit fast vollständig verdrängen könnte.
Meine Empfehlung ist, die Entwicklung genau zu beobachten. Potenziell muss dies nicht zwangsläufig zum Nachteil sein. Es ist denkbar, dass sich auch neue Möglichkeiten aus der Technologie heraus ergeben können.
Dr. A.G.
Mal denke ich, es ist eine Revolution, mal daran, dass die Texte nach den Gesetzen der Wahrscheinlichkeit komponiert werden…also niemals Kunst sein werden, die unwahrscheinliche Kommunikation par excellence ist, sondern immer nur Redundanz und dadurch am Ende nicht nahrhaft, denn auch das ist immer nur das Unwahrscheinliche. Und was wahrscheinlich ist, ist immer auch erkennbar. Detektoren für KI-Texte werden bald zur Forensik gehören.
D.B.
Kurze wissenschaftliche Arbeiten oder Textblöcke kann die KI verfassen, aber ein Fachautor:in sollte den Text immer kontrollieren, denn es werden nur die Inhalte generiert, mit der die KI gefüttert wurde. Inhaltliche Fehler, vor allen in den Details, zumal jeder Text eine spezifische Ausrichtung hat, sind immer möglich und nicht selten, wie ich festgestellt habe.
Komplexe wissenschaftliche Arbeiten, aber auch Prosa/Lyrik kann die KI m.E. nicht (optimal) verfassen, weil dazu neben (trägem) Standardwissen in einem Fachgebiet vor allem Kreativität, intelligente komplexe Forschungsfragen und Lösungsstrategien notwendig sind. Außerdem kann oder wird die KI keine exakten Quellenangaben (Zitationen) vornehmen, was immer Bestandteil wissenschaftlichen Schreibens bleiben wird.
Auch im Bereich des ethischen Denkens, Urteilens und Handelns sind die Möglichkeiten der KI begrenzt, da dies an und in komplexen sozialen Situationen entwickelt werden muss. Die Hochschulen selbst müssen sich für die Nutzung der KI durch die Studierenden rüsten, d.h. die Textprüfung auf Erstellen von Arbeiten durch ChatGPT kann selbst evtl. ein neues Arbeitsgebiet werden.
Exemplarisch sollte ChatGPT genutzt und geprüft werden, um zu sehen, ob und wie die KI optimiert worden ist. Ggf. könnten auch Fortbildungen die eigenen Kompetenzen im Umgang mit der KI verbessern. Ich bin selbst aufmerksam, aber vorläufig nicht davon überzeugt, dass ChatGPT das wissenschaftliche Schreiben, Redigieren, Lektorieren und vor allem das Entwerfen und Umsetzen von individuellen Forschungsdesigns ersetzen kann.
S.K.
Chat GPT oder Youchat sind beeindruckende KI-Tools, aber nach meiner Einschätzung noch von einer umfassenden Anwendbarkeit im akademischen Kontext entfernt. Es scheint mir im Moment noch undenkbar, dass das System mithilfe einfacher Befehle eine ganze Seminar- oder Abschlussarbeit schreiben kann. Bei einigen meiner Tests scheiterte Chat GPT bereits daran, auch nur mehr als 40-50 Zeilen auszugeben (dies hat sich mit der neuen Version ChatGPT-4 bereits erledigt). Diesbezüglich stieß ich auch auf die Aussage der Programmierer, wonach ein akademischer Einsatz künftig programmseitig erkannt und unterbunden werden soll. Umgekehrt soll es Programme geben, die mehr oder weniger zuverlässig KI-generierte Texte erkennen können. Offensichtlich ist aber, dass Literaturverweise in KI-erstellten Texten vereinzelt frei erfunden werden.
Die KI kann derzeit vor allem dann Vorteile bieten, wenn man mit wissenschaftlichen Arbeiten vertraut ist und einzelne Teilaufgaben auslagern möchte. Dazu könnten ggf. einzelne Abschnitte gehören, die ein geringes Maß an Originalität erfordern und z. B. bestehende Quellen lediglich zusammenfassen. Da die KI auch zur Erstellung und Überprüfung von Code geeignet ist, testete ich den Umgang mit den Sprachen der Statistikprogramme. Die KIs sind in der Lage, Befehle wie „schreibe eine SPSS-Syntax für die Ausgabe der deskriptiven Statistiken der Variable XY“ in SPSS-Code umzusetzen, analog auch in R- oder Stata-Code. Gerade empirische Arbeiten zeigen aber gut, wo die Grenzen der Tools liegen. Die Konzeption einer solchen Arbeit inkl. Identifikation einer Forschungslücke, Erstellung eines Forschungsdesigns, Erhebung von Daten, Analyse und Interpretation kann derzeit von keiner KI abgebildet werden.
Entsprechend liegt der Gedanke nahe, dass es in näherer Zukunft zunächst bedeutsamer wird, solche Programme mit den richtigen Befehlen zu füttern (zu prompten). Dies dürfte Studierenden, die bereits zuvor Schwierigkeiten beim Verfassen einer wissenschaftlichen Arbeit hatten, weiterhin Probleme bereiten. Der o.g. Befehl im Kontext der Statistikprogramme erfordert z. B. ebenfalls ein entsprechendes Vorwissen. Ein weiterer Aspekt fiel mir ein, als ich an meine Zeit als wissenschaftliche Hilfskraft an einem Lehrstuhl dachte. Die sprachliche Qualität der KI-generierten Arbeiten läge vermutlich deutlich über dem Niveau, das die Beurteilenden erwarten. Man müsste die KI daher explizit anweisen, einen Text zu formulieren, der sprachlich auf dem Niveau des konkreten Studierenden angesiedelt ist.
Es wird vermutlich nicht mehr lange dauern, bis erste, weniger seriöse Agenturen Honorar einsparen wollen und versuchen werden, ihren KundInnen KI-generierte Texte zu verkaufen (…).
Die KI-Tools stehen also noch am Anfang, werden aber in den nächsten Jahren noch Fortschritte machen. Wenn die Programme ein Niveau erreichen sollten, das unseren Dienstleistungen tatsächlich Konkurrenz macht, reichen die Konsequenzen allerdings wohl weit über unsere Branche hinaus. Ich komme nicht aus der Informatik, aber schätze, dass das erst in 5-10 Jahren der Fall sein könnte. Auch dann wird aber noch ein kompetenter Umgang mit den Programmen gefragt sein. Entscheidend wird auch der Umgang der Universitäten mit den Entwicklungen sein.
Dr. M.F.
ChatGPT habe ich bereits ausführlich getestet und meine vorläufige Schlussfolgerung ist, dass es auf den ersten Blick überzeugend Sachverhalte strukturieren und überblicksartig darstellen kann. Mehr aber auch (noch) nicht. Und es kann falsche Sicherheit erzeugen. Bei näherer Überprüfung vieler Texte hat sich nämlich herausgestellt, dass manches eben sachlich nicht korrekt oder völlig aus dem Zusammenhang gerissen war. Das wird ja häufig als „halluzinieren“ bezeichnet, d.h. die KI reimt sich was zusammen, was aber einfach nicht stimmt. Für ein einfaches Schulreferat mag das Tool eine gute Hilfestellung sein und die ohnehin guten Schüler und Schülerinnen werden das sinnvoll einsetzen können. Diejenigen, die aber bereits jetzt Schwierigkeiten haben, komplexe Texte zu verstehen und zu verfassen, werden bei einer unkritischen Verwendung der KI noch mehr Probleme bekommen.
Für anspruchsvolle wissenschaftliche Texte bzw. dem Entwerfen von Forschungsdesigns z.B. für eine Masterarbeit oder gar eine Dissertation momentan also noch völlig ungeeignet, zumal eine vernünftige Referenzierung der Quellen derzeit nicht möglich ist. Es ist völlig unklar, woher die Aussagen der KI stammen und wie sie belegt werden können.
S.H.
Vielleicht ist es so, dass ChatGPT bei kurzen Texten und einfachen Hausarbeiten eingesetzt werden kann. Ein großes Problem für ChatGPT zumindest in meinen Fachbereichen, z.B. Geschichte, dürfte aber das Erschließen von Literatur und entsprechende Literatur-/Fußnotenbelege sein. Längst nicht jede Fachzeitschrift und nicht jedes Fachbuch ist digitalisiert verfügbar, von Quellen ganz zu schweigen. Künstliche Intelligenz kann vieles, aber sie kann nicht selbstständig in die Bibliothek gehen und dort Texte erschließen, die nicht digitalisiert wurden. Das Gleiche gilt für Fragestellungen. Oft haben unsere Kunden noch nicht mal eine eigene Fragestellung oder nur eine grobe, und sie überlassen es dem Ghostwriter, eine zu entwickeln bzw. zu verfeinern. ChatGPT kann sich wahrscheinlich nur an den Fragestellungen orientieren, die bereits vorliegen, und keine neuen, originellen Fragestellungen entwickeln.
R.H.
In der Schule kann es Kindern helfen, gute Anleitungen zu generieren, wenn Sie verstehen, wie sie das Werkzeug zum Lernen nutzen. Man wird KI den Kindern nicht verbieten können, sondern muss die neue Technologie sinnvoll zum Lernen einsetzen. Und Lehrer werden lernen müssen, kreativere Aufgaben zu stellen:-)
Das gilt auch für das Schreiben von wissenschaftlichen Arbeiten bzw. Ghostwriting. Vielleicht findet man eine Methode, um mittels Chat GPT ein nachvollziehbares Review zu erstellen. Dann kann man – wenn man es offenlegt – viel Arbeit sparen, umfassendere Ergebnisse liefern und Raum für kreatives Arbeiten freisetzen. Man muss eben verstehen, dass KI keine kreative Intelligenz sein kann, sondern ein erweiterter Datenbankabfragemechanismus ist, den man für eigene kreative Tätigkeiten nutzen kann. Heute übersetzt ja auch niemand mehr manuell, sondern jeder nutzt Deepl etc. Englisch muss man dennoch (umso besser) selber können und den Text verstehen, um was Gutes daraus zu machen.
Dr. A.O.
Meiner Ansicht nach, ist ChatGPT für den Ghostwriter-Bereich ungeeignet und keine wirklich Konkurrenz, da zwar „schlau aussehende“ Texte generiert werden, ABER kaum Quellenangaben gemacht werden.
Ich kann mir vorstellen, dass das System für eine „erste Idee“ zu einer Arbeit so eine Art „Vor-Exposé“ schreiben könnte, aber hier besteht eben die Gefahr, aufgrund der Unzulänglichkeiten auf eine falsche Fährte gelockt zu werden.
Dr. J.W.
Um ChatGPT wird heute ein ebenso großer Hype gemacht, wie vor Jahrzehnten um Eliza, das deutlich einfacher gestrickt war. Es hinderte die Menschen trotzdem nicht daran dem Programm „künstliche Intelligenz“ zuzuschreiben. Für Herrn Weizenbaum, der Eliza gestrickt hatte, war das eher peinlich, wie er mir auf einer Veranstaltung in Berlin mitteilte. Natürlich ist ChatGPT viel komplexer. Trotzdem bleibt es nur ein Programm, es liefert eloquent klingende Texte. Bei ihrer Erstellung kommt es allerdings teilweise ohne Fakten aus. ‚Halluzinationen‘ bleiben also Teil des Programms. ChatGPT wird also keinem die Arbeit abnehmen können, wenn es um die Erstellung wissenschaftlicher Texte geht. Da geht es nämlich um Fakten. Die sind nicht zwingend Bestandteil eines ‚Abstracts‘, weshalb da die Täuschung möglich war, wie Science schreibt. Hereingefallen sind aber nur 63% der Reviewer. Wäre denen die ganze Arbeit vorgelegen, wäre es wohl keiner gewesen.
Zusammenfassung:
Die Einschätzungen unserer Autoren gehen momentan durchweg in die Richtung, dass ChatGPT und generell KI-Sprachtools noch nicht in der Lage sind, anspruchsvollere wissenschaftliche Texte zu verfassen geschweige denn hierzu innovative Fragestellungen, Forschungsdesigns etc. zu entwerfen. Auch in Fachbereichen, in denen i.d.R. eigentlich mehr oder minder klare Fragestellungen vorgegeben sind wie zum Beispiel im Fachbereich Jura, kann ChatGPT zwar bei Falllösungen durchaus gute Ansätze vorweisen, bleibt aber vorerst noch fehleranfällig und kann die Studierenden aufs Glatteis führen. Eine korrekte Quellenzitierung kann ChatGPT auf absehbare Zeit wohl noch nicht leisten. Auch wenn also derzeit mitunter behauptet wird, dass ChatGPT eine komplette Hausarbeit schreiben kann, scheint dieser Anspruch derzeit noch nicht eingelöst werden zu können.
Als Hilfestellung für einzelne klar definierte Fragestellungen kann die KI jedoch offenbar gute Dienste erbringen, wenn klar ist, dass der Mensch die erstellten Textentwürfe immer kritisch prüfen und ggfs. auch entsprechend angeben sollte.
Einzelne Quellen (auf die sich teilweise im Text bezogen wird, v.a. Science):
https://www.science.org/doi/10.1126/science.adg7879
https://www.ingenieur.de/technik/fachbereiche/ittk/chatgpt-was-kann-die-kuenstliche-intelligenz-was-kann-sie-nicht/#wissenschaft
https://www.lto.de/karriere/jura-studium/stories/detail/ki-schreibt-chatgpt-hausarbeit-studium
