Bildung + Gesellschaft

Mit Sprachmodellen wie ChatGPT lassen sich Wissenschaftsartikel zusammenfassen. Es kennt aber Gepflogenheiten und Hintergrundwissen von Forscher:innen nicht. Die Folge: Es erzählt Oberflächliches und Unwichtiges, versteht manche Inhalte falsch und produziert so Fehler.Bei akademischen Texten wünscht sich manch einer, es gäbe per Knopfdruck eine leicht verdauliche Zusammenfassung. Wer den Artikel in ein Sprachmodell wie ChatGPT einspeist, erhält jetzt genau das. Sind diese Zusammenfassungen verlässlich oder sind alle Angaben ohne Gewähr?<h2 type="main">ChatGPT schreibt, Forscher:innen bewerten</h2>Wir haben ChatGPT 3.5 über die Seite <a href="https://ChatPDF.com" target="_blank">ChatPDF.com</a> drei aktuelle <link href="#nadc20234138259-fig-0001">Wissenschaftsartikel auf 1000 Zeichen zusammenfassen lassen. Die Autor:innen der Publikationen selbst haben daraufhin die Ergebnisse evaluiert.<figure xml:id="nadc20234138259-fig-0001"><figure><img alt="image" src="https://media.graphassets.com/ctKqZIDQp29geRfMsgYu"><figcaption><label>Abb.1: </label>Menschen ziehen aus wissenschaftlichen Texten Information, die zwischen den Zeilen stehen. Abbildung: CurvaBezler / Adobe Stock</figcaption></figure></figure>Stephan Hohloch, Assistenzprofessor an der Uni Innsbruck, stellte sich der ChatGPT-Zusammenfassung seines Artikels zu mesoionischen Carbenkomplexen mit Mangan.1) Die Einlassungen von ChatGPT zu 1,1-Di- und Triarylalkanen per Photokatalyse mit Cobalthydriden2) analysierte Christopher Teskey, Juniorgruppenleiter an der RWTH Aachen. Melanie Schnell und Fan Xie vom Desy in Hamburg evaluierten, wie ChatGPT ihren Artikel über CO2-Ethanolamin-Aggregate in der Gasphase verarbeitet hatte.Zunächst erhielt ChatGPT den vollständigen Artikel, inklusive Abstract und Schlussfolgerung.Hohloch empfindet die Zusammenfassung seines Artikels als oberflächlich und fehlerhaft. Darin steht etwa, seine Gruppe hätte die Oxidationsstufen der Mangankomplexe mit Cyclovoltammetrie (CV) charakterisiert. Mit CV ließen sich aber Oxidationsstufen nicht bestimmen. CV sei außerdem eine Analysen- und keine Charakterisierungsmethode, schließe also nicht zwingend auf eine Verbindung. Um die Komplexe zu identifizieren, eignen sich stattdessen unter anderem NMR-Spektroskopie und RöntgenkristallographieDie ChatGPT-Zusammenfassung zur Spektroskopie von Gasphasenkeimbildung zwischen CO2 und Monoethanolamin fand Xie richtig und elegant zusammengefasst. Das liege aber daran, dass ChatGPT lediglich den Abstract und die Schlussfolgerung genommen und umformuliert wiedergegeben hätte.<h2 type="main">Wenn ChatGPT nicht abschreibt</h2>Speiste man ChatGPT mit dem Artikel ohne Abstract und Schlussfolgerung, verschob sich der Schwerpunkt der Zusammenfassung. Nach Teskeys Meinung betonte er dann bei seinem Artikel zu stark den Nutzen für die medizinische Chemie. Er schließt aber nicht aus, selbst unbewusst seinen Artikel so gewichtet zu haben. Daher überlegt er, solche Zusammenfassungen zu nutzen, um ungewollte Tendenzen zu identifizieren.Die ChatGPT-Zusammenfassung von Hohlochs Artikel beleuchtet den Anfang der Einleitung, geht aber nicht auf die Ergebnisse ein. Mangan kommt nur im ersten Satz der Zusammenfassung vor, obwohl dessen ungewöhnliche Oxidationsstufen und Spinzustände laut Hohloch zentraler Punkt des Artikels sind.<h2 type="main">Richtig oder falsch</h2>Ob ChatGPT den Schwerpunkt eines Artikels getroffen hat, ist zu einem gewissen Grad Meinungssache. Fragt man ChatGPT jedoch nach den verwendeten Methoden, fallen Fehler sofort auf. Fan Xie und Melanie Schnell lasen, welche Methoden sie benutzt hätten:„The researchers also used … nuclear magnetic resonance spectroscopy to study the reaction mechanism and kinetic behaviors of MEA with CO2.“Weder nutzten sie NMR, noch untersuchten sie die Reaktionsmechanismen und Kinetik. Xie vermutet, dass ChatGPT einen Satz misinterpretiert, nämlich „… monoethanolamine (MEA), in particular, serves as a benchmark system, and its reaction mechanism and kinetic behaviors were extensively studied by quantum-chemical calculations and nuclear magnetic resonance spectroscopy.[9]“Dieser Satz nennt die Ausführenden nicht. Da der Satz in der Einleitung steht und mit einer Literaturstelle versehen ist, erschließt sich der Leserschaft, dass die Autor:innen auf eine frühere Arbeit verweisen. ChatGPT ist damit augenscheinlich nicht vertraut und nimmt somit an, die Autoren hätten die Untersuchungen selbst durchgeführt.Eine Zusammenfassung sollte sich nicht wiederholen, sondern die Zusammenhänge kurz und knapp präsentieren. Dass ChatGPT auch offensichtliche Zusammenhänge nicht erkennt, zeigt sich bei der Zusammenfassung des Artikels von Schnell und Xie:„The researchers used a Hamburg CP-FTMW spectrometer to measure the aggregation of CO2 on MEA in the gas phase.“Zwei Sätze später heißt es:„Additionally, they used broadband chirped-pulse Fourier transform microwave (CP-FTMW) spectroscopy, also known as Molecular Rotational Resonance spectroscopy, … to observe sub-nanometer scale CO2 aggregation processes on MEA.“Schnell vermutet daher, ChatGPT verstehe nicht, dass ein CP-FTMW-Spektrometer CP-FTMW--Spektrometrie betreibt. Befragt zu den spektroskopischen Methoden in Hohlochs Artikel, zeigt ChatGPT inhaltliche Schwächen:„The researchers used various methods to synthesize and characterize the complex, including …“Die anschließende Aufzählung enthält keine Synthesemethode und übergeht die Techniken DFT, CASSCF, MCD, SQUID und HF-EPR, die zu zentralen Erkenntnissen geführt haben.<h2 type="main">ChatGPT ordnet nicht ein</h2>Stephan Hohloch wünscht sich, dass eine Zusammenfassung generische Formulierungen vermeidet und den Kern sowie Besonderheiten seines Artikels kurz und klar ausführt. Gefragt nach dem Einfluss des Artikels auf die Forschung, antwortet ChatGPT jedoch recht allgemein, unter anderem:„Overall, this paper provides important insights into the design and synthesis of pincer-ligands and mesoionic carbene ligands, which could have significant implications for the development of new catalysts and materials in various fields of chemistry.“Das Sprachmodell übergeht dabei Hohlochs ungewöhnlichen MnIII-Komplex, der durch ein starkes Ligandenfeld im Low-spin-Zustand vorliegt.In Teskeys Artikel verkennt ChatGPT ebenfalls, was neu ist. Hätte ein Mensch das Paper so in die Forschungslandschaft eingeordnet, würde Teskey vermuten, dieser hätte das Paper nicht gelesen.Wird ChatGPT konkret, wie im Artikel von Schnell und Xie, verspekuliert es sich:„… the paper could help researchers develop more efficient methods for capturing and storing CO2 emissions from power plants.“Ihre Ergebnisse lassen sich aber nicht auf Kraftwerke anwenden. Denn der Wissenschaftsartikel behandelt Aggregate in der Luft. Kraftwerke nutzen wässriges MEA, um CO2 zu absorbieren.<h2 type="main">Zusammengefasst</h2>ChatGPT isoliert die Kernpunkte und Besonderheiten wissenschaftlicher Artikel nicht, und setzt sich nicht kritisch mit diesen auseinander. Je konkreter ChatGPT sich äußert, desto mehr inhaltliche Fehler baut es ein. Um sich verlässlich zu informieren, müssen Leser:innen daher weiterhin die ganzen Artikel lesen – oder hoffen, dass Expert:innen sie zusammenfassen (diese Nachrichten, ab S. 47). Das Resumée der drei Forscher:innen ist eindeutig: KI wird vorerst keine Notizen in den Nachrichten aus der Chemie schreiben.Frank Tambornino, Gruppenleiter für anorganische Chemie an der Universität Marburg [und im Autorenteam der Chemie-Notizen in den Nachrichten aus der Chemie], hat die Beiträge der Wissenschaftler:innen für den Artikel koordiniert und ChatGPT befragt. Luca Blicker aus der Redaktion der Nachrichten aus der Chemie hat den Artikel geschrieben.<ul class="references" cited="no" xml:id="nadc20234138259-bibl-0001" style="numbered"><li xml:id="nadc20234138259-bib-0001">1 Chem. Commun. 2022, doi: <accessionid ref="info:doi/10.1039/d2cc00097k">10.1039/d2cc00097k</accessionid></li><li xml:id="nadc20234138259-bib-0002">2 ACS Catal. 2022, doi: <accessionid ref="info:doi/10.1021/acscatal.2c05109">10.1021/acscatal.2c05109</accessionid></li><li xml:id="nadc20234138259-bib-0003">3 Angew. Chem. Int. Ed. 2023, doi: <accessionid ref="info:doi/10.1002/anie.202218539">10.1002/anie.202218539</accessionid></li></ul>

Sprachmodell bei Journalartikeln

KI liest nicht zwischen den Zeilen

Mit Sprachmodellen wie ChatGPT lassen sich Wissenschaftsartikel zusammenfassen. Es kennt aber Gepflogenheiten und Hintergrundwissen von Forscher:innen nicht. Die Folge: Es erzählt Oberflächliches und Unwichtiges, versteht manche Inhalte falsch und produziert so Fehler.Bei akademischen Texten wüns...

Prof.Dr.

Acidität – dieses grundlegende Konzept der Chemie ist so wichtig, dass sich die Chemie seit einem Jahrhundert sogar gleich zwei Theorien dazu leistet, die nach ihren Erstveröffentlichern benannt sind. Aber was war mit dem dritten Mann?Vor einhundert Jahren bekam der Protonismus Konkurrenz. Im Laboralltag war eine Säure bis dahin ein Stoff gewesen, der in wässrigen Phasen die Konzentration der Wasserstoffionen erhöht. Gilbert Newton Lewis (1875 – 1945) formulierte im <link href="#nadc20234138186-fig-0001">Gegensatz dazu die elektronistische Säure-Base-Theorie: Er beschrieb Säuren als Elektronenmangelverbindungen. Diese Auffassung beschrieb er zuerst in dem Klassiker „Valence and the Structure of Atoms and Molecules“, sozusagen im Vorbeigehen in seiner ansonsten wegweisenden und bis heute wichtigen Bearbeitung der chemischen Bindungstheorie.1)<figure xml:id="nadc20234138186-fig-0001"><figure><img alt="image" src="https://media.graphassets.com/vminaz0JRvOUbhWgUNjY"><figcaption><label>Abb.1: </label>Die Gabelung der Aciditätsbeschreibungen in der Chemie: links der Protonist/Deskriptivist, rechts der Elektronist/Essentialist. Illustration: John Grossman</figcaption></figure></figure>Heute begegnen den Lernenden beide Varianten. Obwohl im chemischen Alltag immer von Wasserstoffionen die Rede ist, wenn jemand „Säure“ sagt oder etwa mit pH-Messgeräten den „Säuregehalt“ bestimmt, wird der Elektronismus bei der Interpretation von Reaktionsmechanismen herangezogen, und es tauchen die Begriffe „Lewis-Säuren“ und „Lewis-Basen“ auf. Stärker theoretisch orientierte Fachleute gehen allerdings so weit, das Konzept von Lewis als eine umfassendere und universellere, letztlich also bessere Säure-Base-Theorie einzustufen. Ein entsprechender Disput zieht sich bis in die Geschichte und Philosophie der Chemie hinein.2)<h2 type="main">Noch einer, der über Säuren nachdenkt</h2>Es gibt allerdings noch einen weiteren Aspekt. Im Jahr 1923 haben nämlich nicht nur Johannes Nicolaus Brønsted (1879 – 1947) und Gilbert Lewis ihre einschlägigen Arbeiten veröffentlicht.Auch Thomas Martin Lowry (1874 – 1936), Physikochemiker in Cambridge, hat in diesem Jahr einen Aufsatz publiziert, um den sich, was den Protonismus anbelangt, eine Legende rankt.3) Lehrbücher, insbesondere anglo-amerikanische, präsentieren die protonistische Theorie bis heute als „Brønsted-Lowry-Theorie“. Wie ein Blick in die historischen Quellen zeigt, ist diese Bezeichnung, also die Gleichsetzung der Bedeutung der beiden Forscher, allerdings mehr als fragwürdigIn der Arbeit mit dem Titel „The Uniqueness of Hydrogen“, veröffentlicht am 10. Januar (und damit einige Monate vor Brønsteds wegweisendem Aufsatz „Einige Bemerkungen über den Begriff der Säuren und Basen“), befasst sich Lowry vor allem mit den bindungstheoretischen Besonderheiten des leichtesten aller chemischen Elemente. In der Zusammenfassung des Aufsatzes führt der Autor folgende Punkte an (hier in Kurzfassung):<list><listitem>Wasserstoff ist einzigartig bezüglich der „Kovalenz“ und der „Elektrovalenz“;</listitem><listitem>beide Valenzvarianten können in Kristallen auftreten;</listitem><listitem>Wasserstoffionen zeigen hohe Mobilität, Wasserstoffatome hingegen sind in atomaren Umgebungen fixiert;</listitem><listitem>in bestimmten organischen Säuren wandert das bewegliche Wasserstoffatom zwischen negativ geladenen Sauerstoffatomen und -CH-Gruppen;</listitem><listitem>im Original: „A base is best described as an acceptor of hydrogen nuclei“.</listitem></list>Nur dieser letzte Punkt ähnelt der Beschreibung, die Brønsted in seiner programmatischen Arbeit etwas später vorlegt.<h2 type="main">Die protonistische Säure-Base-Beschreibung</h2>Der Zusammenhang zwischen der Acidität und den Wasserstoffionen in aquatischen Matrices ist Anfang der 1920er Jahre keine Neuigkeit mehr.4) Den Ausgang nahm die moderne protonistische Säure-Base-Doktrin von Svante Arrhenius, der in seiner Theorie der elektrolytischen Dissoziation darauf hinwies. Einen weiteren historischen Meilenstein setzte der dänische Biochemiker Søren Sørensen mit der Erfindung des pH-Werts im Jahr 1909. Unter den Gelehrten, die in der Folge die Konsolidierung des Protonismus vorantrieben, war Leonor Michaelis. Auch er war Biochemiker, wie die meisten der Pioniere und Pionierinnen der Aciditätsforschung. In seinem für den hier angesprochenen Diskurs (und die heutige historische Forschung) zentralen Werk „Die Wasserstoffionenkonzentration“ formuliert er bereits ein Jahr vor Lewis‘ Theorie folgende Definition: „… eine Säure ist ein an sich neutrales Molekül, welches H+-Ionen abdissoziiert (oder OH–-Ionen addiert).“5) Bereits in einem früheren Aufsatz hatte Michaelis eine ähnliche Beschreibung gegeben, und damit den zeitgenössischen Wissensstand zusammengefasst. Ausdrücklich weist er auf den relationalen Charakter der aquatischen Acidität hin und bedauert, dass einige seiner Kollegen aus der Physiologie diesen wichtigen Zusammenhang – die Erhöhung der Menge der Wasserstoffionen hat zum Beispiel eine Absenkung der OH–-Konzentration zur Folge – häufig übersehen.Brønsted kennt die Arbeiten von Michaelis und nimmt darauf Bezug. In den Darstellungen beider Forscher werden die Säuren priorisiert. Auch der Däne meint: „Säuren und Basen sind Stoffe, die einer Abspaltung beziehungsweise Anlagerung von Wasserstoffionen fähig sind.“6) Ein Aspekt bei Michaelis behagt ihm weniger, denn dieser spricht – kaum überraschend für einen physiologisch orientierten Physikochemiker – ausschließlich von wässrigen Matrices und betont das OH–-Ion als Gegenspieler der „Protonen“. Brønsted hingegen definiert Säuren „schematisch“ (und unter Nichtbeachtung der Elektroneutralität) wie folgt: S → B + H+. Mit diesem Schema führt er die noch heute übliche relationale Beschreibung der Acidität ein und spricht von „korrespondierenden“ Säuren und Basen.<h2 type="main">„Brønsted-Lowry-Theorie“: eine Legende</h2>Eine derartige relationale Definition sucht man bei Lowry vergebens. Darüber hinaus diskutiert der britische Forscher auch die unsymmetrische Natur des Säure-Base-Verhältnisses nicht, während Brønsted sagt: „Diese Unsymmetrie ist … ein fundamentaler Zug der Säure-Basentheorie“.7) Nur indirekt ähnelt die Beschreibung Lowrys derjenigen von Brønsted, und zwar in der (schon länger bekannten) Bedeutung der Wasserstoffionen und der (auch vorher schon beschriebenen) Rolle der Basen als Protonenakzeptoren. Was den letzten Punkt angeht, hat beispielsweise Irving Langmuir, wenn auch versteckt in einem Aufsatz über die „octet theory of valence“, bereits 1920 eine Definition vorgelegt: „… acids are substances from whose molecules hydrogen nuclei are readily detached, while bases are substances whose molecules can easily take up hydrogen nuclei. The more easily the hydrogen nuclei are given up, the stronger the acid which results: the greater the tendency to take up hydrogen nuclei the stronger the base.”8) Wollte man also der tatsächlichen historischen Priorität Genüge tun, müsste es eher „Brønsted-Michaelis-Langmuir-Theorie“ heißen, auf keinen Fall jedoch „Brønsted-Lowry-Theorie“.Wie Lowry selbst seine eigenen Vorstellungen für die Genese der Theorie positionierte, bleibt unklar. Einerseits fordert er in einem Kurzbeitrag von 1930 Priorität ein, weil sein Aufsatz von 1923 ein paar Monate früher erschien als der von Brønsted, andererseits hatte er bereits im Jahr 1927 im Zusammenhang mit basischen Katalysatoren folgende Feststellung publiziert: „More novelty is to be found in the perfectly logical conclusion of Brönsted that the anion of an acid is also a base or proton acceptor, in view of the fact that it can combine with a proton to form a molecule of the undissociated acid.“9) An dieser Stelle wird deutlich, dass Thomas Martin Lowry – im Unterschied zu manch heutigen Fachleuten – das deutschsprachige Original des Autors der modernen protonistischen Säure-Base-Theorie tatsächlich gelesen hat. Gleichzeitig legt er offen, wer der Autor dieser Theorie ist: Brønsted. Allein die Prioritätsforderung (die inhaltlich gar keine sein kann, wie wir gesehen haben) kann die Auffassung nicht stützen, dass hier beide Forscher gleichen Anteil an der Urheberschaft der fraglichen Theorie haben.Wieso hat sich die unrichtige Namensgebung dennoch eingebürgert? Eine wichtige Rolle spielen Lehrbücher. Kaum jemand – seien wir ehrlich – wird sich die Mühe machen, die dort gegebenen historischen Angaben anhand der Quellen zu prüfen. Und so werden einmal abgedruckte Angaben für wahr gehalten und von einer Generation zur nächsten ungeprüft weitergegeben. Ein weiterer Aspekt ist, dass englischsprachige Historiker deutschsprachige Quellen – und eine solche ist der Text von Brønsted – heute seltener lesen. Insofern bleibt der Vergleich mit Lowrys Aussagen bisweilen im Ungewissen.Die „Brønsted-Lowry-Theorie“ ist also eine Legende. Dies mindert Thomas Martin Lowrys Bedeutung allerdings nicht. Im Gegenteil: Seine Position in der Geschichte der Chemie wird durch die sorgfältige Berücksichtigung der Quellen künftig angemessener wiedergegeben.<h2 type="main">Der Autor</h2>Klaus Ruthenberg forscht seit mehreren Jahrzehnten im Gebiet der Geschichte und Philosophie der Chemie. Zuletzt erschien seine Monographie „Chemiephilosophie“ (de Gruyter, 2022). <a href="mailto:ruthenbergklausa@gmail.com">ruthenbergklausa@gmail.com</a><img alt="image" src="https://media.graphassets.com/WqJjuosTsqCwqr9il2ie"><ul class="references" cited="no" xml:id="nadc20234138186-bibl-0001" style="numbered"><li xml:id="nadc20234138186-bib-0001">1 G.N. Lewis, Valence, New York, 1923</li><li xml:id="nadc20234138186-bib-0002">2 Im an der Coburger Hochschule veranstalteten virtuellen „Centenary Workshop on the Bifurcation of Acidity – Protonism vs. Electronism“ Anfang März dieses Jahres war dieser Disput ein zentrales Thema</li><li xml:id="nadc20234138186-bib-0003">3 Die Rede ist vom Aufsatz in Chemistry and Industry 1923, 42, 43</li><li xml:id="nadc20234138186-bib-0004">4 Zur Geschichte der Acidität siehe etwa: P. Walden, Salts, Acids, and Bases, Electrolytes, Stereochemistry, New York, 1923</li><li xml:id="nadc20234138186-bib-0005">5 L. Michaelis, Die Wasserstoffionenkonzentration, Berlin, 1922, hier S.16</li><li xml:id="nadc20234138186-bib-0006">6 J.N. Brønsted, Recueil des Travaux Chimique des Pays-Bas 1923, 42, 718</li><li xml:id="nadc20234138186-bib-0007">7 Ebenda S. 726</li><li xml:id="nadc20234138186-bib-0008">8 I. Langmuir, J. Am. Chem. Soc. 1920, 93, 287</li><li xml:id="nadc20234138186-bib-0009">9 Lowrys (unbegründete) Prioritätsforderung findet sich in Transactions of the Faraday Society 1930, 26, 45; das Zitat stammt aus J. Chem. Soc. 1927, 130, 2554 [hier S.2562]</li></ul>

Veranstaltungen

Allgemein

Sprachmodell bei Journalartikeln

KI liest nicht zwischen den Zeilen

ChatGPT schreibt, Forscher:innen bewerten

Überprüfung Ihres Anmeldestatus ...

Anonymous

Veranstaltungen

Allgemein

Sprachmodell bei Journalartikeln

KI liest nicht zwischen den Zeilen

ChatGPT schreibt, Forscher:innen bewerten

Überprüfung Ihres Anmeldestatus ...