Jenaer Forschende haben mit einer Software Sprachmodelle wie ChatGPT gegen 19 echte Chemiker:innen antreten lassen. Dazu haben sie knapp 2800 Aufgaben gestellt – von Analytik bis technische Chemie.
Wie viele Signale im 1H-NMR-Spektrum erwarten Sie bei der neben stehenden Molekülstruktur? Diese und weitere 2786 Fragen haben Forschende der Universität Jena 19 echten Chemiker:innen und 9 Sprachmodellen wie ChatGPT gestellt: Geprüft wurde unter anderem Studiumswissen in technischer Chemie, Anorganik, Toxikologie, und am Ende wurde verglichen.
Heraus kam: Die besten Modelle schnitten besser ab als Menschen zwischen Masterstudium und Postdoc – allen voran ChatGPT o1-preview des Unternehmens OpenAI. Es beantwortete doppelt so viele Fragen richtig wie der bestplatzierte Mensch (Abbildung).
