Naturwissenschaft, Medizin und Technik

Licence, source et attribution

Découvrez l’origine de ce paquet et les conditions pour l’utiliser ou le partager.

Licence

MIT License MIT

Attribution

Source : https://huggingface.co/datasets/openai/MMMLU — Licence : MIT License (https://opensource.org/licenses/MIT)

Source

MMMLU — Multilingual Massive Multitask Language Understanding (OpenAI), DE_DE

Récupéré le

2026-08-05

Thème

Sciences

Langue

Deutsch

Version

3

Mis à jour le

2026-08-05

Ce paquet a été modifié lors de son intégration : Jede MMLU-Frage ist eine Multiple-Choice-Aufgabe: vier Optionen und ein Buchstabe als Antwort. Memoquiz hat den Buchstaben aufgelöst, die richtige Option ausgeschrieben auf die Rückseite gesetzt und die drei übrigen verworfen — eine Karte, die „B“ antwortet, lehrt nichts. Verworfen wurden alle Fragen, die ohne ihre Optionen nicht bestehen: Verweise auf eine Liste, eine Textstelle, eine Abbildung, ein Kapitel oder ein Szenario, Lückensätze, verneinte Fragen, Rechenaufgaben, numerische Antworten, Wahr/Falsch- und Rangangaben, Anreden in der zweiten Person sowie Antworten von mehr als zwölf Wörtern. Ebenso entfernt wurden Spuren der Textextraktion (zerbrochene Silbentrennung, zusammengelaufene Wörter, rohe Ligaturen, an ein Wort geklebte Klammern oder Kommas), in Großbuchstaben geschriebene Aufgabenstellungen, verderbliche Formulierungen („derzeit“, „Stand 2020“) und der Anglizismus „in 1886“ statt „im Jahr 1886“. Die kulturellen Annotationen von Global-MMLU (Cohere Labs, Apache-2.0) dienten als zusätzlicher Filter: Fragen, die von den Annotatoren als kulturell sensibel (CS) oder zeitabhängig eingestuft wurden, sind nicht enthalten. Global-MMLU liefert für Deutsch denselben Übersetzungstext wie MMMLU — Zeichen für Zeichen geprüft —, deshalb stammt der Kartentext ausschließlich aus MMMLU und die Fragen sind zwischen beiden Datensätzen entdoppelt. Fragen, die bereits in einem anderen deutschen Paket des Katalogs stehen, sind hier weggelassen. Die Fächer Virologie, Alterskunde, Fachmedizin, Fachrecht, Rechnungswesen, Weltstatistik, Moralszenarien sowie sämtliche Mathematik- und Statistikfächer sind ausgeschlossen, weil sie falsche oder unbrauchbare Karten liefern. Aus dem Fach „miscellaneous“ wurden die Fragen einzeln von Hand ausgewählt und ihre Antworten nachgeprüft. Die übernommenen Fragen sind wortwörtlich wiedergegeben und nicht umgeschrieben; vereinheitlicht werden nur der Schlusspunkt und der Anfangsbuchstabe der Antworten. Zweite Durchsicht durch einen Gegenleser: Neun Karten wurden nachträglich entfernt — sechs wegen eines sachlichen Fehlers (die Parsec-Definition, „Secure IP-Protokoll“ statt IPsec, die unvollständige Liste der Nmap-Portzustände, die Reihenschaltung statt der Parallelschaltung für den größten Strom, die Zentripetalkraft in einer nicht überhöhten Kurve und der angeblich rote Leuchtstoff Magnesiumsilikat) und drei, weil die Antwort ein bloßes Optionsfragment geblieben war (die Arten des Scannens, „CB und Sicherung“, die vom Subjekt abgetrennte Begründung beim Vergleich von Kugel und Klotz). Der oben beschriebene Filter war beim ersten Durchgang nicht bis zum Ende angewandt worden, und die Antworten aus Elektrotechnik und Netzwerksicherheit waren entgegen der Ankündigung nicht nachgeprüft; beides ist mit dieser Durchsicht nachgeholt. Fehlerhafte Karten werden entfernt und nicht umgeschrieben — der Quelltext der übernommenen Fragen bleibt unangetastet.