Wir haben wieder ein Episode im Kasten. O legt A eine Steilvorlage zum OERCamp in den News, weiter zu dem KI-Paper, getrickst, Pass zum OEP-Paper, etwas Verwirrung im Mittelfeld, dann Fundgrube, Veranstaltungstipps, und ..., und ..., und Weltverbesserungsidee: Tooor, Tooooor, Tooooor! Haltet und fĂĽr verrĂĽckt. Haltet uns fĂĽr ĂĽbergeschnappt ...
Die Folge haben wir am 05.04.2024 aufgenommen.
Balepur, Nishant; Ravichander, Abhilasha; Rudinger, Rachel
Artifacts or Abduction: How Do LLMs Answer Multiple-Choice Questions Without the Question? Sonstige
In-progress preprint, 2024.
@misc{balepur2024artifacts,
title = {Artifacts or Abduction: How Do LLMs Answer Multiple-Choice Questions Without the Question?},
author = {Nishant Balepur and Abhilasha Ravichander and Rachel Rudinger},
url = {https://doi.org/10.48550/arXiv.2402.12483},
doi = {10.48550/arXiv.2402.12483 Focus to learn more},
year = {2024},
date = {2024-01-01},
urldate = {2024-01-01},
abstract = {Multiple-choice question answering (MCQA) is often used to evaluate large language models (LLMs). To see if MCQA assesses LLMs as intended, we probe if LLMs can perform MCQA with choices-only prompts, where models must select the correct answer only from the choices. In three MCQA datasets and four LLMs, this prompt bests a majority baseline in 11/12 cases, with up to 0.33 accuracy gain. To help explain this behavior, we conduct an in-depth, black-box analysis on memorization, choice dynamics, and question inference. Our key findings are threefold. First, we find no evidence that the choices-only accuracy stems from memorization alone. Second, priors over individual choices do not fully explain choices-only accuracy, hinting that LLMs use the group dynamics of choices. Third, LLMs have some ability to infer a relevant question from choices, and surprisingly can sometimes even match the original question. We hope to motivate the use of stronger baselines in MCQA benchmarks, the design of robust MCQA datasets, and further efforts to explain LLM decision-making.},
howpublished = {In-progress preprint},
keywords = {},
pubstate = {published},
tppubtype = {misc}
}
Multiple-choice question answering (MCQA) is often used to evaluate large language models (LLMs). To see if MCQA assesses LLMs as intended, we probe if LLMs can perform MCQA with choices-only prompts, where models must select the correct answer only from the choices. In three MCQA datasets and four LLMs, this prompt bests a majority baseline in 11/12 cases, with up to 0.33 accuracy gain. To help explain this behavior, we conduct an in-depth, black-box analysis on memorization, choice dynamics, and question inference. Our key findings are threefold. First, we find no evidence that the choices-only accuracy stems from memorization alone. Second, priors over individual choices do not fully explain choices-only accuracy, hinting that LLMs use the group dynamics of choices. Third, LLMs have some ability to infer a relevant question from choices, and surprisingly can sometimes even match the original question. We hope to motivate the use of stronger baselines in MCQA benchmarks, the design of robust MCQA datasets, and further efforts to explain LLM decision-making.
Wie beantworten Large Language Models eigentlich Multiple-Choice-Fragen … wenn sie die Frage gar nicht kennen? Dieser Frage sind drei Wissenschaftler*innen nachgegangen …
Bellinger, Franziska; Mayrberger, Kerstin
In: MedienPädagogik: Zeitschrift für Theorie und Praxis der Medienbildung, Bd. 34, Nr. Research and OER, S. 19–46, 2019, ISSN: 1424-3636.
@article{Bellinger_Mayrberger_2019,
title = {Systematic Literature Review zu Open Educational Practices (OEP) in der Hochschule im europäischen Forschungskontext},
author = {Franziska Bellinger and Kerstin Mayrberger},
url = {https://www.medienpaed.com/article/view/664},
doi = {10.21240/mpaed/34/2019.02.18.X},
issn = {1424-3636},
year = {2019},
date = {2019-02-01},
urldate = {2019-02-01},
journal = {MedienPädagogik: Zeitschrift für Theorie und Praxis der Medienbildung},
volume = {34},
number = {Research and OER},
pages = {19–46},
abstract = {Open Educational Practices (OEP) erscheinen in der Debatte um Openness im Bildungskontext und in Verbindung mit Open Educational Resources (OER) trotz einer nachweislichen Verbindung als noch relativ unterrepräsentiert. So wird hier der Annahme gefolgt, dass es aus theoretischer, empirischer wie diskursiver Perspektive notwendig erscheint für eine Kultur des Teilens und weiter eine offene Bildung im Sinne von Open Education und Open Pedagogy, die sich in Variationen von OEP manifestieren, zu sensibilisieren. Auf Grund der Bedeutung von OEP für den derzeitigen Transformationsprozess im Hochschulkontext unter den Bedingungen der Digitalisierung liefert der Beitrag einen systematischen Überblick zu Forschungsarbeiten zu OEP. Dabei findet eine Orientierung entlang der übergreifenden Fragestellung, in welchen Zusammenhängen und unter welchen Fragestellungen OEP im Kontext Hochschule erforscht werden und mit welchem Begriffsverständnis gearbeitet wird, statt. Das Ergebnis des Literature Reviews zeigt, dass in den Forschungsarbeiten ein variantenreiches Verständnis von OEP thematisiert wird. In Abhängigkeit dessen wie das Verhältnis der Praktiken der Subjekte und die Praxis jeweils gefasst werden, lassen sich vier Dimensionen einer OEP im Kontext von Openness identifizieren. Der Beitrag plädiert daher für eine begriffliche Schärfung von OEP im jeweils spezifischen Verwendungszusammenhang. Die Autorinnen forcieren dabei eine praxistheoretische Perspektive. Es wird argumentiert, dass ein praxistheoretischer Zugang es ermöglicht, offene Bildungspraktiken für den Hochschulkontext theoretisch zu fundieren und empirisch zu untersuchen, um damit einen Beitrag zur zeitgemässen Mediendidaktik respektive Medienpädagogik leisten zu können.},
keywords = {},
pubstate = {published},
tppubtype = {article}
}
Open Educational Practices (OEP) erscheinen in der Debatte um Openness im Bildungskontext und in Verbindung mit Open Educational Resources (OER) trotz einer nachweislichen Verbindung als noch relativ unterrepräsentiert. So wird hier der Annahme gefolgt, dass es aus theoretischer, empirischer wie diskursiver Perspektive notwendig erscheint für eine Kultur des Teilens und weiter eine offene Bildung im Sinne von Open Education und Open Pedagogy, die sich in Variationen von OEP manifestieren, zu sensibilisieren. Auf Grund der Bedeutung von OEP für den derzeitigen Transformationsprozess im Hochschulkontext unter den Bedingungen der Digitalisierung liefert der Beitrag einen systematischen Überblick zu Forschungsarbeiten zu OEP. Dabei findet eine Orientierung entlang der übergreifenden Fragestellung, in welchen Zusammenhängen und unter welchen Fragestellungen OEP im Kontext Hochschule erforscht werden und mit welchem Begriffsverständnis gearbeitet wird, statt. Das Ergebnis des Literature Reviews zeigt, dass in den Forschungsarbeiten ein variantenreiches Verständnis von OEP thematisiert wird. In Abhängigkeit dessen wie das Verhältnis der Praktiken der Subjekte und die Praxis jeweils gefasst werden, lassen sich vier Dimensionen einer OEP im Kontext von Openness identifizieren. Der Beitrag plädiert daher für eine begriffliche Schärfung von OEP im jeweils spezifischen Verwendungszusammenhang. Die Autorinnen forcieren dabei eine praxistheoretische Perspektive. Es wird argumentiert, dass ein praxistheoretischer Zugang es ermöglicht, offene Bildungspraktiken für den Hochschulkontext theoretisch zu fundieren und empirisch zu untersuchen, um damit einen Beitrag zur zeitgemässen Mediendidaktik respektive Medienpädagogik leisten zu können.
Was sind eigentlich diese OEP? Die Autorinnen haben sich Forschungsbeiträge der letzten 10 Jahre angeschaut und sehr enge, enge, weite und sehr weit gefasste OEP gefunden – aber so richtig passt das noch nicht zu dem, was A sich erhofft hatte.
Projekte, Tools, Apps … das sind doch bürgerliche Kategorien. Wir packen einfach alles in die Fundgrube:
Tim Pritlove macht tolle Podcast in der Metaebene und kann dafür ein paar Euro gut gebrauchen.
Diese und andere Weltverbesserungsideen findet man auch gesammelt hier.