Gelegentlich erhalten wir Fragen zum im Test-Tool verwendeten Beurteilungssystem – insbesondere zu Tests mit Minuspunkten. Beim letzteren Testtyp erhalten die Personen für die Auswahl von falschen Antworten eine negative Punktzahl.
Während Tests ohne Minuspunkte sich gut für Übungen und zur Motivation eignen, sind Tests mit Minuspunkten gut für Prüfungen und formale Beurteilungen geeignet, mit denen der tatsächliche Kenntnisstand der Personen überprüft wird. Mit Minuspunkten wird vermieden, dass die Personen bei der Beantwortung der Fragen die richtigen Antworten raten. Aus diesem Grund gibt es Tests mit Minuspunkten.
Einige Benutzer haben darauf hingewiesen, dass die Punkte für verschiedene Fragen variieren, auch wenn dieselbe Anzahl von richtigen/falschen Antworten übermittelt wird. Nachfolgend versuchen wir, dieses Phänomen auf verständliche Weise zu erklären, indem wir Multiple-Choice Fragen und Fragen mit Mehrfachantworten als Beispiele verwenden.
Beim Berechnen der Punktzahl für jede einzelne Frage wird ein Algorithmus zur Ermittlung der Punktzahl verwendet, der auf anerkannten Standards für die Berechnung von Ergebnissen bei Multiple-Choice-Tests basiert. Der Algorithmus ist folglich für die Vergabe von Minuspunkten für Personen konzipiert, die die richtigen Antworten raten und somit Wissen vortäuschen.
Für die Entwicklung des Test-Tools wurden umfangreiche Recherchen durchgeführt. Wenn Sie weitere Informationen zur Berechnung der Punktzahl in Tests wünschen, empfehlen wir die folgende Fachliteratur:
Weiter unten finden Sie eine Erläuterung des Algorithmus, aber um diesen vollständig zu verstehen, sind wahrscheinlich höhere mathematische Kenntnisse erforderlich. Versuchen wir es nun mit einer vereinfachten Erklärung.
Bei Multiple-Choice-Fragen mit Minuspunkten für falsche Antworten wird ein ziemlich einfacher Algorithmus zur Ermittlung der Punktzahl verwendet. Die Multiple-Choice-Frage besteht aus einer Frage mit mindestens drei Antwortmöglichkeiten, und die Person, die den Test erstellt, legt fest, wie viele Antwortmöglichkeiten verfügbar sind. Es kann nur eine Antwortmöglichkeit ausgewählt werden, und nur eine Antwortmöglichkeit kann richtig sein. Die Frage mit fünf Antwortmöglichkeiten lautet: "Wie heißt die Hauptstadt von Spanien?" Folgende Antwortmöglichkeiten sind verfügbar:
Wenn die richtige Antwort ausgewählt wird, wird 1 Punkt vergeben. Falls keine Antwort gegeben wird (Überspringen der Frage ohne Auswahl einer Antwortmöglichkeit), werden 0 Punkte vergeben. Um das Raten von richtigen Antworten zu vermeiden, werden unbeantwortete Fragen nicht mit Minuspunkten versehen, aber für falsche Antworten werden Minuspunkte vergeben.
So weit, so gut. Schauen wir uns nun die Berechnung der Minuspunkte genauer an. Die negative Punktzahl wird anhand der Anzahl der Antwortmöglichkeiten für die Frage ermittelt.
Die Minuspunkte werden folgendermaßen berechnet: -1 Punkt geteilt durch die Anzahl der falschen Antwortmöglichkeiten. Bei einer Frage mit fünf Antwortmöglichkeiten wird die betreffende Person mit einer Punktzahl von -0,25 bestraft (-1 Punkt geteilt durch vier falsche Antwortmöglichkeiten). Falls die Frage beispielsweise 10 Antwortmöglichkeiten aufweist, wird die betreffende Person mit einer Punktzahl von -0,11 bestraft (-1 Punkt geteilt durch neun falsche Antwortmöglichkeiten).
Abbildung 1: Eine Multiple-Choice-Frage mit fünf Antwortmöglichkeiten resultiert in einer negativen Punktzahl von -0,25 für falsche Antworten.
Abbildung 2: Eine Multiple-Choice-Frage mit 10 Antwortmöglichkeiten resultiert in einer negativen Punktzahl von -0,11 für falsche Antworten.
Wenn die richtige Antwort nicht bekannt ist, sollte die Frage eher unbeantwortet bleiben, als die richtige Antwort zu raten. Aus diesem Grund werden 0 Punkte für die Nichtbeantwortung der Frage vergeben (oder für das Auswählen aller Antwortmöglichkeiten, was der Nichtbeantwortung der Frage entspricht).
Dieser Fragetyp ist der Multiple-Choice Frage mit einer Ausnahme ähnlich: Die betreffende Person kann mehrere Antwortmöglichkeiten auswählen, von denen mehrere richtig sind. Der Algorithmus ist bei Fragen mit Mehrfachantworten komplexer, folgt aber derselben Logik: Die Formel lautet folgendermaßen:
Bei Fragen mit Mehrfachantworten erhalten Sie Punkte für die Auswahl von richtigen Antwortmöglichkeiten, aber auch, wenn Sie falsche Antwortmöglichkeiten nicht ausgewählt haben. Zum Erreichen der maximalen Punktzahl müssen Sie alle richtigen Antwortmöglichkeiten auswählen und die Auswahl aller falschen Antworten vermeiden.
Sie erhalten eine negative Punktzahl, wenn Sie die richtige Antwortmöglichkeit nicht ausgewählt haben oder wenn Sie eine falsche Antwort gegeben haben.
Die Ermittlung der Punktzahl ist wie folgt:
Standardmäßig wird 1 Punkt für richtige Antworten vergeben. Wenn für eine Frage fünf Antwortmöglichkeiten verfügbar sind, ist jede einzelne Antwort 0,20 Punkte wert (1 Punkt geteilt durch fünf Antwortmöglichkeiten). Falls 10 Antwortmöglichkeiten verfügbar sind, ist jede Antwortmöglichkeit 0,10 Punkte wert usw.
Die negative Punktzahl basiert auf der Anzahl der Antwortmöglichkeiten für die Frage. Je mehr Antwortmöglichkeiten es gibt, desto geringer ist die negative Punktzahl für falsche Antworten.
Je mehr Antwortmöglichkeiten für eine Frage verfügbar sind, desto weniger Punkte werden für eine falsche Antwort vergeben. Dies liegt daran, dass beim Vorhandensein weniger Antwortmöglichkeiten das Raten der richtigen Antwort einfacher ist.
Abbildung 3: Eine Frage mit Mehrfachantworten, die über fünf Antwortmöglichkeiten verfügt, resultiert in einer negativen Punktzahl von -0,13, wenn eine richtige und eine falsche Antwortmöglichkeit ausgewählt sind. Eine positive Punktzahl von 0,20 wird für die richtige Antwort vergeben. Für jede nicht ausgewählte falsche Antwortmöglichkeit wird auch eine positive Punktzahl von 0,20 vergeben.
Abbildung 4: Eine Frage mit Mehrfachantworten, die über 10 Antwortmöglichkeiten verfügt, resultiert in einer negativen Punktzahl von -0,03, wenn eine richtige und eine falsche Antwortmöglichkeit ausgewählt sind. Eine positive Punktzahl von 0,10 wird für die richtige Antwort vergeben. In diesem Beispiel ist die negative Punktzahl geringer, da die Frage mehr Antwortmöglichkeiten aufweist.
In der Tabelle unten sind Algorithmen zur Ermittlung der Punktzahl beschrieben, die für verschiedene Fragetypen verwendet werden.
Die Spalte "Punkte (normal)" enthält Algorithmen, die für die informelle Methode zur Ermittlung der Punktzahl verwendet werden.
Die Spalte "Punkte (negative Punktzahl verwenden)" enthält Algorithmen, die für die formelle Methode zur Ermittlung der Punktzahl verwendet werden.
Für Beschreibungen von Pseudocode wird die folgende Notation verwendet:
| Fragetyp | Punkte (normal), informell | Punkte (negative Punktzahl verwenden), formell | Referenzen/Kommentare |
|---|---|---|---|
| Entweder/Oder |
Richtig: +1 P. Falsch: 0 P. Keine Antwort: 0 P. if(a == 0) { S = 0; } else { if(c == k) { S = 1; } else { S = 0; } } |
Richtig: +1 P. Falsch: -1 P. Keine Antwort: 0 P. if(a == 0) { S = 0; } else { if(c == k) { S = 1; } else { S = 0; } } |
"Misinformation, partial knowledge and guessing in true/false tests" – Richard F. Burton "A singular Choice for Multiple Choice" – Frandsen/Schwartzbach |
| Multiple-Choice |
Richtig: +1 P. Falsch: 0 P. Keine Antwort: 0 P. if(c == k) { S = 1; } else { S = 0; } |
Richtig: +1 P. Falsch: -1/(n-1) Keine Antwort: 0 P. n: Anzahl an Optionen if(c == k) { S = 1; } else { if(c == k-1) { S = 0; } else { S = -1/(k-1); } } |
|
| Frage mit Mehrfachantworten |
Richtige Option: +1/n P. Falsche Option: 0 P. Keine Antwort: 0 P. n: Anzahl der vom Lehrer als "Richtig" angegebenen Optionen if(a == 0 ||r a == k) { S = 0; } else { S = c/k; } |
if(a == 0 || a == k) { S = 0 } else { iCor = log(k/a); iIncor = -a*log(k/a)/(k-a); sOpt = c*iCor+(k-c)*iIncor; if(sOpt >= 0) { S = sOpt/(k*iCor) } else { S = sOpt/(-k*iIncor) } } |
Problem "Mindestens 3 Optionen erforderlich": "A singular Choice for Multiple Choice" – Frandsen/Schwartzbach Gemäß [4] beträgt die Gesamtpunktzahl einer beantworteten Frage (S) bei der formellen Methode zur Ermittlung der Punktzahl: S = 0 if a = 0 or a = k; andernfalls Zwischenpunktzahl s = (c*log(k/a)-(k-c)*((a/(k-a))*log(k/a)) Normalisierte Gesamtpunktzahl S=s/(log(k/a)*k) if s>=0 und S=-s/(a/(k-a))*log(k/a))*k if s<0 |
| Kurzantwortfrage/Offene Frage | Wie bei Frage mit Mehrfachantworten | Wie bei Frage mit Mehrfachantworten | |
| Lückentext mit Dropdownliste | Wie bei Multiple-Choice – jedoch für alle Fragen zusammengefasst | Wie bei Multiple-Choice – jedoch für alle Fragen zusammengefasst | |
| Lückentext mit Textfeld | Wie bei Multiple-Choice | Wie bei Multiple-Choice | |
| Übereinstimmung |
Szenario 1: 1-1 (gleiche Zahl auf beiden Seiten) – MC x 3 verwenden (MC links) – Max. 1 Punkt Szenario 2: 1-1 (mehr auswählbare Optionen als Ziele) – MC x Anz. an Alternativen verwenden (MC links) – Max. 1 Punkt Szenario 3: 1-viele (Ordnen-Frage) – MC RECHTS verwenden – Max. 1 Punkt |
Szenario 1*: 1-1 – Immer MC (normal) für jedes Paar verwenden; Ergebnisse summieren und dann durch Anzahl an Paaren dividieren, damit die maximale Punktzahl 1 beträgt. Szenario 2: 1-1 – Immer MC (normal) für jede Alternative (keine Ziele!) des Satzes "select from" verwenden; Ergebnisse summieren und dann durch Anzahl an Alternativen unter "select from" dividieren, damit die maximale Punktzahl 1 beträgt. Szenario 3: 1-viele – Immer MC (negative Punktzahl verwenden) für jede Alternative des Satzes "select from" verwenden; Ergebnisse summieren und dann durch Anzahl an Alternativen unter "select from" dividieren, damit die maximale Punktzahl 1 beträgt. *) Szenario 1 wurde nur für Phase 2 (November 2007) implementiert. |
|
| Ordnen | Wie bei Multiple-Choice | Wie bei Multiple-Choice | |
| Hotspot |
Textfeld: Lückentext (FIB) verwenden Auswählen: Multiple-Choice-Frage (MC) oder Frage mit Mehrfachantworten (MR) verwenden Klicken: Lückentext (FIB) verwenden Ziehen und ablegen: Falls Position angezeigt wird: Multiple-Choice-Frage (MC) oder Frage mit Mehrfachantworten (MR) verwenden, andernfalls Lückentext (FIB) |
Textfeld: Lückentext (FIB) verwenden Auswählen: Multiple-Choice-Frage (MC) oder Frage mit Mehrfachantworten (MR) verwenden Klicken: Lückentext (FIB) verwenden, Ziehen und ablegen: Falls Position angezeigt wird: Multiple-Choice-Frage (MC) oder Frage mit Mehrfachantworten (MR) verwenden, andernfalls Lückentext (FIB) |
|