Analyse der Bewertungen

Diese Analyse befasst sich gleichermaßen mit den Bewertungen der Beispielaufgaben, wie mit den Bewertungen während der Selbstbewertungsphase durch die anderen Teilnehmer/innen. Es berücksichtigt die besseren Bewertungen aus den Bewertungen der Trainer/innen und der Teilnehmer/innen Diese "guten" Bewertungen werden dann für die Berechnung der Gesamtnote verwandt.

Die Analyse wird am besten erst dann durchgeführt, wenn die Bewertungen der Trainer/innen vorliegen. Diese Bewertung kann als Maßstab (Benchmark) für die Einschätzungen der Bewertungen der Teilnehmer/innen genutzt werden. Der/die Trainer/in muß nicht alle Übungsaufgaben und alle eingereichten Arbeiten bewerten. Damit die Analyse nun aber aussagekräftig ist, sollte der/die Trainer/in mehr Arbeiten bewertet haben als die Teilnehmer/innen dies im Durchschnitt getan haben. Je mehr Bewertungen des/der Trainers/in vorliegen, desto verlässlicher wird auch das Ergebnis dieser Analyse sein.

Die Analyse wird sinnvollerweise mehrfach durchgeführt, jedesmal wenn eine oder mehrere der verfügbaren Optionen geändert wurde. Die verschiedenen Optionen werden durch die Einstellungen oben auf der Seite gesteuert.

1. Auf der Ebene der Fehleranalyse wird beim Laden der Bewertungen der Trainer/innen die Gewichtung ihrer Bewertungen im Vergleich mit den Bewertungen anderer Teilnehmer/inen definiert. Wenn das Gewicht der Trainert/innen-Bewertung hoch sein soll, dann sollte er/sie über den niedrigsten durchschnittlichen Fehler in der Tabelle verfügen. Wenn er/die Trainer/in nicht als erstes in der Liste aufgeführt wird, sollte der Wert fürt den/die Trainer/in erhöht werden, bis er/sie die niedrigste Rate hat. Das führt dazu, dass die Trainer/innen-Bewertungen dominieren und gleichlautende Bewertungen der Teilnehmer/innen ebenfalls an der Spitze der Tabelle aufgeführt werden. Bewertungen anderer Teilnehmer/innen, die sich am Ende der Tabelle befinden, verweisen darauf, dass sie Bewertungen abgegeben haben, die von der Bewertung des/der Trainer/in abweichen. Je mehr Bewertungen des/der Trainer/in vorhanden sind, desto weniger ist es erforderlich die Gewichtung zu korrigieren. Diese Option nimmt keinen Einfluß auf die Berechnung der Schlußnote. In dieser Berechnung der Note wird ein Durchschnittswert aller vorhandenen Noten ermittelt, gleich ob sie von den Trainer/innen oder den Teilnehmer/innen stammen.
2. Die Gewichtung für die Benotung der Aufgaben wird in der Berechnung der Schlußnote berücksichtigt. Ein einfaches Formular dient der Berechnung der Leistung der Teilnehmer/innen. Es ist das Verhältbis guter Beurteilungen im Vergleich zur maximalen Zahl der möglichen Einschätzungen. Wenn z.B. 3 Einschätzunge zu den Übungsaufgaben und 5 Einschätzungen zu den eingereichten Arbeiten abgegeben werden sollen und ein/e Teilnehmer/in hat 7 Beurteilungen vorgenommen und eine ist herausgenommen worden (siehe unten), dann wird ihre Bewertungsleistung mit (7-1)/8, also 75 % ermittelt. Die Gesamtnote wird nun aus der gewichteten Kombination der Bewertungsleistungen und den Bewertungen der eigenen Aufgabenstellung errechnet. Die Gewichtungen der beiden Faktoren sind immer zunächst auf 1 gesetzt. Beide Teile werden danach gleich stark gewichtet. Wenn Sie nun die Gewichtung für die eigene Lösung der Aufgabe auf 0,5 setzen zählt diese 33 % der Gesamtbewertung, da die Gewichtung für die Bewertungen anderer Arbeiten weiterhin bei 1 steht. 0,5 + 1 = 33% / 66 %
3. Der Prozentsatz der Bewertungen, der bei der Berechnung der Gesamtnote nicht berücksichtigt wird, kann auf zwei verschiedene Arten festgelegt werden.
   - Wenn die Teilnehmer/innen alle Bewertungen vorgenommen haben, können sie die volle Punktzahl nur dann erreichen wenn keine Bewertungen bei der Berechnung herausfallen. Wenn diese Option auf 30 % eingestellt wird, wird erreicht, dass die durchschnittliche Bewertungsleistung aus 70% der Bewertungen errechnet wird (30 % fallen für die Bewertung weg).
   - Alternativ kann die Zahl der nicht berücksichtigten Bewertungen in der vierten Spalte der Tabelle eingestellt werden.

Zusätzlich zur Fehlertabelle listet die Analyse die Bewertungen aller Bewertungen und Noten auf. Diese Tabelle sollte durchgesehen werden, um festzustellen, ob die Noten nachvollziehbar sind. Wenn viele Bewertungen herausfallen, kann es sein, dass einige Arbeiten gar nicht bewertet werden und die Basis für die Errechnung der Schlußnote sehr niedrig ist. Die Analyse zeigt die Zahl der eingereichten Arbeiten am Anfang der Tabelle und kurz vor der Notentabelle an. Diese beiden Zahlen sollten identisch sein. Wenn eine oder mehrere Arbeiten unbewertet sind und der /die Trainer/in die Zahl der nicht berücksichtigten Arbeiten nicht verändern will, muß er/sie die Arbeit selbst bewerten und die Analyse wiederholen. Es ist unbedingt erforderlich, dass alle Arbeiten bewertet werden, bevor die Schlußnote veröffentlicht wird.

Berücksichtigen Sie das Gleichgewicht zwischen der Zahl der herausfallenden Bewertungen und der Gesamtbenotung. Je mehr Bewertungen herausfallen, desto niedriger wird die Punktzahl der Gesamtnote bei der Addition ausfallen. Wenn schlechte Bewertungen nicht aus der Gesamtnote herausgenommen werden, werden die Teilnehmer/innen sich über Qualität der Bewertungen beschweren. Vorausgesetzt, dass ausreichend Arbeiten von dem/der Trainer/in bewertet wurden, ist ein Wert von 15 % bis 30 % an herausfallenden Bewertungen begründbar.

Hinweis: Diese Analysen benötigen einige Zeit und erfordern einen iterativen Prozess. Mit Verzögerungen muß daher gerechnet werden.