Analyse van beoordelingen

Deze analyse bekijkt zowel de beoordelingen van de voorbeeldtaken als de beoordelingen, gemaakt tijdens de "evaluatie door medeleerlingen"-fase van de opdracht. Ze probeert de beste beoordelingen uit de pool van beoordelingen door leerlingen en leraar te halen. Deze "goede" beoordelingen worden dan gebruikt voor de berekening van het totaalcijfer.

Deze analyse wordt best gedaan waneer er beoordelingen door een leraar beschikbaar zijn. Deze beoordelingen kunnen dienen als standaard waarmee de beoordelingen van de leerlingen vergeleken kunnen worden. De leraar hoeft niet elke voorbeeldtaak en elke inzending te beoordelen, maar voor een betrouwbare analyse is het beter om meer beoordelingen van de leraar te hebben dan het gemiddeld aantal beoordelingen per leerling. Hoe meer beoordelingen de leraar maakt, hoe betrouwbaarder het resultaat van de analyse.

De analyse wordt gewoonlijk een aantal keer gedaan, elke keer met één of meer opties gewijzigd. De analyse wordt gecontroleerd door drie opties die bovenaan de pagina verschijnen.

1. De weging van beoordelingen door de leraar stelt het gewicht van de beoordelingen van de leraar, vergeleken met de beoordelingen van de leerlingen in het stadium van de foutenanalyse. Als de leraar zijn eigen puntenstrategie wil laten domineren over de manier waarop de leerlingen de inzendingen beoordelen, dan zou de leraar de beoordeler met de kleinste gemiddelde fout in de "Foutentabel" moeten zijn. Als de leraar niet de eerste in de lijst is, dan wordt het gewicht van de beoordelingen van de leraar verhoogt tot de leraar de kleinste gemiddelde fout heeft. Dit zorgt er voor dat de beoordelingen van de leraar domineren en dat leerlingen die beoordelen zoals de leraar ook in het bovenste deel van de foutentabel staan. De leerlingen onderaan de tabel beoordelen op een totaal andere manier dan de leraar (en dan de leerlingen bovenaan de tabel). Hoe meer beoordelingen door de leraar er zijn, hoe waarschijnlijker het is dat deze optie niet nodig zal zijn om de leraar bovenaan de lijst te zetten. Merk op dat deze optie geen wegingsfactor geeft aan de beoordelingen door de leraar om te gebruiken bij de berekenig van de totaalcijfers. In die berekening heeft de beoordeling van de leraar hetzelfde gewicht als d beoordelingen van de leerlingen. Als een inzending van een leerling bijvoorbeeld 41% krijgt van de leraar en 45% en 55% van zijn medeleerlingen, dan wordt het totaalcijfer voor deze inzending (41% + 45% + 55%) / 3 = 47%.
2. De weging voor het quoteren van beoordelingen wordt gebruikt in de berekening van het totaalcijfer. Er wordt een eenvoudige formule gebruikt om de "Beoordelingsperformantie" van de leerling te berekenen. Het is de verhouding van de "goede" beoordelingen van de leerling tot het totaal aantal beoordelingen dat de leerling zou moeten gemaakt hebben. Als de opdracht bijvoorbeeld vraagt om 3 beoordelingen van de voorbeeldtaak te maken en 5 beoordelingen van inzendingen van medeleerlingen en de leerling maakt 7 beoordelingen, waarvan er 1 wordt genegeerd voor de analyse (zie hieronder), dan is zijn beoordelingsperformanteie (7 - 1) / 8, wat 75% geeft. Het eindcijfer voor de opdracht is een gewogen combintaie van deze beoordelingsperformantie en het cijfer, gegeven voor hun inzending (of het beste cijfer als ze meer dan één inzending gedaan hebben). Het cijfer voor de inzending krijgt altijd een gewicht 1. Als je deze instelling dus op 0,5 zet, dan zullen de twee cijfer samengevoegd worden in de verhouding 0,5/1 of 33% van de beoordelingsperformantie en 66% van het cijfer voor de inzending.
3. Het percentage van beoordelingen die genegeerd moeten worden, bepaalt het aantal beoordelingen die uitges.loten worden van de berekening van de totaalcijfers. Dit aantal kan in één of twee richtingen ingesteld worden.
   - Als je er voor kiest de beoordelingsperformantie te berekenen, dan zou het kunnen gebeuren dat elke leerling, als ze al het werk dat ze toegewezen kregen beoordeeld hebben, het maximum cijfer halen (voor dit element) als er geen enkele beoordeling genegeerd werd. Als de leraar een redelijker gemiddeld cijfer wil krijgen, dan kan het instellen van deze optie op 30% er voor zorgen dat het gemiddelde van de beoordelingsperformantie op 70% ligt (als alle leerlingen alle beoordelingen gemaakt hebben die hen toegewezen zijn).
   - Als alternatief kan het aantal beoordelingen dat genegeerd moet worden zo gezet worden dat het overgebleven aantal goede beoordelingen het gemiddelde aantal fouten tot een redelijke waarde brengt. Dit zijn de percentages die je kunt vinden in de vierde kolom van de foutentabel. Je zou bijvoorbeeld kunnen bedenken dat de beoordelingen van alle leerlingen (gemiddeld) zou moeten liggen in een 20% spreiding. Dan moet de analyse een aantal keer herhaald worden terwijl het aantal te negeren beoordelingen aangepast wordt, tot de cijfers in deze kolom allemaal in tussen de gekozen limieten liggen.

Naast de foutentabel toont de analyse ook de cijfers van alle beoordelingen en het eindcijfers dat de leerlingen krijgen. Deze tabel moet goed bekeken worden om te zien of de resultaten redelijk zijn. Vooral als veel beoordelingen genegeerd worden, dan zou het kunnen dat sommige inzendingen onbeoordeeld blijven en dan zal het eindcijfer van die leerling veel te laag zijn. Als er één of meer inzendingen niet beoordeeld zijn en de leraar wil het aantal genegeerde beoordelingen niet verlagen, dan moet de leraar deze inzendingen zelf beoordelen en daarna de analyse herhalen. Het is belangrijk dat alle inzendingen minstens één keer beoordeeld worden in het eindstadium van de analyse wanneer de totaalcijfers berekend worden.

Er is een evenwicht tussen het aantal genegeerde beoordelingen en het totaalcijfer. Hoe meer beoordelingen er genegeerd zijn, hoe lagere de eindcijfers zullen zijn. Maar als zwakke beoordelingen niet genegeerd worden, dan zouden de leerlingen wel eens kunnen klagen over de kwaliteit van de beoordelingen die het cijfer van hun werk bepalen. Er van uitgaande dat er genoeg beoordelingen door de leraar zijn om de analyse te domineren zonder te veel te forceren, is het redelijk om tussen de 15% en de 30% van de beoordelingen te negeren.

Merk op dat deze analyse veel tijd in beslag neemt, vermits het een iteratief proces is. Je kunt lange wachttijden verwachten.