Analýza hodnocení

Tato analýza nahlíží na hodnocení provedená na ukázkách, stejně tak jako na ta provedená během fáze hodnocení úkolu spolužáky. Pokouší se vybrat lepší hodnocení z tohoto společného vkladu hodnocení učitelů a žáků. Tato "dobrá" hodnocení jsou poté použita při výpočtu konečného počtu bodů.

Tuto analýzu je možné nejlépe provést pokud jsou k dispozici hodnocení učitele. Tato hodnocení mohou sloužit jako měřítko, s nímž mohou být srovnávána hodnocení studentů. Učitel nemusí hodnotit každou ukázku a každý odevzdaný úkol, avšak aby analýza byla smysluplná, je lepší mít více hodnocení od učitele než průměrný počet hodnocení provedených každým studentem. A čím více je hodnocení provedených učitelem, tím více může učitel výsledkům analýzy důvěřovat.

Analýza se obvykle provádí několikrát, pokaždé se přitom jedno nebo více nastavení změní. Analýza je kontrolována třemi nastaveními, která se objevují nahoře na stránce.

1. Vložení hodnocení učitele nastavuje vážení dané hodnocením učitele ve srovnání s hodnoceními studenty v průběhu analýzy chyb. Pokud učitel chce, aby jeho vlastní bodovací strategie převládala způsobu, jakým bodují odevzdané úkoly studenti, pak by měl být učitel hodnotitelem s nejmenší průměrnou chybou v"Tabulce Chyb". Pokud učitel v seznamu není na prvním místě, tak se počet vložených hodnocení učitele zvyšuje, dokud učitel nemá nejnižší průměrnou chybu. Toto poté značí, že učitelova hodnocení převládají, a studenti, kteří bodují stejně jako učitel, jsou v seznamu rovněž uvedeni v horní části Tabulky chyb. Studenti uvedení v seznamu v dolní části tabulky bodují způsobem, který se nesrovnává s hodnoceními učitele (ani s hodnoceními těch, kteří se nacházejí v horní části tabulky). Čím více hodnocení učitele je k dispozici, tím je pravděpodobnější, že toto nastavení nebude muset být použito k tomu, aby učitele dotlačilo do horní části tabulky. Všimněte si, že toto nastavení není váženým faktorem hodnocení učitele použitých při výpočtu konečného počtu bodů. V tomto výpočtu mají hodnocení učitele stejnou váhu jako hodnocení studenty. Pokud je tak například studentův odevzdaný úkol obodován 41 % učitelem a 45 % a 55 % spolužáky, je konečný počet bodů udělený odevzdanému úkolu (41% + 45% + 55%) / 3, tedy 47%.
2. Váha pro bodování hodnocení se používá při výpočtu konečného počtu bodů. Jednoduchý vzorec se používá pro výpočet "Bodovacího výkonu". Jedná se o poměr "dobrých"studenta. Jedná se o poměr "dobrých" hodnocení, které student provedl a maximálního počtu jemu přístupných hodnocení. Tak když například úkol žádá, aby studenti provedli 3 hodnocení ukázkového odevzdaného úkolu a 5 hodnocení (úkolů) svých spolužáků a student provede 7 hodnocení a 1 z nich je z analýzy vypuštěno (viz níže), tak je jeho bodovací výkon (7 - 1)/8, tedy 75%. Konečný počet bodů za úkol je vážená kombinace tohoto bodovacího výkonu a počtu bodů uděleného jeho odevzdanému úkolu (popř. nejvyššího počtu bodů, pokud odevzdal více než jeden úkol). Body za odevzdaný úkol mají vždy váhu 1. Nastavení této volby například na 0,5, tedy znamená to, že se tyto dva body sečtou v poměru 0,5:1 tj. 33% bodovacího výkonu a 66% počtu bodů z odevzdaného úkolu.
3. Procento hodnocení, které se vypustí určuje počet hodnocení, která se při výpočtu konečného počtu bodů vyloučí. Tento počet je možné nastavit jedním ze dvou způsobů.
   - Způsobem, jakými se vypočítává Bodovací Výkon, by každý student mohl, pokud by zhodnotil veškerou jemu přidělenou práci, dosáhnout plných známek (pro tuto položku), pokud se žádná hodnocení nevypustí. Pokud chce učitel mít průměrnější počet bodů, pak by nastavení této volby na 30% vyústilo v průměrný Bodovací Výkon přibližně 70% (opět pokud by studenti obodovali všechna jim přístupná hodnocení).
   - Eventuálně může být počet hodnocení, která se vypustí, nastaven takovým způsobem, že zbývající "dobrá" vyústí v to, že Průměrné chyby budou omezeny na přiměřenou hodnotu. Toto jsou procenta uvedená ve čtvrtém sloupci Tabulky chyb. Lze se kupříkladu domnívat, že všechna hodnocení studentů budou (v průměru) ležet v 20% rozptylu. Poté se analýza několikrát zopakuje a přitom se počet hodnocení vypouštěním upravuje, dokud čísla v tomto sloupci neleží v určitém rozmezí.

Vedle Tabulky chyb vypisuje analýza body ze všech hodnocení a konečný počet bodů udělený studentům. S touto tabulkou je třeba se seznámit, a tak se přesvědčit, zda-li jsou výsledky odpovídající. Obzvláště pokud je vypuštěno příliš mnoho hodnocení, tak mohou být některé odevzdané úkoly neohodnoceny a konečný počet bodů studenta bude příliš nízký. Analýza uvádí počet odevzdaných úkolů na začátku stránky, a poté rovněž před Bodovací tabulku. Tato dvě čísla by měla být stejná. Pokud je jeden či více nezhodnocených odevzdaných úkolů, a učitel nechce snížit počet vypuštěných hodnocení, tak by tyto odevzdané úkoly měly být zhodnoceny učitelem a analýza by měla být zopakována. Je důležité, aby všechny odevzdané úkoly byly v konečném stadiu analýzy, tj. když se vypočítává konečný počet bodů, zhodnoceny alespoň jednou.

Mezi počtem vypuštěných hodnocení a celkovým konečným počtem bodů je rovnováha. Čím více hodnocení se vypustí, tím nižší konečný počet bodů pravděpodobně bude. Pokud však špatná hodnocení nejsou vypuštěna, tak si studenti mohou stěžovat na kvalitu hodnocení, které určují body za jejich práci. Za předpokladu, že je dostatek hodnocení učitele, která tak v převládají převládají bez přílišného dotlačování, pak se zdá být přiměřené vypustit něco mezi 15% a 30% hodnocení.

Všimněte si, že analýza zabere značné množství času, protože zahrnuje opakovaný proces. Je třeba očekávat zdlouhavá zdržování.