Analiza vrednotenj

Ta analiza ponuja vpogled v vrednotenja opravljena na primerih, kakor tudi tista opravljena med fazo medsebojnega vrednotenja nalog. Poskuša izbrati boljša vrednotenja iz tega nabora vrednotenj izvajalca in udeležencev. Ta "dobra" vrednotenja so potem uporabljena v izračunu končnih ocen.

Ta analiza se izvede najbolje, če so na voljo vrednotenja izvajalca. Ta vrednotenja lahko delujejo kot merilo za presojo vrednotenj udeležencev. Izvajalcu ni potrebno ovrednotiti vsakega primera in vsake oddaje, vendar je za smiselnost analize bolje, če je na voljo več vrednotenj izvajalca, kot je povprečno število vrednotenj posameznega udeleženca. Večje ko je število vrednotenj izvajalca, bolj lahko izvajalec zaupa rezultatom analize.

Analiza se običajno opravi večkrat in se vsakič spremeni ena ali več možnosti. Analiza se upravlja s tremi možnostmi, ki se pojavijo na vrhu strani.

1. Nalaganje za vrednotenja izvajalca nastavi utežitev za podana vrednotenja izvajalca v primerjavi z vrednotenji udeležencev v fazi analize napak. Če želi izvajalec, da njegova ocenjevalna strategija prevladuje nad načinom ocenjevanja oddaj udeležencev, potem mora biti izvajalec ocenjevalec z najmanjšo povprečno napako v "tabeli napak". Če izvajalec ni prvi na seznamu, potem se nalaganje izvajalčevih vrednotenj povečuje, dokler nima izvajalec najnižje povprečne napake. To ima za posledico, da so vrednotenja izvajalca prevladujoča in so udeleženci, ki ocenjujejo podobno kot izvajalec, tudi našteti v zgornjem delu tabele napak. Udeleženci našteti na spodnjem delu tabele ocenjujejo na načine, ki se ne ujemajo z vrednotenji izvajalca (niti s tistimi udeleženci, ki so na vrhu tabele). Več, ko je vrednotenj izvajalca na voljo, manj je verjetno, da bo potrebno uporabiti to možnost za uveljavitev izvajalca na vrhu tabele. Vedite, da ta možnost ne uveljavi količnika utežitve vrednotenj izvajalca, ko se uporabijo v izračunu končnih ocen. V tem izračunu imajo vrednotenja izvajalca enako utež, kot vrednotenja udeleženca. Tako, na primer, če je udeleženčeva oddaja ocenjena s 41 % s strani izvajalca in 45 % in 55 % s strani posameznih udeležencev, bo končna ocena za oddajo (41% + 45% + 55%) / 3, kar je 47%.
2. Utež za ocenjevanje vrednotenj se uporabi v izračunu končne ocene. Preprosta formula je uporabljena za izračun udeleženčeve "sposobnosti ocenjevanja". Je razmerje "dobrih" vrednotenj, ki jih je opravil udeleženec v primerjavi z največjim številom zanj odprtih vrednotenj. Če na primer naloga zahteva, da udeleženci opravijo 3 vrednotenja primerov oddaj in 5 medsebojnih vrednotenj in udeleženec opravi 7 vrednotenj in je 1 izmed njih izpuščena iz analize (glejte spodaj), potem bo njegova sposobnost ocenjevanja (7 - 1)/8 kar je 75 %. Končna ocena za nalogo je utežena kombinacija te sposobnosti ocenjevanja in ocene za njihovo oddajo (ali najboljša ocena, če so oddali več kot eno delo). Oceni za oddajo je vedno dana utež 1. Tako nastavitev te možnosti na npr. 0.5 pomeni, da sta oceni sešteti v razmerju 05:1 ali 33 % sposobnosti ocenjevanja in 66 % ocene za oddajo.
3. Odstotek izpuščenih vrednotenj določa število vrednotenj, ki naj bodo izključene ob izračunu končnih ocen. To število je lahko nastavljeno na dva načina.
   • Glede na način kako se izračuna sposobnost ocenjevanja, bi lahko vsak udeleženec prejel polno oceno (za ta element), če bi ovrednotil vse dodeljene naloge, ki so mu dodeljene in nobeno vrednotenje ne bi bilo izpuščeno. Če želi izvajalec imeti bolj smiselne povprečne ocene, bi nastavitev te možnosti na 30 % povzročilo povprečno sposobnost ocenjevanja okoli 70 % (ponovno - če bi vsi udeleženci ocenili vsa vrednotenja, ki so jim na voljo).
   • Alternativno, se lahko število izpuščenih vrednotenj nastavi tako, da preostala "dobra" vrednotenja vrnejo povprečno napako v neki smiselni vrednosti. To so odstotki v četrtem stolpcu tabele napak. Na primer, lahko menimo, da vsa vrednotenja udeležencev (v povprečju) ležijo znotraj obsega 20 %. Potem analiza večkrat prilagodi število izpuščenih vrednotenj, dokler se vse vrednosti v tem stolpcu ne nahajajo v določenih mejah.

Poleg tabele napak, analiza našteje ocene vseh vrednotenj in končne ocene udeležencev. To preglednico je potrebno pregledati ter preveriti, če so rezultati smiselni. Še posebno je ob velikem številu izpuščenih vrednotenj možno, da nekatere oddaje ostanejo neovrednotene in končna ocena udeležencev bo bistveno prenizka. Analiza da število oddaj na vrhu strani in ponovno tik pred tabelo ocen. Ti dve številki morata biti enaki. Če je ena ali več neovrednotenih oddaj in izvajalec ne želi zmanjšati števila izpuščenih vrednotenj, mora te oddaje ovrednotiti izvajalec in ponoviti analizo. Pomembno je, da so vse oddaje ovrednotene vsaj enkrat v zaključni fazi analize, ko se izračunajo končne ocene.

Obstaja sorazmerje med številom izpuščenih vrednotenj in skupno končno oceno. Več ko je izpuščenih vrednotenj, nižje bodo verjetno končne ocene. Vendar, če slabih vrednotenj ne izpustimo, se utegnejo udeleženci pritoževati nad kvaliteto vrednotenj, ki določajo oceno njihovega dela. Če je dovolj vrednotenj s strani izvajalca, ki prevladujejo v analizi brez pretirane prisile, potem je smiselno izpustiti nekje med 15 % in 30 % vrednotenj.

Vedite, da ta analiza traja veliko časa, saj vključuje ponavljajoče postopke. Pričakovati gre daljše zakasnitve.