Vertaistaan kun arvioi …

Sain ekan Courseran kurssin todistukseni, sertifikaatin. Se tuntui mukavalta ja tallensin sen tietokoneelle. Toinen kurssini oli Princetonin, joka ei anna Coursera-kursseista minkäänlaisia todistuksia. Ymmärrän kyllä. Kokeita saattoi tehdä muutaman päivän ajan. Lunttaaminen kaikilla perinteisillä ja moderneilla tavoilla oli mahdollista. Saattoi jopa kysyä kurssin keskustelupalstalla muiden käsitystä kokeen tehtävästä, mikä oli kurssin ’honor coden’ vastaista, mutta sitäkin tapahtui. Sertifikaattini alaosassa onkin kuusi DOES NOT -lausetta:

PLEASE NOTE: THE ONLINE OFFERING OF THIS CLASS DOES NOT REFLECT THE ENTIRE CURRICULUM OFFERED TO STUDENTS ENROLLED AT THE JOHNS HOPKINS UNIVERSITY. THIS STATEMENT DOES NOT AFFIRM THAT THIS STUDENT WAS ENROLLED AS A STUDENT AT THE JOHNS HOPKINS UNIVERSITY IN ANY WAY. IT DOES NOT CONFER A JOHNS HOPKINS UNIVERSITY GRADE; IT DOES NOT CONFER JOHNS HOPKINS UNIVERSITY CREDIT; IT DOES NOT CONFER A JOHNS HOPKINS UNIVERSITY DEGREE; AND IT DOES NOT VERIFY THE IDENTITY OF THE STUDENT.

Kursseilla, joihin olen osallistunut, on ollut vain vaihtoehtokysymyskokeita tai on palautettu laskelmien tai ohjelmien tuloksia. Humanistisemmissa aineissa käytetään vertaisarviointia (peer grading): esim. opiskelijan on kirjoitettava oma essee ja arvioitava x kappaletta muiden tuotoksia. Näin kaikki esseet tulevat monen opiskelijatoverin arvioimaksi. Opettajat tai tietokone eivät puutu arviointiin.

Muuan sosiologian professori on käynyt tutkimusmielessä assareidensa kanssa läpi oman Coursera-kurssinsa kokeita tarkastamalla ne myös perinteiseen tapaan. Kyse on noin 1300 kokeesta, mutta työ on vielä kesken. Vertaisarviointien ja ammattilaisten arviointien korrelaatio on tähän mennessä ollut 0,88 eli hyvin korkea. Vertaisarvioinnilla saatu koekeskiarvo (16,94, maksimi 24) oli parempi kuin ammattilaisten (15,64). Lisäksi hyvin menneissä kokeissa vertaisarviointi vastasi paremmin ’oikeaa’ arviointia kuin heikosti menneissä.  Edellisestä voisi päätellä, että - laittamalla hyväksymisraja tarpeeksi ylös - voisi sertifikaatissa olla arvosana, joka perustuisi vertaisarviointiin ja jonkinlaiseen 'luottamusväliin'. Koko juttu löytyy täältä.

Selvästi Courseralla, tai Princetonilla, on halu kehittää vertaisarviointia. Luotettava systeemi vähentäisi myös perinteisen opetuksen kokeiden tarkistamista. MOOCissa vaiva on turha niin kauan kuin kokeen tekijää ei voida varmistaa ja sertifikaatissa lukee AND IT DOES NOT VERIFY THE IDENTITY OF THE STUDENT.  Toistaiseksi koe on yksi oppimistilanne lisää, ja siihen ajatukseen vertaisarviointi sopii hyvin, samoin kuin se että automaattisesti tarkastettaviin koekysymyksiin pystyy miettimään vastauksia kaikessa rauhassa.

Löysin vertaisarvioinnin toimivuutta kritisoivan kohdan MOOC-kritiikistä, jonka tekijä on professori USAsta:

Engineering, math and the sciences have right and wrong answers. Can untutored peer grading, even with a good marking rubric, really negotiate the difficulties of cross-cultural essay writing on topics where right and wrong are entirely subjective? For example, would a Mexican student who is adamantly opposed to abortion be able to fairly grade a Finnish student’s reflective work on a woman’s right to choose – and vice versa? (2.11.2012)