Fórum:Testy2/Rogo

Rogo je, stejně jako Moodle, volně šiřitelný program, je však zaměřený na elektronické testování ve všech jeho fázích. Rogo vzniklo v roce 2003 na lékařské fakultě University of Nottingham pod názvem TouchStone („prubířský kámen“). Po úspěchu na domovské fakultě bylo přijato jako klíčový systém pro celou univerzitu, převedeno na software s otevřeným zdrojovým kódem a při té příležitosti i přejmenováno, aby nedocházelo k záměnám s jinými systémy. Rogō v latině znamená "ptám se" .

Licence

Z pohledu licence je webová aplikace pro on-line testování Rogo je svobodně šiřitelný open source program, uvolněný pod GPL verze 3.0. Je tedy možné kód měnit, rozšiřovat jej a přispívat tak k projektu.

Rozšíření

Zásluhou britské společnosti JISC získala finanční podporu otevřená komunita, která se zabývá vývojem Rogo. Tato komunita se také zasloužila o rozšíření systému na dalších pět britských univerzit (University of Oxford, University of Bedfordshire, University of East Anglia, De Montfort University a University of the West of Scotland), které u sebe systém implementují, testují a hodnotí.

Tvorbu testů v Rogo je možné si vyzkoušet. Stačí si vytvořit dočasný účet na demo serveru University of Nottingham a s tímto účtem pak vstoupit do demo systému. Systém však nemusí obsahovat žádný momentálně přístupný ukázkový test; můžete však pokusný test vytvořit sami.

Stav implementace v ČR

V ČR je systém Rogo nainstalován (na serveru 1. LF UK) a jeho testovací verze je dostupná na adrese http://www.rogo.cz/. Anglickou nápovědu k Rogo najdete na stránce https://www.rogo.cz/help/staff/, její překlad se připravuje.

V době vzniku této publikace (první pololetí roku 2013) je hotový překlad základních obrazovek. Systém se pilotně testuje a připomínkuje pro upřesnění překladu.

Pro plnohodnotné použití ještě bude třeba

• přeložit nápovědu programu (rozsáhlou a velmi hodnotnou),
• implementovat autentizaci využívající domácí autentizační systémy (např. Centrální autentizační službu Univerzity Karlovy – CAS).

Dokumentace

Správa projektu je otevřená a používá systém pro řízení projektů TRAC (na adrese https://suivarro.nottingham.ac.uk/trac/rogo/). Pro informování komunity slouží seznam adres uživatelů a vývojářů, dostupný je i archiv proběhlé komunikace.

Výhody

Na rozdíl od jiných programů Rogo pokrývá a podporuje všechny kroky cyklu tvorby testů, od spolupráce při přípravě testových úloh, přes jejich oponování z hlediska obtížnosti a relevance, tvorbu plánu testu, standardizaci, až po vyhodnocení kvality otázek. Takto komplexní řešení přináší podstatné výhody. Např. k oponentuře testových úloh je vhodné přizvat řadu vlastních i externích odborníků, což bývá časově a organizačně náročné. Pokud přitom návrhy položek kolují mezi větším počtem lidí, je velmi náročné zajistit jejich utajení. V Rogo jsou naopak oponenti vyzváni k připojení do systému, takže testové úlohy systém vůbec neopustí. Komentáře a připomínky se opět vkládají přímo do Rogo a autoři úloh na ně mohou ihned reagovat. Poté, co test proběhl, je možné zobrazit popisné charakteristiky, histogram celkových skóre všech studentů, obtížnosti a diskriminační indexy položek apod. Z hlediska uplatňování moderních postupů v testování je systém zcela unikátní a jeho zavedení podporuje rozšíření správné testové praxe do terénu.

Systém umožňuje distribuovat jak papírové tak i on-line testy, a to pro sebehodnocení i pro zabezpečené sumativní testování.

Systém Rogo vznikl na lékařské fakultě a je pro výuku medicíny velmi dobře přizpůsoben. Mimo jiné dovoluje použít v úlohách interaktivních obrázků, na nichž student myší vyznačí hledaný objekt. Systém pak vyhodnotí, zda hledanou strukturu označil s požadovanou přesností.

Rogo podporuje autentizaci pomocí adresářové služby LDAP, kterou používá např. i Univerzita Karlova v Praze. Aby byla práce s programem efektivní a bylo možné snadno vybrat příslušnou skupinu testovaných studentů, je třeba Rogo s autentizačním systémem propojit. Pomocí webové služby je pak možné importovat metadata popisující, jaké předměty mají studenti zapsané.

Nevýhody

Do vývoje testovacího systému Rogo je zapojena řádově menší komunita, než do vývoje Moodle. Je to dáno menším rozšířením, užším zaměřením i poměrně krátkou dobou od uvolnění do režimu open source. Podíváme-li se např. na blog nottinghamské univerzity, zjistíme, že počet příspěvků vztahujících se k Rogo, je asi desetkrát menší než k Moodle. I správce projektu Simon Wilkinson připouští, že Rogo je dosud ve „startovní“ fázi . Na druhou stranu pro řešení problémů a nových úkolů vývoje se používá tzv. lístkový systém, díky čemuž požadavky na další vývoj může přidat kterýkoli uživatel.

Tip: Jak Rogo počítá diskriminační schopnost položky?

Jak se v Rogo zjistí schopnost položky rozlišit mezi dobrými a špatnými studenty? Rogo počítá diskriminační index ULI jako rozdíl relativních četností správné odpovědi u nejlepších a nejhorších 27,5 %. Pokud např. kohorta studentů odpoví na otázku tak, že 27,5 % nejlepších studentů má správnou odpověď v 95 % a 27,5 % nejslabších má správnou odpověď v 62 %, je rozdíl mezi skupinami 33 %. To odpovídá diskriminačnímu indexu položky 0,33. Aby úloha dobře rozlišovala mezi dobrými a špatnými studenty, měl by její diskriminační index být alespoň 0,2. Po testování vypočítá program Rogo diskriminační indexy pro každou položku testu automaticky, což umožňuje identifikovat špatně sestavené otázky a vyloučit je z dalšího používání.

Tip: Jak Rogo počítá diskriminační schopnost položky?

Tab. 9.2 Výhody a nevýhody systému Rogo

Výhody systému Rogo	Nevýhody systému Rogo
Nízké náklady na pořízení Podpora celého procesu testování Podpora týmové spolupráce Vysoká úroveň zabezpečení Velký výběr typů testových úloh včetně obrazových	Česká lokalizace teprve vzniká Pouze britské reference Teprve vznikající podpora lokálních uživatelů