Fórum:Testy/Rogo

Rogo je, stejně jako Moodle, volně šiřitelný program, je však zaměřený na elektronické testování ve všech jeho fázích. Rogo vzniklo v roce 2003 na lékařské fakultě University of Nottingham pod názvem TouchStone („prubířský kámen“). Po úspěchu na domovské fakultě bylo přijato jako klíčový systém pro celou univerzitu, převedeno na software s otevřeným zdrojovým kódem a při té příležitosti i přejmenováno, aby nedocházelo k záměnám s jinými systémy. Rogō v latině znamená "ptám se" .

Licence

Z pohledu licence je webová aplikace pro on-line testování Rogo je svobodně šiřitelný open source program, uvolněný pod GPL verze 3.0. Je tedy možné kód měnit, rozšiřovat jej a přispívat tak k projektu.

Rozšíření

Zásluhou britské společnosti JISC získala finanční podporu otevřená komunita, která se zabývá vývojem Rogo. Tato komunita se také zasloužila o rozšíření systému na dalších pět britských univerzit (University of Oxford, University of Bedfordshire, University of East Anglia, De Montfort University a University of the West of Scotland), které u sebe systém implementují, testují a hodnotí.

Tvorbu testů v Rogo je možné si vyzkoušet na demo verzi University of Nottingham. Více informací naleznete na hlavní stránce projektu.

Stav implementace v ČR

V ČR je systém Rogo nainstalován (na serveru 1. LF UK) na adrese https://www.rogo.cz/. 1. LF připravila český překlad prostředí a pracuje kontinuálně i na lokalizaci nápovědy. Studenti jsou do systému importování automaticky ze SIS a mohou se autentifikovat svým CAS účtem.

Dokumentace

• Správa projektu je otevřená a používá systém pro řízení projektů JIRA.
• Dokumentace je k dispozici ZDE

Výhody

Na rozdíl od jiných programů Rogo pokrývá a podporuje všechny kroky cyklu tvorby testů, od spolupráce při přípravě testových úloh, přes jejich oponování z hlediska obtížnosti a relevance, tvorbu plánu testu, standardizaci, až po vyhodnocení kvality otázek. Takto komplexní řešení přináší podstatné výhody. Např. k oponentuře testových úloh je vhodné přizvat řadu vlastních i externích odborníků, což bývá obvykle časově a organizačně náročné. Pokud přitom návrhy položek kolují mezi větším počtem lidí, je velmi obtížné zajistit jejich utajení. V Rogo jsou naopak oponenti vyzváni k připojení do systému, takže testové úlohy systém vůbec neopustí. Komentáře a připomínky se opět vkládají přímo do Rogo a autoři úloh na ně mohou ihned reagovat. Poté, co test proběhl, je možné zobrazit popisné charakteristiky, histogram celkových skóre všech studentů, obtížnosti a diskriminační indexy položek apod. Z hlediska uplatňování moderních postupů v testování je systém zcela unikátní a jeho zavedení podporuje rozšíření správné testové praxe do terénu.

Systém umožňuje distribuovat jak papírové tak i on-line testy, a to pro sebehodnocení i pro zabezpečené sumativní testování.

Systém Rogo vznikl na lékařské fakultě a je pro výuku medicíny velmi dobře přizpůsoben. Mimo jiné dovoluje použít v úlohách interaktivních obrázků, na nichž student myší vyznačí hledaný objekt. Systém pak vyhodnotí, zda hledanou strukturu označil s požadovanou přesností.

Rogo podporuje autentizaci pomocí adresářové služby LDAP, kterou používá celá Univerzita Karlova v Praze. Pomocí webové služby jsou importovaná metadata popisující, jaké předměty mají studenti zapsané.

Tab. 9.2 Výhody systému Rogo

Nízké náklady na pořízení Podpora celého procesu testování Podpora týmové spolupráce Vysoká úroveň zabezpečení Velký výběr typů testových úloh včetně obrazových

Nevýhody

Do vývoje testovacího systému Rogo je zapojena řádově menší komunita, než do vývoje Moodle. Je to dáno menším rozšířením, užším zaměřením i poměrně krátkou dobou od uvolnění do režimu open source. Podíváme-li se např. na blog nottinghamské univerzity, zjistíme, že počet příspěvků vztahujících se k Rogo, je asi desetkrát menší než k Moodle. Na druhou stranu pro řešení problémů a nových úkolů vývoje se používá tzv. lístkový systém, díky čemuž požadavky na další vývoj může přidat kterýkoli uživatel.

Tip: Jak Rogo počítá diskriminační schopnost položky?

Jak se v Rogo zjistí schopnost položky rozlišit mezi dobrými a špatnými studenty? Rogo počítá diskriminační index ULI jako rozdíl relativních četností správné odpovědi u nejlepších a nejhorších 27,5 %. Pokud např. kohorta studentů odpoví na otázku tak, že 27,5 % nejlepších studentů má správnou odpověď v 95 % a 27,5 % nejslabších má správnou odpověď v 62 %, je rozdíl mezi skupinami 33 %. To odpovídá diskriminačnímu indexu položky 0,33. Aby úloha dobře rozlišovala mezi dobrými a špatnými studenty, měl by její diskriminační index být alespoň 0,2. Po testování vypočítá program Rogo diskriminační indexy pro každou položku testu automaticky, což umožňuje identifikovat špatně sestavené otázky a vyloučit je z dalšího používání.

Tip: Jak Rogo počítá diskriminační schopnost položky?