Fórum:Metodiky testování a hodnocení

Z WikiSkript

(přesměrováno z Uživatel:CeSt/Atestace)

Úvod[upravit | editovat zdroj]

Součástí specializačního vzdělávání je i testování dosažených znalostí. Účelem tohoto otevřeného dokumentu je poskytnout prostor pro formulaci doporučení, jak testování provádět. Uvedené postupy nejsou závazné, ale shrnují zkušenosti a doporučení.

Účel testu[upravit | editovat zdroj]

Účelem testu je vyzkoušet absolventy z probírané látky pomocí testu s kvantitativním hodnocením a umožnit všem testovaným absolvovat zkoušku se shodnými a opakovatelnými podmínkami.

Účel testu může být Rozlišující, nebo Ověřující.

  • Rozlišující test (neboli test relativního výkonu, NR-test) porovnává studenty mezi sebou, umožňuje stanovit jejich pořadí. Hodnocení studenta (zda prošel nebo neprošel) může záviset na výkonech ostatních studentů.
  • Ověřující test (neboli test absolutního výkonu, CR-test) zjišťuje, zda si student, či skupina osvojili podstatné znalosti a dovednosti z probírané látky. Výsledek studenta není porovnáván s ostatními studenty, ale s předem stanovenými kritérii.

Použitá literatura: http://www.cermat.cz/didakticke-testy-1404034141.html

Forma testu[upravit | editovat zdroj]

Formou mohou být testy písemné, ústní nebo elektronické. Nebude-li uvedeno jinak budeme nadále hovořit o elektronickém testování.

Elektronické testování[upravit | editovat zdroj]

K testování je na jednotlivých fakultách je vhodné použít prostředí, které je na příslušné fakultě dostupné a známé. Program Moodle mají k dispozici všechny fakulty. Některé si jej provozují samy, některé využívají centrální instalace provozované ÚVT. Na 1. LF UK můžeme rovněž použít Adobe Connect (Breez), který je z hlediska fakulty místní. Perspektivním řešením je pořídit specializovaný SW na testování. Pracuje se na implementaci specializovaného testovacího sytému Rogo (dříve TouchStone), který bude k dispozici zhruba v příštím roce (musí proběhnout lokalizace).

Moodle[upravit | editovat zdroj]

Pro tvorbu a realizaci testů lze využít prostředí Moodle. Moodle je obecně LMS (Learning Management System - systém pro řízení výuky) a obsahuje poměrně kvalitní testovací modul, který lze pro účely atestací využít. Moodle je dostupný na všech lékařských fakultách v ČR.

Pro atestace je zvláště vhodný Moodle pro další vzdělávání na UK Přihlašování uživatelů je možné pomocí účtu v centrální autentizační službě (CAS UK), nebo je možné účty přidávat (pro uživatele mimo UK).

Návod na tvorbu testu v prostředí Moodle[upravit | editovat zdroj]

Podrobný návod na tvorbu testu v Moodle najdete zde: Přidání a úpravy testů v prostředí Moodle.

Poznámka k použití SW Moodle[upravit | editovat zdroj]

Výhoda využití univerzitních instalací Moodle je v tom, že systém je provozován na serverech ÚVT UK, kde je prováděna pravidelná profylaxe serverů a zálohování dat. Zaměstnanci Oddělení výukových systémů a speciálních technologií (OVSaST) ÚVT UK mají osmiletou zkušenost z provozování systému. K dispozici jsou dva specialisté - programátoři, kteří jsou schopni do Moodle doplňovat požadované moduly a dále metodologická podpora pro tvůrce kurzů - ev. pouze testů a nepřetržitý HelpDesk. Na všech instancích Moodle, provozovaných OVSaST ÚVT UK je dodržována bezpečnostní politika při stanovování rolí, přidělovaných jednotlivým uživatelům. Nastavení rolí umožňuje různá omezení práv obsluhy testů - např. práva k editaci a prohlížení testů a jejich výsledků.
Výhodou používání společné platformy a nejlépe i společné instance testovacího programu je snazší spolupráce při tvorbě testů a možnost sdílení testových otázek, možnost výběru variabilních typů testových úloh.

Zabezpečení testů v Moodle[upravit | editovat zdroj]

Test lze v Moodle zabezpečit v několika úrovních:
- heslem pro přístup do kurzu s testem
- heslem k vlastnímu testu
- stanovením počtu možných pokusů
- stanovením časového odstupu mezi jednotlivými pokusy
- přesným stanovením času pro otevření a uzavření testu
- časovým limitem pro běh vlastního testu
- zabezpečení pomocí JavaScriptu - vyskakovací okno přes celou obrazovku
- omezení na konkrétní podsítě v rámci Internetu nebo sítě LAN, případně až na jednotlivé počítače

Součástí problematiky zabezpečení jsou i metodická a organizační opatření zajišťující věrohodnost testů.
  • utajení ostré verze testu
  • bezpečnou identifikaci účastníků testu
  • zabezpečení proti zásahu do vyhodnocování testů

Metodika testu[upravit | editovat zdroj]

Obsah testu[upravit | editovat zdroj]

Test by měl pokrývat tématické okruhy nezbytných znalostí v příslušném oboru (core curriculum). K tomu je vhodné sestavit Specifikační tabulku testu, kde bude určeno, která témata budou v testu zahrnuta a jakým podílem, jaký podíl otázek bude testovat znalosti, a jaký schopnost nabyté znalosti použít. Pokročilou součástí návrhu Specifikační tabulky testu je i návrh rozložení obtížnosti testových úloh. Specifikační tabulka musí projít oponenturou dalších odborníků, jinak je téměř jisté, že se v rozsahu testovaného učiva promítnou osobní preference autora testu. Z tohoto důvodu je rovněž silně doporučeno, aby test sestavoval tým.

Rozsah testu[upravit | editovat zdroj]

Počet otázek souvisí jednak s rozsahem zjišťovaných znalostí, jednak se stabilitou (reliabilitou) testu. Je doporučeno, aby testová sada obsahovala nejméně dvakrát tolik úloh, než jich je použito v jednom testu.

Formát testových otázek[upravit | editovat zdroj]

Multiple Choice Questions[upravit | editovat zdroj]

Základním formátem otázek v objektivních testech jsou otázky s mnohočetným výběrem (MCQ). Obecně platí, že při formulaci otázek je dobré se držet jednoduchého zadání a snadného porozumění otázce a nabídnutým možnostem řešení. Při hledání "možných" distraktorů (věrohodně vypadajících nesprávných odpovědí) lze použít chybné odpovědi, které se objevují při ústním zkoušení. Správné a nesprávné možnosti odpovědí by měly být homogenní, relativně se podobat obsahem, formulací i rozsahem použitých slov. Doporučení pro tvorbu MCQ testů lze najít např v knize prof. Byčkovského "Základy měření výsledků výuky"[1], nebo v podobně zaměřených textech Jana Strojila [2].

Pro testování znalostí na postgraduální úrovni se používá specifická forma MCQ nazývaná Single Best Answer.

Single Best Answer Questions[upravit | editovat zdroj]

V postgraduálním vzdělávání se přednostně používá forma otázek nazývaná SBAs (Single Best Answer Questions) (známá též pod názvy Best of Five, nebo One Best Answer), které lépe testují Know-How, na rozdíl od obecnějších MCQs, které testují spíše znalost samotnou [3].

Tento typ otázek se používá v bakalářských, magisterských a postgraduálních zkouškách, tedy všude, kde již nejde jen o znalost samotnou, ale o její aplikaci. Spolu s otázkou, respektive krátkým vysvětlením je nabídnuto pět odpovědí. Úkolem uchazeče je najít nejlepší z těchto pěti nabídnutých odpovědí. Za jedinou správnou odpověď je přitom považována ta, která je nejlepší odpovědí.

Základní pravidla pro tvorbu SBA[upravit | editovat zdroj]
  • Každá otázka by měla být zaměřena na důležitý klinický problém. Zaměřte se na problémy ze života. Neztrácejte čas testováním triviálních a příliš složitých otázek.
  • Každá otázka by měla testovat využití znalostí, nikoliv znalost izolovaného faktu. Sama otázka může být poměrně dlouhá, ale odpovědi by měly být krátké. Klinická otázka by měla obsahovat pacientovy problémy včetně historie (trvání příznaků), výsledků vyšetření, dosud nasazené léčby. Není podstatné zda tam budou všechny tyto body, ale aby byly v logickém pořadí.
  • Otázka by měla být formulována tak, aby bylo možno dojít ke správné odpovědi i při zakrytých nabídkách. Pro ověření zkuste otázku předložit kolegům a ověřit, že je možné zformulovat správnou odpověď. Pokud ne, otázku přepište.
  • Všechny nabídnuté odpovědi (včetně nesprávných) by měly mít podobnou formu. Distraktory (nesprávné odpovědi) by měly spadat do stejné kategorie jako správná odpověď, mít podobnou délku a členitost. Vyznění všech distraktorů by mělo být přesvědčivé a jejich pořadí randomizované.
  • Nepoužívejte otázky typu "Které z následujících tvrzení je správné?", nebo "Všechna z následujících tvrzení jsou správná s výjimkou." Vede to k nejasným formulacím a heterogenním výsledkům.

Zkontrolujte, zda Vámi navržené otázky vyhovují pěti uvedeným pravidlům a pokud ano, je pravděpodobné, že jsou napsány správně[4][5].

Příklady otázek ve formátu SBA

Kvalita testových otázek[upravit | editovat zdroj]

Oponentura testových otázek[upravit | editovat zdroj]

Kvalitu testových otázek je třeba kontrolovat oponenturou. Oponent odpoví na testové otázky a komentuje jak formulaci otázky, tak odpovědi a distaktorů. Komentář zahrnuje vhodnost formulace a obtížnost. Oponentura by měla vyřadit nejednoznačné otázky, nepřesné odpovědi a matoucí distraktory.

Pilotování testu[upravit | editovat zdroj]

Testovou sadu je třeba vyzkoušet v pilotním testu, při kterém jsou úlohy prověřeny skupinou reprezentující cílovou skupinu testovaných. Jen malá část testových otázek je použitelná v podobě, v jaké byla poprvé navržena!

Analýza testu[upravit | editovat zdroj]

Hodnocení testu[upravit | editovat zdroj]

V rámci hodnocení testu je třeba stanovit:

  • Průměrné skóre - průměr dosaženého počtu bodů u všech účastníků
  • Průměrná úspěšnost - poměr Průměrného skóre a maximálního možného skóre vyjádřený v procentech
  • Reliabilita testu - spolehlivost (opakovatelnost) testu

Položková analýza[upravit | editovat zdroj]

Po testu je třeba provést položkovou analýzu otázek, aby byly známy jejich vlastnosti (obtížnost, citlivost, ...), a mohly být verifikovány, upraveny (či vyřazeny) před dalším použitím. U položek testu je třeba stanovit:

  • Obtížnost - podíl testovaných, kteří vyřešili úlohu správně
  • Citlivost - schopnost položky testu rozlišit mezi úspěšnými a neúspěšnými účastníky testu
Položková analýza v Moodle[upravit | editovat zdroj]

Některé testové programy (mezi jinými i Moodle) mají možnost provést základní analýzu testu přímo v programu. Moodle provádí automaticky položkovou analýzu otázek testu, vyhodnocuje snadnost (obtížnost), směrodatnou odchylku, diskriminační index a diskriminační koeficient [6].


Odkazy[upravit | editovat zdroj]

Externí odkazy[upravit | editovat zdroj]

Reference[upravit | editovat zdroj]

  1. BYČKOVSKÝ, Petr. Základy měření výsledků výuky : Tvorba didaktického testu. 1. vydání. Praha : Ediční středisko ČVUT, 1982. 144 s. s. 95-100. 
  2. STROJIL, Jan. Tvorba a hodnocení kvality multiple-choice testů [online]. ©2004. [cit. 2012-01-19]. <http://jan.strojil.cz/testy.html>.
  3. BRENNAN, Liam. Single Best Answer MCQs [online]. The Royal College of Anaesthetist, ©2010. Poslední revize 2010, [cit. 2012-01-03]. <http://www.rcoa.ac.uk/docs/sba-questions.pdf>.
  4. CASE, Susan M a David B SWANSON. Constructing written test questions for the basic and clinical sciences : Item Writing Manual [online] . Third Edition vydání. Philadelphia : National Board of Medical Examiners, 2001. 181 s. s. 33. Dostupné také z <http://www.nbme.org/publications/item-writing-manual.html>. 
  5. SWANSON, D.B a S.M CASE. Assessment in Basic Science Instruction: Directions for Practice and Research. ADVANCES IN HEALTH SCIENCES EDUCATION [online]. 1997, vol. 2, no. 1, s. 71-84, dostupné také z <http://www.springerlink.com/content/w233675v36633668/>. ISSN 1382-4996. 
  6. MOODLEDOCS,. Výsledky testu : Nápověda k programu Moodle [online]. ©2008. Poslední revize 2008-12-09, [cit. 2012-01-04]. <http://docs.moodle.org/archive/cs/Výsledky_testu>.

Doporučená literatura[upravit | editovat zdroj]

  • MILLER, Ivan. EDUKOMETRIE : Měření výsledků vzdělávání [online]. Institut vzdělávání a poradenství ČZU v Praze, ©2004. Poslední revize 2004-04-21, [cit. 2012-01-04]. <http://www.miller.wz.cz/eduko.htm>.
  • AMERICAN PSYCHOLOGICAL ASSOCIATION,. Standardy pro pedagogické a psychologické testování. 1. vydání. Praha : Testcentrum, 2001. ISBN 80-86471-07-1.


Hotové SBA otázky[upravit | editovat zdroj]