Fórum diskuse:Testy

Archiv původní diskuse naleznete ZDE.

Doplňky a připomínky k textu "Testování při výuce medicíny"

Testování při výuce medicíny

---

Obnovit stránku

Nový příspěvek

Odeslat Zrušit

Dříve než začnete

Proč

Ad. hodnocení studentů: Výsledek testu se má k hodnocení studenta jako laboratorní výsledek k diagnóze.

Cyklus přípravy testu

Odpovědět

OdeslatZrušit

Oponentura otázek

Odpovědět

OdeslatZrušit

Pilotování testu

Odpovědět

OdeslatZrušit

Standardizace a normování testu

Standardizace jako stanovení norem

Hofsteeho metoda

Za relativní a absolutní standardizaci přijde kapitola o smíšené standardizaci - Hofsteeho metoda

Smíšená standardizace

Hofsteeho metoda

autor: prof. Wim Hofstee (*1936)

• obsažena v Rogo
• několik soudců, každý z nich je detailně seznámen s
  • testem
  • povahou testované skupiny
  • očekávanou úrovní znalostí kandidátů
• každý soudce odpovídá na 2 otázky:
  • V jakém rozmezí by se měl pohybovat počet studentů, kteří u daného testu propadnou (Tímto testem by nemělo projít 15-25 % studentů z dané skupiny)
  • V jakém rozmezí by se mělo pohybovat minimální skóre pro úspěšné absolvování předloženého testu (Minimum pro úspěšné složení tohoto testu by mělo být někde mezi 50 a 65 %)

Získáme 4 hodnoty (minimální a maximální přípustný podíl neúspěšných f_min a f_max, minimální a maximální přípustná hranice úspěšnosti k_min a k_max), které se stanoví jako mediány hlasů jednotlivých soudců.

Hranice úspěšnosti se stanoví po obodování testu takto: Sestrojí se distribuční křivka skóre v testu. Na vodorovné ose (skóre) se vynese k_min a k_max, na svislé ose (kumulativní procento studentů, kteří dosáhli daného skóre) se vynese f_min a f_max. Sestrojí se přímka spojující průsečík f_max s k_min a průsečík f_min s k_max. Průsečík této přímky s distribuční křivkou se použije jako hranice úspěšnosti v testu.

• http://www.edumed2007.unam.mx/12-I-07_3.pdf
• https://uit.no/Content/333596/4%20AMEE%20Guide18%20Standardsetting.pdf
• http://www.act.org/research/researchers/reports/pdf/ACT_RR89-2.pdf

Cohenové metoda

prof. Janke Cohen-Schotanus

• Nová metoda stanovení hranice úspěšnosti - vyvinuta 2010 (autorem je profesorka Janke Cohen-Schotanus, Groningen, Holandsko)
• https://www.tandfonline.com/doi/pdf/10.3109/0142159X.2011.611192?cookieSet=1,

Passing Mark (PM) se stanoví podle vzorce

PM = C + 0,6 · (P - C)

PM passing mark

C skóre, kterého lze dosáhnout tipováním

P skóre dosažené na 95 percentilu

Jinými slovy, hranice se stanoví jako 60 % výsledku, kterého dosáhli nejlepší studenti (nejlepší jsou definovaní 95 percentilem) a koriguje se na tipování.

Učí to v nynějším běhu Advanced Assessment Course

• Why Hofstee became famous in the education literature and Cohen a verb?

Klasifikace studentů

• Rituál klasifikace studentů ve třídě

Analýza výsledků a hodnocení kvality testu

Reliabilita a validita testu

Populární texty o validitě:

• Methods for validating observational techniques
• Psychometrics Properties: Validity

Teorie odpovědi na položku

• V textu o IRT zmínit, že charakteristická křivka u IRT má stejnou podstatu jako jiné charakteristické křivky (např. https://www.fotoaparat.cz/clanek/72/charakteristicke-vlastnosti-filmu-ii-2179/).

Realizace testů

Programy pro počítačové testování

http://www.assessmentfocus.com/online-testing.php

Moodle

• The 20 Best Learning Management Systems
• Moodle 2.4 v kontextu testování, Semestrální práce z předmětu Didaktika ICT 05 v rámci studia oboru Učitelství pro střední školy na Pedagogické fakultě Univerzity Karlově, Vladimír Beran 2012
• https://docs.moodle.org/24/en/Question_bank

Programy pro analýzu testů

Zmínit se o volně dostupném programu:

• Free Rasch measurement software... Bigsteps (DOS)
  • i když pouze pro dosovské prostředí

Článek o psychometrických softwarech na WP:

• https://en.wikipedia.org/wiki/Psychometric_software

Banky testových úloh

Medical Assessment Alliance

• UCAN - Umbrella Consortium for assessment network

Software pro položkové banky

• https://docs.moodle.org/24/en/Question_bank

Pod pojmem položková banka můžeme mít na mysli jak jednoduchou databázi udržující text položek a příslušná metadata, tak i komplexní systém, označovaný jako Item Management System (IMS). Porovnej s Learning Management Systemu (LMS). Tato komplexní řešení zahrnují celý životní cyklus testové otázky, jak ho ukazuje například schéma:

Položková banka v tomto pojetí zahrnuje nástroje pro tvorbu otázek, ... https://www.ucan-assess.org/cms/tools/

• item bank software open source

Závěr

---

Odpovědět

OdeslatZrušit

Literatura

Editace této stránky je omezena z důvodu opakovaného vkládání spamu. Pokud bude třeba stránku více otevřít, obraťte se prosím na některého administrátora. -- RNDr. Čestmír Štuka, Ph.D. -- redakce WikiSkript 25. 1. 2014, 22:24 (CET)Odpovědět

OdeslatZrušit