Fórum:Testy2/IDEAL Consortium

Z WikiSkript

IDEAL Consortium (International Database for Enhanced Assessments and Learning) je dobrovolné sdružení 27 vysokých škol z 11 zemí z celého světa [1], na nichž se medicína přednáší v angličtině. Nejvíce jich je z Austrálie a Kanady, významný podíl tvoří země středního východu. Jde přitom v mnoha případech o významné univerzity, které se v žebříčcích řadí mezi nejlepších 150 na světě.

Cíle sdružení jsou formulovány ve třech bodech:

  • vytvořit a sdílet velký počet kvalitních testových otázek pro účely lékařského vzdělávání v mezinárodním měřítku,
  • podporovat komunikaci mezi lékařskými fakultami v oblasti standardů kvality testování,
  • podporovat výzkum a rozvoj mezinárodních norem v posuzování lékařské způsobilosti.

Konsorcium buduje dvě oddělené databáze otázek. Databáze pro sumativní testování obsahuje 13 tisíc otázek a přístup do ní je striktně omezen. Druhá databáze s otázkami pro formativní hodnocení obsahuje 6 tisíc položek určených pro sebevzdělávání a přístup do ní je možný po přihlášení. Výše uvedené informace o počtech otázek pocházejí z webových stránek konsorcia. V publikaci z roku 2012 je celkový počet otázek v databázi odhadnut na 32 tisíc.[2].

Otázky jsou opatřeny klasifikátory (metadaty), které v nich umožňují efektivně vyhledávat. Jedním z klasifikátorů je řízený slovník biomedicínských deskriptorů MeSH (Medical Subject Headings). Dalšími jsou předdefinované kvalitativní charakteristiky, jako jsou disciplína, nebo úkoly lékaře a nakonec výkonové (psychometrické) charakteristiky jako jsou úroveň obtížnosti, diskriminační schopnost, počet použití apod. Kvalita otázek se zdá velmi dobrá a i přes kulturní rozdíly odrážející místo vzniku je lze s malým vkladem práce přizpůsobit pro místní podmínky [3].

Konsorciem byla vytvořena sada programů, které slouží:

  • Pro skladování, vyhledávání a získávání položek (testových otázek).
  • Pro administraci hodnocení, analýzu studentských odpovědí a poskytování zpětné vazby.
  • Pro správu a sdílení položek uvnitř i mezi institucemi

Vývojové náklady byly menší než 1 mil. USD a byly hrazeny z hongkongských grantů pro rozvoj výuky.

Podporované typy testových položek
  • SBA (single best answer) – otázky s jedinou nejlepší odpovědí
  • EMQ (extended-matching questions) – rozšířené přiřazovací otázky
  • SAQ (short-answer questions) – otázky s krátkou tvořenou odpovědí
  • MRQ (multiple response questions) – otázky s více správnými odpověďmi (~ MTF)
  • MEQ (modified assay question) – modifikovaný esej
  • OSCE/OSPE (objective structured clinical/practical examination) - objektivně strukturované klinické/praktické zkoušení

Součástí otázek mohu být i vložené objekty – audio, video, grafy a tabulky. Otázky s sebou nesou metadata zahrnující mimo jiné informace o původním autorovi, o zdrojovém materiálu, o zpětné vazbě od studentů a podobně. Banky otázek s omezeným přístupem (pro sumativní hodnocení) i volným přístupem (pro formativní testování) jsou každoročně aktualizovány. Software sdružení IDEAL podporuje práci jak na lokálním PC, tak online na vzdáleném serveru. Programy umožňují nejen zadávání otázek a klasifikaci položek, ale též jejich položkovou analýzu.

Kvalita obsahu je podpořena i pravidly, podle nichž jsou členové sdružení přijímáni. Musí jít o (lokálně) akreditované vysoké školy, které mají zavedenou kontrolu kvality hodnocení studentů. Předpokladem je ochota přispět nejlepšími testovými otázkami (minimálně 150 položek ročně) a podmínkou přijetí je i záruka některého stávajícího člena sdružení.

Sdružení poskytuje svým členům podporu formou školení školitelů (v Hongkongu), vydává manuály a učí i pravidlům pro správnou tvorbu otázek.

Více informací na stránkách sdružení: http://www.idealmed.org/.

  1. IDEAL Consortium: Our Current Members. IDEAL CONSORTIUM. [online]. 2013 [cit. 2013-06-06]. Dostupné z: http://temporary.idealmed.org/wp/membership/our-current-members/
  2. HOCHLEHNERT, Achim, Konstantin BRASS a Andreas MÖLTNER, et al. Good exams made easy: the item management system for multiple examination formats. BMC Med Educ [online]. 2012, vol. 12, s. 63, dostupné také z <http://www.biomedcentral.com/1472-6920/12/63>. ISSN 1472-6920. PMID: 22857655.DOI: 10.1186/1472-6920-12-63.
  3. Chybná citace: Chyba v tagu <ref>; citaci označené FREEMAN není určen žádný text