Fórum:Testy/Odhady parametrů IRT modelů

Nyní nastává otázka, jak nalézt funkci neboli charakteristickou křivku, která popisuje pravděpodobnost správné odpovědi na položku nejlépe. V praxi se většinou předpokládá konkrétní tvar funkce a z dat se odhadují pouze její parametry (vlastnosti položek). Některé nejčastěji používané modely jsou blíže popsány v příloze. Typicky se předpokládá, že charakteristická funkce je esovitého tvaru. Polohu jejího středu na ose x charakterizuje parametr obtížnosti položky $b$. Parametr obtížnosti říká, jakou úroveň znalosti potřebuje student, aby položku zodpověděl právě s poloviční pravděpodobností. Sklon křivky charakterizuje další možný parametr – parametr citlivosti $a$. Ten je intuitivním rozšířením dříve popsaného koeficientu ULI. V případě položek s výběrem z $n$ odpovědí má smysl předpokládat, že student s pravděpodobností $1/n$ správnou odpověď uhádne. Lze pak uvažovat také další parametr – parametr uhádnutelnosti $d$.

Souhrnně je interpretace zmíněných parametrů zobrazena na obrázku 8.18:

Obr. 8.18 Interpretace parametrů IRT modelu: b obtížnost, c citlivost (diskriminační schopnost), d uhádnutelnost položky

Jak tyto parametry a úrovně znalostí jednotlivých studentů z dat odhadovat? Nevýhodou IRT je, že odhady není možné spočítat tak jednoduše, jako klasické odhady obtížnosti a citlivosti. K odhadu parametrů IRT modelů je zapotřebí použít příslušný statistický software, neboť jde o složitější optimalizační procedury založené na maximalizaci tzv. věrohodnostní funkce. Známe-li parametry položek (např. z předchozí pilotní studie), odhadujeme parametry znalostí studentů metodou podmíněné maximální věrohodnosti. V jednoparametrickém IRT modelu (modelu s jediným parametrem – parametrem obtížnosti) tak ke každému celkovému počtu bodů jednoznačně přiřadíme hodnotu znalosti. Ve složitějších modelech již kromě celkového skóre může záviset také na tom, které položky student zodpověděl správně. Známe-li parametry znalosti jednotlivých studentů, metodou podmíněné maximální věrohodnosti můžeme odhadnout parametry položek. Pokud parametry znalostí jednotlivých studentů neznáme, ale známe alespoň rozdělení těchto znalostí (většinou předpokládáme normální rozdělení s příslušnou střední hodnotou a rozptylem), můžeme parametry položky odhadnout metodou tzv. marginální maximální věrohodnosti. Úroveň znalosti studenta a parametr obtížnosti položky lze odhadovat také společně pomocí tzv. sdružené maximální věrohodnosti. Ke všem zmíněným odhadům parametrů je zapotřebí dostatečně velkého vzorku – minimálně stovky, ještě lépe tisíce studentů.

Tip: Který z odhadů vlastností položek použít?

Klasické odhady obtížnosti a citlivosti lze uplatnit pro položky testu, který je používán vždy pro přibližně stejnou populaci studentů (což lze do jisté míry předpokládat např. u testů určených studentům konkrétního předmětu, který se vyučuje na určité škole vždy v daném ročníku). Složitější modely teorie odpovědi na položku (IRT) je třeba použít, pokud je test používán pro různé skupiny studentů (různé ročníky, školy, ...). Klasické odhady obtížnosti a citlivosti mohou v takovém případě nabývat různých hodnot pro různé skupiny v souboru. Složitější IRT modely dovolí modelovat obtížnost a citlivost v závislosti na úrovni znalosti studentů. IRT odhady však vyžadují poměrně velký počet testovaných studentů, řádově alespoň stovky.

Tip: Který z odhadů vlastností položek použít?