Fórum:Testy/Cohenovo kappa

Cohenovo kappa měří shodu mezi dvěma hodnotiteli, kteří hodnotí stejnou skupinu n studentů. Shodu by bylo možné vyčíslit jednoduše v procentech. Cohenovo kappa je univerzálnější v tom smyslu, že bere v úvahu také pravděpodobnost náhodné shody.

Cohenovo kappa κ je dáno vztahem:

$\kappa ={\frac {\Pr(a)-\Pr(e)}{1-\Pr(e)}},\!$

kde Pr(a) je relativní shoda mezi hodnotiteli a Pr(e) je odhad pravděpodobnosti náhodné shody. Pokud se hodnotitelé shodli v hodnocení všech jedinců, pak κ = 1. Pokud je celkové procento shody rovno pravděpodobnosti očekávané shody při náhodném rozhodování, je κ = 0. Pokud je dokonce procento shody menší, je κ záporné. Interpretace hodnot κ je obvykle následující: Hodnotu κ > 0,75 považujeme za výbornou shodu, κ mezi 0,40 a 0,75 za dobrou shodu a κ < 0,40 považujeme za špatnou shodu.

• Příklad

Představme si, že testujeme dvěma testy 5 studentů a obdržíme tyto výsledky:

Tab. 10.5 Výsledky studentů ve dvou testech

	skóre v prvním testu	skóre v druhém testu
1. student	18	48
2. student	45	75
3. student	33	63
4. student	48	78
5. student	51	81

Pearsonův korelační koeficient je roven 1, mezi dvěma výsledky je přímo lineární závislost (druhý je vždy právě o 30 bodů vyšší než první). Budeme-li však rozhodovat u složení zkoušky na základě 50 bodové hranice, první test úspěšně absolvuje 1 student z 5, zatímco v druhém to budou 4 studenti z 5. Testy by rozhodly o ne/úspěchu shodně jen u prvního a posledního studenta, tedy ve 40 % případů. Jaká je pravděpodobnost náhodné shody testů? První test rozhoduje o úspěchu v 20 % případů a druhý v 80 % případů, náhodné shodné rozhodnutí o úspěchu by tedy nastalo v 20 % $\cdot$ 80 % = 16 % případů, podobně náhodné shodné rozhodnutí o neúspěchu by nastalo v 80 % $\cdot$ 20 % = 16 % případů, celkem tedy náhodná shoda nastává v 32 %. Cohenovo kappa je proto

$\kappa ={\frac {\Pr(a)-\Pr(e)}{1-\Pr(e)}}={\frac {0{,}40-0{,}32}{1-0{,}32}}=0{,}12,\!$

což svědčí o velmi malé shodě mezi dvěma testy.

• Příklad

Představme si situaci, kdy o udělení atestace rozhodují nezávisle dvě komise. Každý atestovaný je hodnocen dvakrát a každá komise rozhodne o udělení atestace buď kladně "Ano", nebo záporně "Ne". Výsledky jsou jako v tabulce 10.6, přičemž řádky odpovídají komisi A a sloupce komisi B:

Tab. 10.6

		B	B
		Ano	Ne	Celkem
A	Ano	20	5	25
A	Ne	10	15	25
	Celkem	30	20	50

Z celkem 50 atestovaných tedy bylo 20 atestovaných hodnoceno kladně oběma komisemi a 15 atestovaných hodnoceno záporně. Procento shody je tedy $\mathrm {Pr} (a)=(20+15)/50=0{,}70.$

Abychom odhadli pravděpodobnost náhodné shody $\mathrm {Pr} (e)$, všimněme si nejdříve, že:

• komise A hodnotila kladně 25 atestovaných a záporně také 25 atestovaných. Kladně tedy hodnotila v 50 % případů.
• komise B hodnotila kladně 30 atestovaných a záporně také 20 atestovaných. Kladně tedy hodnotila v 60 % případů.

Proto pokud by komise rozhodovaly náhodně, pravděpodobnost, že obě komise řeknou "Ano" je $0{,}50\cdot 0{,}60=0{,}30$ a pravděpodobnost, že obě řeknou "Ne" je $0{,}50\cdot 0{,}40=0{,}20.$ Celková pravděpodobnost náhodné shody je tedy $\Pr(e)=0{,}30+0{,}20=0{,}50.$

Po doplnění do vzorce pro Cohenovo kappa dostáváme:

$\kappa ={\frac {\Pr(a)-\Pr(e)}{1-\Pr(e)}}={\frac {0{,}70-0{,}50}{1-0{,}50}}=0{,}40.\!$

Další koeficienty shody

Cohenovo kappa lze rozšířit na případ více kategorií. V případě, kdy nás zajímá více hodnotitelů, je namístě použít Fleissovo kappa .