Fórum:AI/ChatGPT MCQ

ChatGPT a tvorba testových úloh z anatomie

Can ChatGPT generate acceptable case-based multiple-choice questions for medical school anatomy exams? je pilotní studie zkoumající schopnost modelu ChatGPT generovat klinicky orientované testové otázky (case-based MCQs) pro studenty medicíny v oboru anatomie. Výzkum se zaměřil především na psychometrické parametry, jako je index obtížnosti a diskriminační schopnost.

Metodika

Studie porovnávala sady otázek vytvořené umělou inteligencí a zkušenými akademickými pracovníky:

  • Nástroj: ChatGPT (verze 4) byl použit k vygenerování otázek na základě specifických klinických témat (např. sella turcica, tepny varlete, corona mortis).
  • Jazykové verze: Otázky byly testovány v angličtině i turečtině, aby se ověřila konzistence napříč jazyky.
  • Měřené parametry:
    • Item Difficulty (P): Index obtížnosti (podíl správných odpovědí).
    • Item Discrimination (D): Diskriminační index (schopnost otázky rozlišit mezi studenty s vysokými a nízkými znalostmi).

Klíčová zjištění

Psychometrické vlastnosti

Výsledky naznačují, že AI otázky jsou pro studenty vnímané jako přijatelné, ale vykazují specifické rysy:

  • Obtížnost: Otázky generované AI měly tendenci být o něco snazší než ty od expertů (průměrná obtížnost kolem 0,61–0,66).
  • Diskriminace: AI otázky dosáhly solidní diskriminační schopnosti (kolem 0,37–0,40), což je v pedagogice považováno za velmi dobrou hodnotu pro rozlišení kvalitních studentů.
  • Jazykový vliv: Mezi anglickou a tureckou verzí generovanou AI nebyly nalezeny zásadní statistické rozdíly v kvalitě, což značí dobrou úroveň multilinguální medicínské logiky modelu.

Kvalitativní aspekty

  • Klinický kontext: ChatGPT prokázal vysokou schopnost simulovat reálné klinické scénáře a integrovat anatomické znalosti do praktických příkladů.
  • Chybovost: Ačkoliv byla většina otázek vědecky správná, studie zdůrazňuje riziko občasných nepřesností, které vyžadují odbornou validaci.

Závěry

Studie potvrzuje, že ChatGPT je schopen generovat anatomické otázky, které splňují základní psychometrické standardy pro lékařské fakulty.

Zatímco studie (BMC Medical Education) byla spíše kritická k hloubce AI otázek u atestačních zkoušek, tato studie z Clinical Anatomy je optimističtější ohledně využití AI pro pregraduální studenty (mediky). Ukazuje, že pro základní výuku anatomie je diskriminační schopnost AI otázek velmi překvapivá a dostačující.

Hlavní přínosy a omezení:

  • AI výrazně zrychluje proces tvorby testových bank (šetří čas pedagogů).
  • Je ideálním nástrojem pro tvorbu procvičovacích testů pro studenty.
  • Nezbytnost kontroly: Kvůli riziku "halucinací" a nižší náročnosti otázek nemůže AI plně nahradit lidské experty při tvorbě finálních postupových zkoušek.

Reference

  • Kıyak, et al. (2025). Can ChatGPT generate acceptable case-based multiple-choice questions for medical school anatomy exams? A pilot study on item difficulty and discrimination. Clinical Anatomy. DOI: 10.1002/ca.24271