Fórum:Elektronické testování studentů

Z WikiSkript
Tato revize článku byla z tohoto počítače již nedávno hodnocena!
Hodnoceno 2x, počet editací 87, počet autorů 13   
   Děkujeme za Vaše hodnocení (3★)   
star1-1 star2-1 star3-1 star4-0 star5-0
Přejít na: navigace, hledání

Obsah

upravit upravit Obecné problémy elektronického testování

upravit upravit Formy otázek

upravit upravit Multiple Choice Question (MCQs)

upravit upravit Tvorba otázek s mnohočetným výběrem odpovědi

upravit upravit Extended Matching Question (EMQs)

EMQs nebo též EMI (extended matching question/items) jsou nově zaváděné „rozšířené otázky s mnohočetným výběrem“. Důvodem pro jejich zavedení je, že MCQ svou formou svádějí k biflování, nikoli k pochopení. Charakteristickými znaky EMQ jsou: Mnohočetné odpovědi – alespoň osm možných odpovědí reprezentujících nejméně dva různé scénáře. Otázka má být položena tak, aby student byl schopen zformulovat správnou odpověď, aniž by předtím viděl nabízené varianty.

upravit upravit Single Best Answer Questions (SBAs)

Single Best Answer Questions – nově zaváděný formát testových otázek s jednou správnou odpovědí. Testové otázky s jedinou správnou odpovědí jsou v současné době považovány za nejspolehlivější způsob, jak otestovat znalosti a aplikaci poznatků v klinické kontextech a jsou široce využívány v pregraduální a postgraduální nastavení. viz:1 Používají se především v klinických letech lékařských vysokých škol, neboť umožňuje lépe testovat nejen „vědět“, ale i „vědět jak“.

upravit upravit Fórum:Tvorba kvízů v LMS Connect

Kliknutím na nadpis se vám zobrazí článek s příslušnou tématikou.

upravit upravit Aktuality testování v LMS Connect

Součástí nové verze LMS Connect (v první polovině měsíce duben 2009) bude v sekci „Začínáme…“ dostupná také nová verze aplikace Adobe Prezenter. K dispozici jsou zcela nové možnosti testování. Především možnost automatické změny pořadí testových otázek a odpovědí. Každý test je tak unikátní.

upravit upravit Fórum:Tvorba testů v LMS Moodle

Kliknutím na nadpis se vám zobrazí článek s příslušnou tématikou.

upravit upravit Přehled testování na ústavech 1.LF UK

upravit upravit Ústav biologie a lékařské genetiky

upravit upravit Současný stav

Testování je nedílnou součástí výuky pregraduálních studentů na ÚBLG. V současné době studenti všeobecného lékařství píší 2 průběžné testy a zápočtový test v každém semestru (v letním i v zimním). Posledním a finálním testem je pak test předzkouškový.

Metodicky je aktuálně využíváno papírové zadání testů (existuje více variant pro každý typ testu), studenti odpovídají na otázky do předtištěných formulářů, které jsou po uplynutí časového limitu vybrány a ručně opraveny vyučujícími. Hlavními nevýhodami tohoto systému jsou časová náročnost (čas strávený rozdáváním zadání a vybíráním testů a následně i opravováním, což je nepříjemné zejména u předzkouškového testu) a řada technických nevýhod (riziko vynášení testových otázek, potřeba tisknout nová zadání při změně/opravě otázky, vysoká spotřeba papíru apod.).

upravit upravit Plánované změny

V současné době je analyzována možnost kompletní elektronizace testovacího procesu. Předběžné požadavky jsou tyto:

Diskutováno je využití komerčního softwaru Questionmark.

upravit upravit Anatomický ústav

upravit upravit Automatická tvorba testů

Automatická tvorba testů s možností dynamické kategorizace otázek dle obtížnosti. Zkouška z anatomie na I. lékařské fakultě je složena ze tří dílčích částí: rozřazovací písemný test, praktická zkouška na pitevně a ústní zkouška. Podkladem první části zkoušky, tedy písemného testu, který je předpokladem k pokračování v dalších částech zkoušky, je identifikace 30 struktur na obrázcích, které promítáme pomocí dataprojektoru a studenti píší správné odpovědi (názvy struktur) na papír. Pro projití testem je třeba správně pojmenovat alespoň 21 struktur. Dosud test vyrábíme ručně tak, že z databáze anatomických ilustrací a fotografií vybíráme obrázky, vkládáme je do PowerPointu, kde šipkou označíme požadovanou strukturu a číslem označíme její testové pořadí. Rádi bychom však celý proces zautomatizovali a zároveň vložili dynamický prvek statistického hodnocení každé otázky (na podkladě úspěšnosti odpovědí v předchozích a budoucích testech), díky čemuž by se omezil vliv osobnosti učitele na obtížnost testu.

upravit upravit Materiál a kategorizace

Jak již bylo uvedeno výše, test se skládá ze 30 otázek. Každou otázku představuje anatomická ilustrace či fotografie, na které je šipka označující danou strukturu; první obrázek, který studenti uvidí je rentgenový snímek. Druhá otázka pak zahrnuje kosti lebky, třetí obrázek ukazuje kosti celého těla, čtvrtá je zaměřena na svaly a tak dále. Jinými slovy: máme databáze obrázků přiřazených ke každé otázce. Jeden obrázek (například ze složky „kosti lebky“) je v databázi v několika kopiích, přičemž šipka ukazuje vždy na jinou strukturu. Na podkladě výsledků odpovědí z předchozích zkoušek jsme začali k jednotlivým otázkám přidávat informaci, kolik procent studentů odpovědělo na danou otázku správně. Můžeme je tedy dělit na lehké (80–100 % správných odpovědí), těžké (0–20 % správných odpovědí) a zbytek jako středně obtížné. V budoucích testech by zastoupení těchto tří kategorií mělo být 20 % lehkých, stejně pak velmi těžkých a 60 % středně těžkých. Vzhledem k tomu, že ruční zpracování a výroba testů s přihlédnutím na tíži otázek je příliš náročná, nabízíme k úvaze projekt na program, který by hlavně umožnil:

1. automaticky sestavit test z databáze obrázků dle výše uvedených zastoupení anatomických krajin (30 složek) přičemž by
2. zařadil otázky dle jejich obtížnosti (3 úrovně); a
3. umožnil dynamicky editovat obtížnost otázek na podkladě výsledků budoucích testů.

upravit upravit Fyziologický ústav

Používáme vlastní plně elektronický systém (MySQL, PHP). Provozujeme od r 2004/2005. Ctc: mikulas.mlcek(et)lf1.cuni.cz

upravit upravit Použítí testů

upravit upravit Testový SW

upravit upravit Uživatelské rozhraní
upravit upravit Vlastnosti

upravit upravit Zkušenosti a omezení

upravit upravit Ústavu patologické fyziologie

upravit upravit Testový SW

Na Ústavu patologické fyziologie LF1 (přednosta prof. MUDr. Emanuel Nečas, DrSc.) vyvíjejí vlastní systém pro automatizované vyhodnocování studentských zápočtových a zkouškových testů. Součástí tohoto systému je i databáze studentů, kteří mají zapsané naše předměty v daném školním roce. Do této databáze se průběžně ukládají výsledky jejich testů a na konci roku se použijí jako podklad pro udělení zápočtu a zkoušky.

Software umí automatizovaně vyhodnocovat dvacetiotázkové zápočtové testy (zaškrtávací testy s jednou až pěti možnými odpovědmi, 0-5 správných odpovědí).

Stručný přehled vlastností:

V současné době jsou nuceni před každým semestrem ručně exportovat z webové aplikace SIS seznam studentů navštěvujících daný předmět, ručně jej upravit na požadovaný formát a importovat do vlastního systému. Problémy způsobuje také to, že někteří studenti se v seznamu zapsaných studentů objevují až v průběhu semestru. Z výše uvedeného plyne, že potřebují přístup k datům studentů navštěvujících jejich předměty jinak, než přes webové rozhraní. Data mohou mít libovolnou automaticky zpracovatelnou podobu (přímý přístup do databáze, XML web service, …).

upravit upravit Psychiatrická klinika

Již od roku 2000 jsou vytvořeny testy z psychiatrie pro studenty 1. LF UK: [1]. Databáze otázek a odpovědí je uložena v MS Access, program pro testování a prohlížení je v ASP. Test lze snadno použít pro jiný obor záměnou otázek a odpovědí v databázi a úpravou úvodní stránky. Bližší popis a vyzkoušení viz výše uvedený odkaz.

Vzhledem k potřebě spolehlivě identifikovat studenta provádějícího test, se mi jako schůdná jeví pouze možnost provádět testování u PC pod dohledem těsně před zkouškou (nebo v rámci ní). U nás je zatím praxe taková, že studenti nejsou testováni u PC, ale hromadně (několik skupin) dostanou tištěnou verzi (v několika variantách) a odpovědi se potom vyhodnocují ručně (a na základě výsledku jsou či nejsou připuštěni ke zkoušce). Test na PC tedy zatím slouží spíš pro výuku a přípravu studentů ke zkoušce.

upravit upravit Hygiena

Zusob tvorby testu – take do MySQL databaze s generovacim skriptem v PHP. Generujeme 10 testu po 30 otazkach ze 2 kategorii. Zuzitkovavame celou databazi, otazky se neopakuji. Automaticka zmena poradi otazek i odpovedi. Tvorba sablony pro opravovani. Plne elektronicke vypracovani/zpracovani ztroskotalo pro nedostatek PC v dosahu. Evolucne jsme zustali u generovani papirovych testu.

upravit upravit Kontakty

Mgr. Petr Stodulka, Tel: +420 22496 5967, mailto:petr.stodulka@lf1.cuni.cz

upravit upravit Webové služby pro testování

upravit upravit Motivace

Na Ústavu patologické fyziologie LF1 vyvíjejí systém pro automatizované vyhodnocování studentských zápočtových a zkouškových testů. Součástí tohoto systému je i databáze studentů, kteří mají zapsané jejich předměty v daném školním roce. Do této databáze se průběžně ukládají výsledky jejich testů a na konci roku se použijí jako podklad pro udělení zápočtu a zkoušky.

Dosud byli nuceni před každým semestrem ručně exportovat z webové aplikace SIS seznam studentů navštěvujících daný předmět, ručně jej upravit na požadovaný formát a importovat do vlastního systému. Problémy způsobovalo také to, že někteří studenti se v seznamu zapsaných studentů objevují až v průběhu semestru.

Z výše uvedeného plyne, že je potřeba přístup k datům studentů navštěvujících příslušné předměty jinak, než přes webové rozhraní. Data mohou mít libovolnou automaticky zpracovatelnou podobu (přímý přístup do databáze, XML web service, …).

upravit upravit Požadovaná data

Pro specifikované předměty chceme znát seznam studentů, kteří mají (nebo měli) tento předmět v daném školním roce zapsaný, spolu s informacemi o jejich zápočtech a zkouškách.

Konkrétně jde o tyto údaje:

jednoznačné id studenta jméno studenta obor studijní kruh informace o zápočtu (datum, příp. jméno vyučujícího) informace o zkoušce (jednotlivé pokusy, data, jména zkoušejících) Předpokládáme, že požadavek bude mít následující parametry:

credentials pro přístup do SIS kód předmětu školní rok Toto řešení by bylo možné dále rozšířit o pomocné funkce podporující uživatelský komfort, např. vrácení seznamu kurzů vyučovaných daným vyučujícím apod. V nejbližší době plánujeme zavést pouze výše uvedenou funkčnost, nicméně pro další vývoj by stálo za úvahu vytvořit možnost přístupu k SISu i za účelem udělování zápočtů a zkoušek.

upravit upravit Bezpečnost

Při přístupu do databáze SIS můžeme použít login a heslo přednosty ústavu. Domníváme se však, že pro minimalizaci bezpečnostních rizik by bylo vhodnější zavést v systému SIS, pokud je na to připraven, novou roli: uživatele, který bude mít přístup k datům stejně jako přednosta ústavu, ovšem pouze s právem číst.

upravit upravit Požadovaná data z IS Studium

Pro specifikované předměty potřebujeme znát seznam studentů, kteří mají (nebo měli) tento předmět v daném školním roce zapsaný, spolu s informacemi o jejich zápočtech a zkouškách. Konkrétně jde o tyto údaje: • jednoznačné id studenta • jméno studenta • obor • studijní kruh • informace o zápočtu (datum, příp. jméno vyučujícího) • informace o zkoušce (jednotlivé pokusy, data, jména zkoušejících) Předpokládáme, že požadavek bude mít následující parametry: • credentials pro přístup do SIS • kód předmětu • školní rok Toto řešení by bylo možné dále rozšířit o pomocné funkce podporující uživatelský komfort, např. vrácení seznamu kurzů vyučovaných daným vyučujícím apod. V nejbližší době plánujeme zavést pouze výše uvedenou funkčnost, nicméně pro další vývoj by stálo za úvahu vytvořit možnost přístupu k SISu i za účelem udělování zápočtů a zkoušek.

upravit upravit Webové služby

Michal Josífko mailto:michal.josifko@ruk.cuni.cz (tel.: +420-224491782) připravil na základě požadavků Petra Stodůlky první verzi WSDL webové služby implementující zatím dvě metody pro získání seznamu zapsaných studentů a seznamu vyučovaných předmětů.

upravit upravit Testovací prostředí

WSDL: https://nike.ruk.cuni.cz/webapps/testing/secured/ws.php?service=sis&wsdl

WS endpoint: https://nike.ruk.cuni.cz/webapps/testing/secured/ws.php?service=sis

upravit upravit Produkční prostředí

WSDL: https://is.cuni.cz/webapps/secured/ws.php?service=sis&wsdl

WS endpoint: https://is.cuni.cz/webapps/secured/ws.php?service=sis

upravit upravit Autentizace

Co se týče autentizace, bude prozatím služba zabezpečena pomocí HTTP Basic Authentication (tedy na úrovni protokolu HTTP, nikoliv webových služeb) s tím, že služba bude dostupná pouze přes HTTPS protokol. Pro přístup nebudou využívány osobní účty uživatelů z LDAP, neboť nejde o služby pro koncové uživatele, ale o zpřístupnění dat pro další automatizované zpracování aplikacemi, ale budou vydávány zvláštní přístupové údaje správcům jednotlivých klientských aplikací. Na straně IS UK bude pak udržována informace o tom, k jaké množině údajů mají mít jednotlivé aplikace přístup a kdo je za danou aplikaci na fakultě zodpovědný.

Uživatelé budou mít na testovacím prostřdí stejné uživatelské jméno, ale z důvodu bezpečnosti (odlišení testovacího a produkčního prostředí) jiné heslo.

upravit upravit Uživatelé

TODO: Prosím o specifikaci aplikačních uživatelů, kteří mají mít k webovým službám přístup a zároveň o informaci, na jakou množinu dat mají mít nárok (např. zda jen na data vázaná k danému ústavu, či za celou fakultu). Po dospecifikování uživatelů a jejich oprávnění, budou vytvořeny příslušné aplikační účty a nakonfigurována práva.

upravit upravit Popis webových služeb

Popis Webových služeb od Michala Josífka


upravit upravit Informace – Michal Josífko

komentáře Petr Stodůlka a Hana Mezulianiková

P.S. = Petr Stodůlka
H.M. = Hana Mezulianiková
M.J. = Michal Josífko


1. v datech IS Studium se často objevují číselníkové položky, nevím ale, zda potřebujete pro své potřeby jen kódy, kódy i názvy, jen názvy nebo spíše kódy s tím, že číselníky budete získávat jinou službou? (jedná se například o obor, typy examinací, výsledky examinací apod.)

2. struktura je značně hierarchická, díky netriviální struktuře studijních povinností, což ji komplikuje: faktický model studijní povinnosti v IS Studium, je takovýto:


Vaším požadavkem bylo získat data až na úroveň pokusu o examinaci. Jediné zjednodušení struktury tedy spatřuji ve sloučení některých úrovní výše (např. v již prvním návrhu se první dvě úrovně: studijní povinnost a varianta studijní povinnosti sloučily do jedné).

H.M. Informace o datu zapisu, predbeznem zapisu a udaje z prukazu povazuje za nezbytne dr. Mlcek z Fyziologickeho ustavu. Kontroluje je prubezne na seminarich.
M.J. Ohledně nabytečných položek Vám již odpověděli kolegové z Vaší fakulty. Co se týče úrovně odpovídající Studiu, je možné ji nejspíše odstranit. Předtím ještě zkontroluji, že neexistují případy, že by student měl studijní povinnost zapsánu v jednom roce/semestru v rámci více studií.

Dalším možným zjednodušením je převedení logických skupin elementů na vyšší úroveň, například nevyčleňovat průkaz jako samostatnou entitu, ale číslo čipu průkazu a čárový kód zapsat přímo ke studentovi. Zvažte prosím, co by pro Vás bylo výhodnější.

Číslo osoby je osmimístné číslo z umístěné na průkazu studenta pod fotografií (má odraz v reálném světě) a jednoznačně identifikuje osobu. Id studenta je vnitřní databázové ID osoby přidělované systémem IS Studium všem studentům (nemá odraz v reálném světě).

Prostřední jméno jsem doplnil.

Zde došlo k opomenutí, při refaktorizaci XSD obor vypadl. Doplnil jsem. Pouze bych poprosil o informaci, zda potřebujete obor identifikovat fakultním kódem, či zda potřebujete i další infromace na tom závislé, tj. typ studijního programu, studijní program a první a eventuelně druhý obor (v případě Vaší fakulty dvouoborová studia neexistují, ale obecně ano) dle MŠMT.

H.M.Rozhodujici je kod studijni povinnosti, kterou ma student zapsanou. Na 1. LF ma kazdy obor sve kody predmetu.
Priklad:
kod B01150 je Patologicka fyziologie 1 pro zubni lekarstvi
kod B00050 je Patologicka fyziologie 1 pro vseobecne lekarstvi
kod B01463 je Patologie a patologicka fyziologie 1 pro ergoterapii
kod B01528 je Patologie a patologicka fyziologie 1 pro fyzioterapii
kod B01490 je Patologie a patologicka fyziologie 1 pro osetrovatelstvi
Predmety s kodem zacinajicim B….. jsou vzdy predmety 1. LF, aspon doufam.
M.J. Fakulta je jednoznačně určena kódem předmětu, není ji nutné uvádět. Argumenty jsem již o semestr doplnil.

M.J. Doplnil jsem referenční integritu.

M.J. Zde šlo o překlep, kolekci jsem doplnil. Michal Josífko

upravit upravit ExaMe

Na EuroMisi provozují a podporují zkušební system ExaMe. http://soap.exame.cz/ Používají to např. na Dětské stomatologické klinice, 2. lékařské fakulty. Zmiňuje se datové propojení s databází na UK. Jitka Feberová.

upravit upravit OPUS SAPIENTIÆ

Elektronický testovací systém. (správa testových otázek) M.Makovník, J.Lysý, A.Thurzo http://www.elcoms.sk/demo/kega/sk/login/oficialne-testy http://www.elcoms.sk/demo/kega/sk/

upravit upravit Popis systému

Opus Sapientae je inteligentní on-line testovací systém, který pro tvorbu obsahu používá „crowdsourcing“. Jedná se o zapojení studentů, ale obecněji komunity do tvorby otázek. Učitel to pak přefiltruje a opraví. Systém umí otázky promíchat a vytvřit unikátní testy ze stejného balíku otázek. Zatím jsou k dispozici dvě jazykové mutace Sk, En.

Celý článek: Soubor:Opus sapientae.pdf

upravit upravit Kontakt na autory

Lekárska fakulta Univerzity Komenského v Bratislave


upravit upravit TouchStone

Fórum:TouchStone
Touchstone je testovací SW vyvinutý na University of Nottingham. Je používán na mnoha institucích. Osobní zkušenost s tímto systémem má: dr. Jan Trnka (3.LF), dr. Mikuláš Mlček, ...

K dispozici je verze 4.0.1 (zdarma ke stažení), ale pracuje se na nové verzi 4.1, která vyjde v říjnu tohoto roku. Ta řeší několik problémů, které uživatelé identifikovali. Rozdíl je zejména v tom, že v nové verzi bude možné instalovat jazykové verze bez zásahu do kódu jádra.

Licencování: http://www.nottingham.ac.uk/nle/about/touchstone/licensing/licensing.html

Serverově Touchstone běží na systému Solaris nebo Linux s Apache.

upravit upravit Kontakty

upravit upravit Užitečné odkazy

Elektronické testování na MUNI: http://is.muni.cz/elportal/prezentace/24_04_2008/videa/e_tech_prispevek02.pl

Elektronické testování University of Nottingham,UK: http://www.nottingham.ac.uk/nle/about/touchstone/

upravit upravit Porovnání testovacích systémů

Fórum:Porovnání testovacích systémů

TouchStone OpusSapientae Questionmark
způsob licencování Open Source ? komerční
počet studentů neomezený ? 1000
kolaborativní příprava otázek Ano Ano ?
Osobní nástroje
Jmenné prostory
Varianty
Akce
Navigace
Portály
Vypracované otázky
Nástroje
Tisk a PDF