Scio.cz: Jak se dělají testy a co je položková analýza - stručný úvod

středa 8. června 2011 ·

Možná budete překvapeni, kolik se toho musí udělat, má-li být vyvinut skutečně kvalitní - profesionálně sestavený test.

Při jeho tvorbě je třeba dodržovat jasně stanovený „Postup při vývoji testů“. Důležitou součástí testu jsou jeho statistiky. Tvůrci mají k dispozici nástroje na měření kvality testu i jeho jednotlivých úloh. Nejdůležitější veličiny, které je třeba hlídat, jsou popsány níže.

Podrobné informace k danému testu z ČJ včetně statistik jsou zveřejněny ve spodní části stránky.

Položková analýza: Ukázky z testu z Českého jazyka včetně statistik a komentářů statistik k vybraným úlohám můžete nalézt zde.

Statistiky testu / testových položek

U testu a testových položek sledujeme několik základních statistik – úspěšnost (čistou a hrubou), diskriminaci. U testu pak dále ještě reliabilitu.

Diskriminace a čistá a hrubá úspěšnost jsou statistiky, které se primárně zjišťují u jednotlivých testových položek. Analogicky je možné je dále dopočítat pro celý test. Reliabilita se zjišťuje pro test jako celek.
Hrubá úspěšnost
Na úrovni položky je počítána jako podíl počtu uchazečů, kteří odpověděli na danou testovou položku správně k počtu všech uchazečů, kteří test absolvovali. Analogicky je počítána hrubá úspěšnost pro test – jde pouze o rozšíření na všechny otázky v testu – tj. jde o podíl počtu všech správně zodpovězených otázek všemi uchazeči k celkovému počtu otázek, které tito uchazeči v testu měli (celkový počet otázek = počet otázek v testu * počet uchazečů). Hodnoty hrubé úspěšnosti jsou v intervalu 0 až 1. Hrubá úspěšnost testu by se měla pohybovat kolem hodnoty 0,5, tj. test by s ohledem na normalitu rozdělení bodů uchazečů neměl být ani příliš lehký, ani příliš těžký.
Čistá úspěšnost
Na úrovni položky jde o podíl počtu získaných bodů všemi uchazeči v dané položce k počtu bodů, které mohli tito uchazeči souhrnně za položku získat (tj. (max. počet bodů, který je možné za správnou odpověď získat) * (počet uchazečů)). Na úrovni testu jde o poměr počtu získaných bodů všemi uchazeči k maximálnímu počtu bodů, kterého může být v testu těmito uchazeči dosaženo (maximální počet bodů = (max. bodů, které je možné v testu získat) * počet uchazečů). V případě, kdy je za špatnou odpověď část bodu odečtena, může čistá úspěšnost nabývat i záporných hodnot. V případě, kdy je správná odpověď na testovou položku hodnocena jedním bodem a špatná odpověď 0 body, nabývá čistá úspěšnost stejných hodnot jako hrubá úspěšnost.
Diskriminace
Je číselně vyjádřená schopnost položky, resp. testu rozlišovat mezi úspěšnými a neúspěšnými uchazeči. Tj. na úrovni položky se hodnotí, zda celkově úspěšní řešitelé testu (počítáno jako skupina 27 % nejlepších účastníků), odpovídali na konkrétní položku správně a naopak skupina nejhorších řešitelů (27 %) odpovídala na tutéž položku špatně. Čím více je skupina nejlepších a nejhorších řešitelů na úrovni položky podobnější těmto skupinám z hlediska celého testu, tím větší je diskriminační schopnost položky. Diskriminace za celý test je tedy souhrnem za všechny položky v testu. Diskriminace nabývá hodnot v intervalu 0 až 1. Za dobrou hodnotu je považována diskriminace v okolí hodnoty 0,4.
Reliabilita testu
Reliabilita je vlastností testu, která hodnotí náhodnost výsledků v testování – jde tak v podstatě o jeho spolehlivost. Jde teoreticky o hodnotu korelačního koeficientu mezi opakovaným provedením stejného nebo podobného testu za stejných podmínek. Ačkoli korelační koeficient nabývá hodnot od −1 do 1, reliabilita je číslo, které v praxi bývá mezi 0 a 1.

Pokud opakované testování stejných uchazečů za pomoci stejného testu není možné (většinou není), je hodnota reliability aproximována s využitím některého ze vztahů KR-20 (Kruder-Richardson Formula 20), nebo s pomocí v současnosti zřejmě nejpoužívanějšího Cronbach´s alpha (Cronbachovo alfa). KR-20 je koeficient používaný v případě, kdy odpověď na otázku je dichotomickou proměnnou, tj. otázka typu správně – špatně. Cronbachovo alfa je tak v podstatě pouze rozšířením KR-20.

Za velmi dobrou je považována hodnota reliability nad 0,8. Případ, kdy reliabilita nabývá hodnoty 1 (tj. výsledky uchazečů v testu nejsou ovlivněny náhodou vůbec) je v praxi nereálný.

Test z ČJ projektu Vektor

Tento test byl určen pro testování v projektu Vektor. V tomto projektu se testují žáci středních škol ze 12 předmětů včetně ČJ v prvním ročníku při nástupu na SŠ a o tři roky později ti samí žáci ve čtvrtém ročníku (Vektor Modul 4) před ukončením SŠ, a porovnává se u jednotlivých testů, jak hodně se který žák, třída či škola zlepšila za tyto tři roky vzhledem k ostatním. Více informací k projektu můžete nalézt zde.

Tento test z ČJ řešili žáci SŠ v termínu 15. září - 15. října 2010 v rámci projektu Vektor. Reliabilita tohoto testu byla 0,708.

Převzato s laskavým souhlasem z webu společnosti Scio.cz.

1 komentářů:

Anonymní řekl(a)...
9. června 2011 v 11:41  

Překvapen nejsem, testy a testováním se zabývala moje diplomka v 80. letech. Jen přibyla nová jména (Kruder, Richardson, Cronbach) a novější pojmosloví. Co se pracně počítalo ručně, zvládají dnes počítače. Kdy a kde se ale dočteme o reliabilitě maturitních testů???

Články dle data



Učitelské listy

Nabídka práce

Česká škola - portál pro ZŠ a SŠ

Česká škola poskytuje svým čtenářům diskusní prostor k vyjádření názorů na školskou problematiku. Tyto příspěvky se nemusí shodovat se stanoviskem redakce České školy a jsou uveřejňovány jako podnět k dalším diskusím.

Obsah článků nemusí vyjadřovat stanovisko redakce nebo vydavatele Albatros Media, a.s.


Všechna práva vyhrazena.

Tento server dodržuje právní předpisy
o ochraně osobních údajů.

ISSN 1213-6018




Licence Creative Commons

Obsah podléhá licenci Creative Commons Uveďte autora-Neužívejte dílo komerčně-Nezasahujte do díla 3.0 Česká republika, pokud není uvedeno jinak nebo nejde-li o tiskové zprávy.



WebArchiv - archiv českého webu



Tyto webové stránky používají k poskytování služeb, personalizaci reklam a analýze návštěvnosti soubory cookie. Informace o tom, jak tyto webové stránky používáte, jsou sdíleny se společností Google. Používáním těchto webových stránek souhlasíte s použitím souborů cookie.