Česká škola: Antonín Mezera: Sonda Maturant´99

Budoucí státní maturita z pohledu analýzy testů Sondy Maturant´99. Položková analýza testů Sondy Maturant ´99 umožnila získání poměrně rozsáhlého množství detailních informací nejen o charakteristikách jednotlivých testových položek, ale zejména o aplikačních možnostech předmětových testů v podmínkách budoucí státní části maturitní zkoušky. Analýza zároveň umožnila konkretizovat základní předpoklady nezbytné k přípravě jednotlivých ověřovacích testů, které se vyznačují v oblasti matematiky a jazykových předmětů specifickými charakteristikami, jež je nezbytné při dalším vývoji testových metod respektovat. Protože se jedná o poměrně velmi rozsáhlý a detailní materiál, který například věnoval značnou pozornost jednotlivým testovým úlohám, jejich obtížnosti a diskriminační schopnosti jednotlivých ověřovacích testů, pokusíme se zde formulovat jen základní závěry platné pro celou Sondu Maturant´99, které postihují předcházející celostátní výzkum úrovně vědomostí a dovedností u žáků maturitních ročníků středních škol nejen v obecné rovině, ale i v rovině konkrétních poznatků vztahujících se k jednotlivým maturitním předmětům a předmětovým testům.

Příprava Sondy MATURANT 99

Za jeden z možných zdrojů chyb ohrožujících objektivitu budoucí státní části maturitních zkoušek lze považovat tisk univerzálních záznamových archů, které byly v rámci Sondy Maturant´99 standardně užity u všech předmětových testů, aniž by respektovaly počet testových úloh zařazených do testu a zejména počet možných variant řešení u jednotlivých testových položek. Přestože v převážné většině předmětových testů (kromě matematiky) byly použity testové úlohy s nucenou volbou jedné správné odpovědi ze čtyř možných variant řešení (A–B–C–D), byly všechny záznamové archy vytištěny ve standardním provedení s pěti možnými variantami řešení testové úlohy (A–B–C–D–E). V rámci položkové analýzy tak bylo možné registrovat celkem 2984 žáků, kteří zvolili v záznamovém archu vícekrát neexistující variantu řešení testové úlohy (E), aniž byla v testovém sešitu uvedena.
Tabulka 1
Počet žáků uvádějících neexistující variantu odpovědi (E) v jednotlivých předmětových testech
Český jazyk Anglický jazyk Německý jazyk Francouzský jazyk
Volba neexistující odpovědi (E) 1570 632 672 110
Takto vzniklé chyby byly zjevně způsobeny nejen nepozorností žáků, ale zejména skutečností, že jednotlivé záznamové archy přesně neodpovídaly celkovému počtu a formátu testových úloh, tj. zejména počtu jednotlivých variant řešení konkrétních testových položek. Výzkumy v oblasti psychologie testování trvale poukazují na skutečnost, že i drobné změny v testových podmínkách jsou schopny výrazným způsobem ovlivnit výkon žáků i hodnocení jejich výsledků.
Administrace předmětových testů
V případě úplné a zejména redukované varianty testu z matematiky byl test v prvním a v druhém termínu administrován u výrazně odlišného souboru žáků, než předpokládaly autorské týmy při tvorbě testů. Důsledkem těchto organizačních změn byly zjevně horší testové výsledky, kterých dosahovali zejména žáci středních škol, kteří v průběhu studijní přípravy absolvovali výuku matematiky s nižší než 12 hodinovou časovou dotací.

Zpracování a hodnocení výsledků

Ryze metodologickým problémem je zařazování nevyplněných záznamových archů do databáze výsledků v průběhu pořizování datových souborů. Tito žáci se sice testování fyzicky zúčastnili, ale v průběhu vlastní administrace neprovedli do záznamového archu ani u jediné testové úlohy záznam některé z variant možného řešení. Tento jev byl zaznamenán zejména v průběhu druhého termínu testování, jenž byl provázen podstatně vyšším procentem maturantů, kteří odevzdali nevyplněné záznamové archy.
Přestože testování předcházela poměrně rozsáhlá přípravná fáze, byly v rámci položkové analýzy výsledků prvého a zejména druhého termínu testování zaznamenány četné chyby vzniklé při zpracování datových souborů. Za nejzávažnější chybu při zpracování dat lze považovat záměnu mutací testu, která byla zjištěna u minimálně 30 % žáků v druhém termínu testování. Vzhledem k rozsahu takto identifikovaných chyb nebylo vůbec možné provést položkovou analýzu všech testů zadávaných v druhém termínu testování. Po nalezení uvedené chyby v datech z druhého termínu testování byly namátkově zkontrolovány datové soubory z prvního termínu testování, u nichž byla nalezena stejná chyba, ovšem v daleko menším rozsahu řádově několika desítek žáků (cca 0,1 – 0,15% respondentů).
Skutečnost, že nebylo možné provést položkovou analýzu výsledků všech žáků, kteří se zúčastnili Sondy Maturant´99, lze považovat za nejzávažnější nedostatek uvedeného celostátního šetření. Z těchto důvodů nebylo možné provést srovnání jednotlivých předmětových testů administrovaných v prvém a druhém termínu testování a došlo ke ztrátě mnoha cenných údajů, z nichž by bylo možné vyvozovat velmi důležité závěry vztahující se k opravnému termínu státní maturitní zkoušky.

Předmětové testy

Mezi jednotlivými mutacemi předmětových testů lze zaznamenat jen velmi nepatrné výkyvy testové reliability (spolehlivosti). Relativně vyšší rozdíly testové reliability jsou patrné mezi jednotlivými testy, které byly použity v rámci letošní sondy a sondy Maturant´98 – 97. Ke zvýšení spolehlivosti došlo v případě testů z českého jazyka a literatury a redukované verze testu z matematiky. Naopak u anglického a německého jazyka došlo k mírnému poklesu testové reliability.

Hlavním cílem při zjišťování spolehlivosti testu je ovšem nejen stanovení vnitřní konzistence, ale i identifikace dalších standardních chyb měření. Specifika pedagogického měření či testování výsledků vzdělávání žáků jsou poněkud odlišná od požadavků, které jsou kladeny na psychometricky koncipované rozlišovací testy. V případě předmětových testů není kladen tak značný důraz na diskriminační schopnost testových úloh jako spíše na diskriminační schopnost celého ověřovacího testu1). Obdobný názor je i na spolehlivost testů výsledků výuky, jejichž výše je základním kritériem kvalitního srovnávacího testu, zatímco v případě testu ověřovacího tento požadavek zdaleka neplatí. Zde je naproti tomu kladen důraz na testování jednotlivých přesně vymezených kompetencí žáků, přičemž jednotlivé úlohy nemají tak zásadní význam jako tematické celky nebo skupiny jednotlivých kompetencí žáků. V tomto smyslu je nutné zdůraznit, že větší akcent by měl být v následujícím období kladen spíše na syntetické než analytické aspekty testování, neboť dilema spočívá daleko více v přesném vymezení kritérií úspěšného testového výkonu a ve způsobech hodnocení a interpretace celého testu.

Z dlouhodobého systémového hlediska se jeví jako velmi rizikové, aby minimální kritické hodnoty testového výkonu žáků určující, zda kandidát maturitní zkoušky v testu uspěl, byly stanovovány zadavatelem nebo organizátorem sondy bez spolupráce se zpracovatelem maturitních testů a vymezovány bez přímé účasti autorského týmu, který maturitní test zpracoval. Systém hodnocení testových výsledků je bezpochyby integrální součástí vývoje testové metody tím spíše, že standardní skóre žáka nevyjadřuje v případě maturitních testů jeho individuální míru osvojení vědomostí a dovedností ve vztahu k celé populaci maturujících žáků2), ale míru úspěšnosti k předem stanovenému souboru evaluačních kritérií, na kterých je konstrukce maturitního ověřovacího testu vždy založena.

Z výsledků položkové analýzy lze vyvozovat některé závěry, které jsou obecně platné pro vývoj všech maturitních testů:
- V přípravné fázi tvorby dalších ověřovacích testů by měly být z databanky úloh vyřazovány zejména testové položky, při jejichž řešení vykazují žáci nižší než 30 % úspěšnost. Na druhé straně nelze do ověřovacího testu zařazovat pouze velmi snadné úlohy s úspěšností řešení přesahující 80 %, neboť při konstrukci ověřovacího testu by bylo nezbytné použít velké množství velmi snadných úloh, které by na druhé straně snížily efektivitu testování, a test by kladl velké nároky na psychickou odolnost žáků.
- Odhad obtížnosti testových úloh nelze založit pouze na expertních odhadech nebo pilotáži testových položek, ale soubory úloh by měly být konzultovány se samotnými žáky, kteří jejich obtížnost často vnímají naprosto odlišným způsobem. Tento postup ovšem vyžaduje dostatek času na přípravu jednotlivých předmětových testů.
Domníváme se, že metoda statistického odhadu náhodného hádání odpovědí žáků, kterou byla stanovena „kritická minimální hranice“ úspěšnosti v testech Sondy Maturant´99, nebyla pro účely tohoto šetření zvolena šťastně. Tato metoda stanovuje minimální hranice výkonu bez ohledu na celkové výsledky a nepřihlíží ani k výsledkům položkové analýzy (např. k obtížnosti jednotlivých předmětových testů). V rámci budoucích státních maturitních testů by měly být užívány adekvátnější metody pro stanovení hranice minimálního testového výkonu kandidáta při písemné maturitní zkoušce (např. metody lineární transformace, metody Angoffovy, Nedelského, Ebela apod.), které by reflektovaly náročnost maturitních úloh a další specifické vlastnosti předmětových testů.
Český jazyk
Za relativně málo problematický lze považovat test z českého jazyka, neboť trvale vykazuje nejmenší rozdíly ve výsledcích žáků jednotlivých středních škol. Spolehlivost testu je natolik vysoká, že umožňuje jeho užití v rámci státní části maturitní zkoušky.
Závažnou a zatím otevřenou otázkou zůstává zařazení volitelných úloh do testu. Pro jejich zařazení mluví několik pozitivních faktorů:
- Test reaguje na velké množství vzdělávacích programů jednotlivých středních škol; pro žáka se tak snižuje riziko, že se během studia nesetkal s učivem, jehož znalost je v testu vyžadována a ověřována.
  - Volitelnost úloh pozitivně působí na psychický stav žáků3), kteří mají možnost volby jednotlivých úloh, což zvyšuje jejich motivaci a kreativitu.
Na druhé straně některá zjištění, vyplývající z položkové analýzy testových dat, dokumentují nevhodnost zařazení volitelných úloh:
- Z provedených analýz výsledků testu z českého jazyka vyplývá, že 14,9% žáků nedodrželo při výběru volitelných úloh testovou instrukci zpracovatele testu. Není zřejmé, zda ji někteří žáci úmyslně nerespektovali nebo ji nepochopili či ve stresové situaci úplně přehlédli. V absolutních hodnotách se jedná o více než 15 000 žáků, kteří porušili stanovená pravidla pro výběr volitelných úloh. Srozumitelnost testu a testových instrukcí ovšem patří mezi základní požadavky, které maturitní test musí splňovat a které jsou zjištěnými výsledky zjevně relativizovány.
  - U volitelných úloh působí komplikace následná analýza jednotlivých položek a interpretace výsledků, protože vzorky žáků nejsou vzájemně srovnatelné. Problémy vznikají již při konstrukci testu (při pilotáži, při odhadu statistických parametrů testu, jako je například testová spolehlivost). Jedná se však o problémy zpracovatele testu, které by se neměly projevit při hodnocení výkonu žáka.
Matematika
Výsledky získané z redukované verze testu z matematiky naznačují, že rozdíly mezi jednotlivými typy středních odborných škol jsou doposud značné. Pokud by státní část maturitní zkoušky byla svým charakterem blízká testům Sondy Maturant ´99, byla by nesporně velmi obtížná pro některé žáky středních odborných škol a příliš snadná pro kandidáty s gymnaziálním zaměřením studijní přípravy.
Jako trvale velmi problematický se jeví test z matematiky, který je určen žákům středních škol, u nichž časová dotace nedosahuje požadovaného minimálního rozsahu 12 hodin výuky matematiky v průběhu středoškolského studia. Z toho důvodu bude struktura redukované verze testu z matematiky vždy fragmentárním a velmi nehomogenním kompromisem, který umožní zařadit do testu jen velmi omezený počet tematických celků. Ověřovací test tohoto typu vykazuje nejen vysoké procento neúspěšných žáků, ale i výrazné rozdíly ve výsledcích jednotlivých typů středních škol. Testové úlohy zařazené do redukované verze testu vykazovaly trvale nízké diskriminační hodnoty a celkový test byl charakterizován velmi variabilní nebo nízkou spolehlivostí, která výrazně problematizuje jeho případné použití ve státní části maturitní zkoušky. Skutečnost, že tento test vykazuje největší rozdíly mezi jednotlivými typy středních škol, je způsobena nejen rozdíly ve vědomostech a dovednostech žáků, ale zejména výraznou diskrepancí v časové dotaci, která je věnována výuce matematiky zejména na některých typech středních odborných škol. Z obsahového hlediska zůstává trvale problematická volba omezeného počtu tematických celků, která současně limituje podíl testových úloh zaměřených na aplikační kompetence žáků v oblasti matematiky. Přizpůsobení testu úrovni matematických dovedností žáků některých středních odborných škol, kde se vyučuje matematika většinou pouze prvé dva roky studijní přípravy, zcela zákonitě povede k výraznému okleštění spektra použitelných tematických celků4), jejichž rozsah bude natolik úzký, že způsobí výrazné snížení testové validity5). Redukovaná verze testu z matematiky pro žáky středních škol s velmi omezeným počtem testových úloh (cca 20) neumožňuje nejen dostatečně kvalitní obsahovou analýzu středoškolského učiva, ale ani dosažení odpovídající spolehlivosti testu v čase mezi jednotlivými zkouškovými termíny.
Úplná verze testu z matematiky vykazovala nesporně vyšší míru obsahové validity právě vzhledem k vyššímu počtu testových úloh a možnosti zařazení většího spektra tematických celků do maturitního ověřovacího testu. Spolehlivost testu z matematiky oproti ostatním jazykovým testům vykazuje stále nejnižší míru testové reliability (pod hranicí 0,9), což naznačuje, že zkouška by měla být rozšířena o větší počet testových úloh koncipovaných na dvou úrovních matematických kompetencí žáků středních škol. Ze získaných poznatků lze pak vyvozovat závěr, že dva variantní testy z matematiky (redukovaná a úplná verze) by měly být nahrazeny pouze jedním předmětovým testem.
Obdobně jako v případě testu z českého jazyka je i u testu z matematiky nutné analyzovat důvody a vhodnost zařazení volitelných úloh do testu. V mnoha případech v rámci Sondy Maturant´99 došlo ze strany žáků k patrnému překročení stanoveného počtu volitelných úloh v testu z matematiky a českého jazyka, což by mohlo být ve státní části maturitní zkoušky příčinou výrazného zkreslení testových výsledků. Zařazení volitelných úloh je proto velmi problematické, protože může podstatně ovlivnit obsahovou strukturu předmětového testu a způsobuje značné problémy při interpretaci úspěšnosti jednotlivých testových úloh a celkových výsledků žáků.

Anglický a německý jazyk

V jazykových testech z angličtiny a němčiny lze obdobně jako při předchozí sondě zaznamenat největší rozdíly mezi žáky gymnázií a ostatních středních odborných škol, přestože testy vykazují velmi vysokou spolehlivost. Diskrepance testových výsledků jsou mezi těmito dvěma základními skupinami respondentů ovlivněny zjevnými rozdíly ve znalostech maturantů a nelze je při zachování validity testu jinou konstrukcí testu potlačit. Vzhledem k jejich velmi dobré vnitřní konzistenci nelze očekávat, že by odlišná struktura jazykových testů výrazným způsobem usnadnila sblížení testového výkonu žáků středních všeobecně vzdělávacích a odborných škol. V případě užití testových úloh s otevřenou odpovědí, které budou klást důraz na produktivní jazykové kompetence žáků, se tyto rozdíly ještě více zvýrazní.

V budoucnu je nutno při konstrukci testu z němčiny počítat ze skutečností, že test z němčiny bude ve srovnání s angličtinou při stejné obtížnosti úloh vykazovat vždy poněkud nižší reálné hodnoty úspěšnosti než srovnatelný test z angličtiny. I v budoucnu lze totiž předpokládat, že při volbě cizího jazyka na ZŠ bude obecně preferován anglický jazyk, tj. v praxi budou angličtinu i v budoucnu volit žáci s lepšími studijními výsledky. Důsledkem je pak větší procentuální zastoupení žáků studujících německý jazyk mezi žáky SOU a méně výrazně i SOŠ ve srovnání s anglickým jazykem.

Přínosem sondy byla nesporně možnost modelově odzkoušet, jak „funguje“ arbitrární stanovení minimální hranice testového výkonu žáků a především pak zjištění, že by předložený ověřovací test z němčiny „obstál“ v podmínkách státní maturity z hlediska zvoleného typu testu, nastavené obtížnosti i hraniční hodnoty. Je nesporné, že v případě některých typů SOU je nutné počítat s koncentrovanou neúspěšností žáků v jazykovém testu, přestože test byl koncipován jako ověřovací, neobsahoval úlohy s převážně vysokou diskriminační schopností, a tak vytvářel poměrně dobré předpoklady možného úspěchu právě u slabších žáků. Není reálné si nalhávat, že nějakými případnými dalšími změnami v konstrukci testu či volbě úloh by mohlo být dosaženo výrazně lepších výsledků. Francouzský jazyk

Největší problém, který byl během položkové analýzy zaznamenán, se týkal špatně zaznamenaných správných odpovědí. Tato skutečnost pak znamenala, že žákům středních škol byly omylem započítány jako správné odpovědi ty, které byly ve skutečnosti chybné. Tím došlo ke zkreslení celkových výsledků. Tento problém tak upozornil na nutnost důkladné kontroly skutečně správných odpovědí a jejich bezchybné zaznamenání ze strany zpracovatele testu. Chyby v tomto procesu mohou velmi negativně ovlivnit vyhodnocování výsledků testu i jednotlivých žáků. V testech často rozhoduje jeden bod o tom, zda žák překročí kritickou hranici minimálního testového výkonu a v testu uspěje. Pokud je u celkem 6 úloh započítána místo správné odpovědi odpověď špatná, hrozí v krajním případě riziko, že by test nesložil ani žák, který ve skutečnosti překročil mezní hranici o pět bodů. V reálných maturitních testech by pak taková chyba mohla vést k závažným důsledkům.
Druhým problémem je konstrukce jednotlivých záměrně chybných odpovědí (distraktorů). V testu byly často použity distraktory jednak zcela nepravděpodobné (bez jakékoli logické či formální vazby k otázce), stejně jako tvary či větné struktury v jazyce neexistující. Pro volbu distraktorů je proto v budoucnosti nutné důkladně uvážit jejich použití, popřípadě ověřit jejich funkčnost v pilotážích a při pre-testu redundantní verze.
Vysokou úspěšnost žáků v testu z francouzského jazyka lze přičítat buď skutečně dobrým znalostem žáků, nebo příliš nízké náročnosti testu. Ve srovnání z anglickým a německým jazykem test absolvoval výrazně nižší počet žáků, u kterých byla zaznamenána i vyšší míra jejich motivace. Francouzský jazyk stále ještě nepatří mezi ty, které mají své stálé místo na všech typech středních škol a nevolili si jej, ve srovnání s ostatními jazyky, tolik žáci, kteří z něj následně nematurovali. Soubor byl tvořen jak vysokým podílem maturantů (83,5%), tak i žáků gymnázií (54,7%).

Výsledky položkové analýzy a dosavadní zkušenosti z předchozí Sondy Maturant 97 – 98 naznačují nevhodnost užití srovnávacích (rozlišovacích) testů v rámci státní části maturitních zkoušek, neboť jednoznačně nevedou ke stanovení očekávané úrovně maturantů, která by měla odpovídat cílovému standardu všeobecného a odborného vzdělávání žáků středních škol. Vedle vývoje kvalitních ověřovacích testů je jednou ze stěžejních otázek certifikačního procesu problém klasifikace kandidátů státní části maturitní zkoušky do dvou základních skupin – (a) žáků, kteří v ověřovacím předmětovém testu prospěli, a (b) žáků, kteří ve státní části maturitní zkoušky neprospěli. Na základě zkušeností získaných v průběhu Sondy Maturant´99 se domníváme, že nejvhodnější metodou pro určení úspěšnosti žáků v předmětových maturitních testech je metoda stanovení minimálního testového výkonu kandidáta v ověřovacím testu, která je založena na dosavadních zahraničních zkušenostech. Odvozování vyšší úrovně kompetencí od minimálního testového výkonu odpovídajícího základní úrovni považujeme za velmi rizikové. Stanovení minimálního testového výkonu pro základní úroveň bude nesporně předmětem řady kompromisů, které mohou zcela zákonitě vést i ke snížení požadavků na žáky, kteří jsou schopni absolvovat maturitní testy na vyšší úrovni náročnosti. Vlastní průběh státní části maturitní zkoušky bude bezesporu probíhat za podmínek zvýšeného stresu žáků, neboť dosažené výsledky mohou významným způsobem ovlivnit jejich celkové maturitní hodnocení. Z tohoto důvodu by měly být minimalizovány interferující vlivy, které navozují podmínky možného neúspěchu žáků v průběhu vlastního testování. V tomto směru se jeví jako nezbytné, aby v průběhu budoucí státní části maturitních zkoušek použité záznamové archy přesně odpovídaly formátu a struktuře všech užitých předmětových testů.

Z výsledků položkové analýzy lze odvodit dva potenciální modely státní části maturitní zkoušky:

Charakter vědomostí a dovedností v oblasti mateřského jazyka, cizích jazyků a matematiky umožňuje v rámci státní části maturitní zkoušky volbu jednovariantního testového modelu. Volba tohoto modelu umožňuje v rámci státní části maturitní zkoušky stanovení dvou separátních hraničních hodnot minimálního testového výkonu pro základní a vyšší úroveň jazykových kompetencí žáků. V jednotném testu ovšem nelze ve větší míře použít testové úlohy, které ověřují produktivní jazykové dovednosti maturujících žáků6), které by mohly být na druhé straně stejně tak součástí školní části maturitní zkoušky.
Vzhledem k výsledkům položkové analýzy je však opodstatněné zvážit i případnou volbu dvouvariantního testového modelu, kdy by kandidát maturitní zkoušky byl povinen prokázat základní úroveň vědomostí a dovedností v těchto povinných maturitních předmětech a v druhé části maturitní zkoušky by měl mít možnost nepovinně absolvovat další část zkoušky, jejímž cílem by bylo ověření jeho matematických a jazykových vědomostí a dovedností na vyšší úrovni náročnosti. V „nástavbovém“ testu by bylo možné ve větší míře uplatnit testové úlohy produktivního typu, zatímco v testu základní úrovně lze použít výhradně testové úlohy s volbou jedné správné odpovědi.

Antonín Mezera