EDUin, respektive autor námětu tiskové zprávy Oldřich Botlík udělali ve srovnání podstatnou chybu, když tvrdili, že v roce 2013, byly písemné práce opravovány centrálně. Nebyly, centrální opravování zrušil novelou ministr Petr Fiala. Oldřich Botlík připraví pro srovnání nové podklady. Čtenářům České školy se omlouvám, že jsem při přebírání tiskové zprávy chybu přehlédl.
Návrh novely školského zákona, která vrací hodnocení písemných prací do škol, vyvolal podrážděné reakce centralistů. Oficiální data zveřejněná na stránce www.novamaturita.cz ovšem ukazují, že v případě slohových prací z češtiny je ministerský návrh oprávněný. Meziroční výkyvy podílu propadlíků jsou totiž při hodnocení ve školách přibližně třikrát menší než při hodnocení v centru. Hodnocení na školách je tedy předvídatelnější a lépe odolává vnějším tlakům. Naznačuje to jednoduchý rozbor propadovosti provedený Oldřichem Botlíkem, který se dlouhodobě věnuje měření výsledků vzdělávání.
Vnější tlak na změny v počtu úspěšných či neúspěšných maturantů je patrný při pohledu na počty propadnuvších maturantů v jednotlivých letech, a to v různých částech společné části maturitní zkoušky. V souvislosti s písemnými pracemi lze poukázat například na rok 2017: bylo žádoucí prokázat, že centrální hodnotitelé nezachraňují před propadnutím maturanty, jejichž práce byly „na hraně“.
Níže uvádíme tabulku týkající se písemných prací z češtiny. V centru (Cermat) se hodnotilo v roce 2013 a potom znovu v letech 2017 a 2018 (šedý podklad), ve školách v období 2014–2016. Největší rozdíl mezi procenty propadovosti vyprodukovanými centrem činil 1,33 %, zatímco hodnocení na školách mělo výkyvy jen do rozsahu 0,45 %, tedy takřka třikrát menší (3 × 0,45 = 1,35).
Je užitečné představit si, co to znamená v počtech žáků. Protože v období 2013–2018 se pořád měnily počty žáků, kteří písemnou práci psali, je v následující tabulce uveden přepočet na průměrný počet žáků za období 2013–2018, a to se stejnými procenty propadovosti. Průměr je větší než počty žáků v posledních čtyřech ročnících. Největší rozdíl mezi počty propadlíků vyprodukovaných centrem činil 886 žáků, zatímco hodnocení na školách mělo výkyvy jen do rozsahu 299 žáků. Což je zase přibližně třikrát méně.
Obhájci centrálního hodnocení písemných prací z českého jazyka se tedy ve skutečnosti přou o pouhých 587 žáků (886 – 299 = 587), kteří nepropadli. Chtějí totiž, aby takoví žáci v důsledku návratu hodnocení do centra propadali. Přitom i zdánlivě objektivní maturitní test (neboť většinu „hodnocení“ provádí počítač) nabízí případným manipulacím v centru mnohem větší prostor. Například na jaře 2017 provedly dosud neznámé osoby meziroční změnu hodnocení nejméně pěti testových úloh standardního formátu, v jejímž důsledku propadlo v testu 5 896 žáků. Bez této změny by jich v testu propadlo 10 275, což je o 4 379 žáků více. Změna byla provedena v úlohách, kde byla možná technicky, a vedla například k tomu, že náhodným tipováním bylo možné získat 1 bod s pravděpodobností 15/16. Tím mj. zcela popřela oficiální důvod zavedení tzv. částečně otevřených úloh, jímž bylo zabránit úspěchu při náhodném tipování. V úlohách bez nabídky, v nichž žáci tvoří odpověď sami, se totiž tipovat nedá.
Oldřich Botlík, iniciativa Maturitní data – odtajněno, řekl: „U hodnocení písemných prací z češtiny se vždy mluvilo jen o spravedlivosti hodnocení těch žáků, jimž hrozilo propadnutí. Pohled na oficiální data ovšem potvrdil, že argumenty, které pomohly prosadit návrat hodnocení do centra počínaje rokem 2017, byly zfalšované: rozdíl v počtech propadlíků totiž nestojí za řeč. Při hodnocení na školách zmizí nejen dodávání výsledků v posledních hodinách před ústní zkouškou. Zásadní změnou je především posílení odpovědnosti hodnotitelů: budou moci (a současně muset) svým žákům ukázat, které případné nedostatky jejich slohových prací vedly k horšímu hodnocení.
Bob Kartous, vedoucí analýzy a komunikace EDUin, řekl: „Opakovaně se ukazuje, že manipulace s hodnocením jednotlivých částí společné části maturit mají postupný cíl: nenápadně zvyšovat počet neúspěšných maturantů. Meziroční změny v hodnocení testů i v hodnocení písemných prací vedou v konečném důsledku k naplňování takového zadání. Samotný fakt narůstajícího počtu neúspěšných maturantů je poté naprosto diletantsky interpretován jako snižující se úroveň maturantů a je zneužíván k argumentaci pro zavádění dalších restrikcí, jako je cut-off score v přijímacích zkouškách na SŠ. Navrhovaná změna hodnotit písemné práce z českého jazyka ve školách může dílčím způsobem snížit tento uměle vyvolaný tlak a nespravedlnost, nicméně jde spíše o kosmetickou změnu. V případě maturitní zkoušky je nutné uvažovat o mnohem rozsáhlejších změnách, jak navrhujeme například v Auditu vzdělávacího systému v ČR.“
Zdroj: Tisková zpráva EDUin
Opravenou tiskovou zprávu naleznete zde
.png)
11 komentářů:
Josef Soukal řekl(a)...
Je těžké a lidsky nepříjemné reagovat na článek, v němž se suverénně tvrdí, že obhájci centrálního hodnocení cosi chtějí apod., aniž by to bylo podloženo čímkoli věcným, a který zamlčuje podstatné skutečnosti. V podstatě nejde o nic jiného než o snahu autora odvést pozornost od své vlastní motivace někoho a něco pošpinit. Stačí pohled do souhrnných výsledků maturitní zkoušky dostupných na stránkách Cermatu a snadno zjistíme, že ve skutečnosti centrální hodnocení především narovnává výraznou celkovou disproporci v hodnocení na různých typech škol. V zásadě platí, že čím mají žáci určitých typů škol celkově slabší výsledky, tím větší je snaha vylepšit tyto výsledky tam, kde je hodnocení právě v rukou škol. Údaje Cermatu - nejen ty o procentu úspěšných odvolání - a samotná organizace hodnocení (a revize hodnocení) dále ukazují, že centrální hodnocení mnohem účinněji chrání žáky před hodnocením nekvalitním. Některé doklady lze najít v Připomínkách ASČ k novele školského zákona.
Nejnovější maturitní výstupy O. Botlíka znovu ukazují, proč je nutné jakékoli jeho tvrzení přijímat s velkou rezervou. Bohužel právě takovéto manipulace dostávají mimořádný prostor v médiích a vytlačují skutečně věcnou a seriózní diskusi na maturitní téma.
Jak připomněl jinde kolega Stanzel, O. Botlík se bohužel plete i v tak elementární věci, jako je rok, kdy bylo poprvé zavedeno centrální hodnocení.
Podstatné také je, že hodnocení se od r. 2012 změnilo, takže má smysl srovnávat výsledky pouze z posledních let.
S opravováním písemných prací v roce 2013 je to zřejmě tak, jak píše V. Stanzel na jiném místě. Opravovaly se ve školách v důsledku novely školského zákona předložené ministrem Fialou. Neuvědomil jsem si, že její přijetí proběhlo tak rychle, aby mohla být účinná hned následující školní rok poté, co se ve státní maturitě objevily problémy, jež k jejímu předložení ministra vedly.
Chybu jsem udělal já a ačkoli text kontrolovalo několik dalších lidí, nikdo si jí nevšiml. Aniž bych se chtěl vymlouvat, je také důsledkem toho, že v agregovaných datech, z nichž jsem čerpal, není uvedena doprovodná informace o tom, kde se slohové práce opravovaly. Případně, pokud uvedena je, je obtížné je najít a já jsem ji nenašel. Je to důvod, proč třeba Infozákon požaduje, aby zveřejňovaná data takové informace obsahovala, neboť to přispívá ke snížení chyb v interpretacích.
Čtenářům se za chybnou interpretaci omlouvám. Nestává se mi to často, ačkoli jsem už z maturitních dat zpracoval a zveřejnil celou řadu poznatků, které pokládám za důležité.
Požádám EDUin, aby vydal opravu své tiskové zprávy. Nemám ovšem v tuto chvíli čas připravit pro ni podklady.
Pane Botlíku,
omlouvám se za stručnost, čtu to teď o přestávkách a mám ještě seminář:
chápu-li to tedy správně, tak po náležité interpretaci dat r. 2013 je celkový závěr právě opačný? Tj. rozpětí v hodnocení v centrálu je právě 0,5 %, kdežto na školách až 0,89 % (což je, abych parafrázoval, „téměř dvakrát více“;
a že rozpětí zprůměrovaně propadlých žáků v centru je 329, ale na školách 572, tudíž - rozumím tomu správně? -, že příznivci školního hodnocení vlastně nepřímo obhajují propadnutí 243 žáků, kteří by v centrálu propadnou nemuseli?
Děkuji za odpověď, případně korekci.
Pane Žytku, opravdu teď nemám čas se tím zabývat. Omlouvám se.
Není to myslím tak, jak píšete, a není to ani tak jednoduché. Podle mého původního předpokladu šlo o 3 hodnocení ve školách a 3 hodnocení v centru, tedy o stejný počet porovnávaných případů. Nyní (tj. ve skutečnosti) jsou to 4 hodnocení na školách a 2 v centru, což je při tak malých počtech případů značný problém.
Uvidíme už za dva měsíce, zda se neúspěšnost při třetím centrálním hodnocení vydala směrem "naznačeným" v letech 2017 a 2018 (čili vzrostla na cca 4 %), nebo stagnovala, případně dokonce poklesla.
Budu se tomu věnovat, ale nikoli dnes ani zítra.
V roce 2013 se práce opravovaly na školách skutečně proto, že ministr Fiala centrální hodnocení po velké chybovosti v roce 2012 zrušil.
Ministryně Valachová je bez výrazné veřejné debaty a přes protesty některých češtinářů opět zavedla.
Pane Botlíku, děkuji za prozatímní odpověď: je mi jasné, že z výsledků dvou let se statisticky relevantní řada asi udělat nedá - počkejme (si) tedy na jaro.
Tak tomu se říká střelit se do vlastní nohy vlastní kulovnicí.
Čili najednou máme argument úplně stejný, ale najednou ve prospěch kritizovaného typu hodnocení. A najednou centrální hodnotitelé dosahují stabilnějšího výsledku. Sakra, kde udělali soudruzi chybu? Že by při obkreslování prádelního hrnce?
Zajímalo by mne, zda stále platí ty patetické výkřiky: "Meziroční změny v hodnocení testů i v hodnocení písemných prací vedou v konečném důsledku k naplňování takového zadání." a "Pohled na oficiální data ovšem potvrdil, že argumenty, které pomohly prosadit návrat hodnocení do centra počínaje rokem 2017, byly zfalšované: rozdíl v počtech propadlíků totiž nestojí za řeč."
Pane Botlíku,
když odhlédnu od toho, že jste si nepohlídal základní fakta, stane se, tak je váš směr uvažovaní zcela pomýlený.
Vzít pouze údaj o propadovosti za celou populaci maturantů je pro tvorbu takovýchto závěrů naprostý nesmysl. Mimochodem, co je to za maturanty? Použil jste pro srovnání standardní vzorek, tedy minimálně maturanty v řádném termínu, lépe však provomaturanty? Nebo jste do toho zahrnul i žáky, kteří konali zkoušku opravnou, což by celé srovnání zpochybnilo kvůli problematické srovnatelnosti této populace v čase?.
Pro tvorbu závěrů o tom, zda je hodnocení písemných prací adekvátní, je třeba se podívat, jak to dopadá napříč oborovými skupinami a jakou má tudíž ta zkouška rozlišovací schopnost.
V období, kdy bylo hodnocení na školách, se míra propadovosti mezi oborovými skupinami lišila jen minimálně, takže byla velmi podobná na gymnáziích i kupříkladu na SOU netechnického zaměření či na nástavbách. Po zavedení centrálního hodnocení se najednou ukázalo, že to opravdu není tak, že žák na SOU napíše stejně kvalitní sloh jako gymnazista. Dává to smysl? Mně ano, ale já se při tvorbě názorů dívám na data, tvůrci novely zákona nikoli.
Jen doplním - nechci se už posmívat chybě, tu udělá každý. Hloupé je, když někdo vystupuje tak agresivně, arogantně, jako všeználek a mentor mentorů a pak udělá takovou botu. Dobrá, i to lze pochopit - chyby děláme všichni. Otázkou ale je, zda se z nich člověk poučí a jak.
Teď bych paradoxně mohl použít úplně stejnou argumentaci a obrátit ji proti hodnocení na školách. Uznají alespoň poté tvůrci těchto "argumentů vycucaných z dat", že ta argumentace je nesmyslná jako taková? Ono to totiž pak vyvolává podezření, že celá ta anticentralistická propaganda je čistě účelová - vezmeme si to, co se nám hodí (vyšťouráme něco vždycky) a to použijeme. Když se ale ukáže, že to platí přesně naopak, tak se to najednou nehodí do krámu a tak se ten argument, který se dříve hodil, zpochybní. Pan Botlík by se z této chyby měl poučit, protože zrovna pro něj, je přesně takováto chyba skutečně velikým darem z nebes.
Okomentovat