Oldřich Botlík: Opravené podklady pro tiskovou zprávu k hodnocení maturitních prací (Za svými slovy si i nadále stojím)

čtvrtek 14. března 2019 ·

V podkladech pro tiskovou zprávu EDUinu vydanou dne 11. března 2019 s titulkem Analýza propadovosti – Hodnotitelé na školách dosahují stabilnějšího výsledku jsem se dopustil chyby, za kterou se čtenářům ještě jednou omlouvám. Spočívala v tom, že jsem hodnocení písemných prací z češtiny, které žáci psali v roce 2013 jako součást společné části maturitní zkoušky, zahrnul pod centrální hodnocení organizované Cermatem, ačkoli práce byly tehdy hodnoceny na školách. Zdrojová data jsem proto přepočítal. Jaké jsou tedy správné číselné výsledky téže jednoduché analýzy? Budou-li interpretovány stejně jako poprvé, co z původní tiskové zprávy už neplatí? A co naopak platí i nadále?


Oldřich Botlík (eduin.cz)
1. Počty hodnocení na školách a v Centru se změnily ze 3 a 3 na 4 a 2

Původně stejné počty se tedy změnily na nepoměr, v němž srovnávání přestalo být korektní. U čtyř hodnocení totiž existuje ze zřejmých důvodů více příležitostí, aby maximální výkyv mezi jejich výsledky byl větší než u hodnocení dvou – zde například kvůli třikrát delšímu časovému rozpětí.

2. Jaké jsou nové hodnoty maximálních výkyvů ve výsledcích hodnocení?

Největší výkyv propadovosti při hodnocení na školách je mezi začátkem a koncem čtyřletého období 2013–2016 a činí 0,86 procentního bodu. Rozdíl mezi oběma hodnotami propadovosti centrálního hodnocení za období 2017–2018 činí 0,50 procentního bodu. Po přepočtu velikosti těchto maximálních výkyvů na průměrný počet 66 693 žáků za sledované období 2013–2018 to znamená maximální výkyv 572 propadlíků při školním hodnocení a maximální výkyv 329 propadlíků při hodnocení centrálním.

3. Důsledky pro titulek tiskové zprávy

Čistě technicky z toho vyplývá, že informace „Hodnotitelé na školách dosahují stabilnějšího výsledku“ není pravdivá. Korektnější srovnání ovšem bude možné už po letošním jarním kole. Přál bych maturantům, aby naznačený „trend“ meziročního nárůstu propadovosti při centrálním hodnocení nepokračoval. Bude-li však pokračovat, informace „Hodnotitelé na školách dosahují stabilnějšího výsledku“ jako interpretace těchto jednoduchých dat už za dva měsíce zase pravdivá bude. Rozdíl v propadovosti za tři ročníky by totiž činil 1,00 procentního bodu, a byl by tedy větší než maximální výkyv 0,86 procentního bodu zjištěný u čtyř ročníků hodnocení na školách.

4. Důsledky pro argumentaci, že spory kvůli počtům propadlíků jsou absurdní

Zatímco původní rozdíl mezi počty propadlíků, které odpovídají maximálním výkyvům, činil 587 žáků, nyní činí pouze 243 žáků (572 – 329 = 243). Ukazuje se tedy, že zmíněné spory jsou z tohoto hlediska ještě výrazně absurdnější. Tento hlavní argument tiskové zprávy proto získal na síle.

5. Tatáž argumentace vyjádřená jinými slovy

Protože jsem z komentářů pod tiskovou zprávou nabyl dojmu, že některým diskutujícím unikla podstata argumentace, dovolím si ji vysvětlit podrobněji.

Pokud je mi známo, neexistují žádné veřejně dostupné informace o dvojím nezávislém hodnocení reprezentativních vzorků písemných prací, které by umožnily korektně srovnat výsledky práce hodnotitelů na školách s výsledky práce centrálních hodnotitelů. Provedení takových hodnocení jsem v minulosti několikrát navrhoval, ale marně. Ukazatele typu „počet propadlíků“, případně „počet podaných odvolání“ jsou totiž jen velmi dílčí (například odvolání může podat každý maturant – důležité je, kolika odvoláním je nakonec vyhověno a z jakých důvodů). Počty propadnuvších prvomaturantů jsou nicméně veřejně dostupné v souvislé časové řadě a – upřímně řečeno – hodně žáků zajímá hlavně to, aby nepropadli.

Na jediné mně známé dvojí hodnocení vzorku písemných prací, jež ovšem pokládám za nekorektní, se odvolávala důvodová zpráva k novele školského zákona, kterou se s účinností od jara 2017 vrátilo hodnocení písemných prací do Centra. Tisková zpráva citovala má slova, jimiž jsem použitý argument označil za zfalšovaný. Odkaz na důvody, které pro to mám, je uveden na konci. Z dnešního pohledu je pak možné dodat, že argument byl vyvrácen rovněž samotným návratem k centrálnímu hodnocení v roce 2017.

Tisková zpráva srovnávala rozdíl mezi maximálními výkyvy centrálního a školního hodnocení, který se zmenšil a po opravě činí pouhých 242 žáků. Centralisté volají po větším počtu propadlíků, který pokládají za přiměřenější úrovni některých písemných prací, s nimiž se při centrálním hodnocení setkávají. Absurditu sporů mezi centralisty a decentralisty spatřovala tisková zpráva v tom, že ve zdánlivě objektivním maturitním testu z češtiny jde o řádově větší výkyvy. Například v roce 2017 upravily dosud neznámé osoby bodování nejméně pěti uzavřených úloh. Podle tehdejšího ředitele Cermatu neexistují pro bodování úloh žádná pravidla. Cermat přitom zjevně nedodržuje ani zadání ministerstva školství, které požaduje meziročně srovnatelnou náročnost maturitního testu. Lze se o tom snadno přesvědčit v oficiálních analýzách výsledků maturitní zkoušky. Zmíněná úprava vedla ke změně v počtu propadlíků o 4 379 žáků. To je – po přepočtu na stejné počty maturujících žáků – dvacetkrát (!) více, než činí rozdíl ve výkyvech hodnocení písemných prací, o který se přou centralisté s decentralisty.

Za svými slovy citovanými na konci tiskové zprávy EDUinu z 11. března 2019 si proto i nadále stojím.

------------------------------------------------------------------------------------------------------------------------ Odůvodnění, proč nebyla oficiální argumentace pro návrat k centrálnímu hodnocení korektní, naleznete například zde
Tisková zpráva tehdejšího ředitele Cermatu, v níž konstatoval, že pro bodování testových úloh neexistují žádná pravidla, byla zveřejněna zde
Oficiální grafy trendů vývoje výsledků maturitních testů z češtiny jsou na straně 12 analytického materiálu uveřejněného zde

Původní tiskovou zprávu naleznete zde

14 komentářů:

BP řekl(a)...
14. března 2019 13:06  

Pane Botlíku, aby vaše čísla o něčem vypovídala, měl byste mít srovnání všech tří částí maturitní zkoušky u každého žáka, tzn. úspěšnost v DT, PP a ÚZ. Tam teprve můžete dojít k nějakým relevantním závěrům. Výborný žák bude výborný ve všem, slabý bude slabý ve všem a průměrný bude průměrný ve všem. Ale samozřejmě se může stát ledacos i v tomhle případě. Jsou to tři různé časové termíny a žák může mít někdy svůj špatný den.

Josef Soukal řekl(a)...
14. března 2019 13:35  

Komentář V. Stanzla odjinud:
Myslím, že celý článek měl skončit hned po tomto konstatování v bodě 1.: "Původně stejné počty se tedy změnily na nepoměr, v němž srovnávání přestalo být korektní." To by naopak bylo jednoznačně korektní (a smysluplné).

14. března 2019 13:14

Josef Soukal řekl(a)...
14. března 2019 13:36  

Protože se Oldřich Botlík nadále pokouší mást veřejnosti manipulativními tvrzeními a účelovým výběrem dat, znovu uvádím svůj komentář k původní zprávě:

Je těžké a lidsky nepříjemné reagovat na článek, v němž se suverénně tvrdí, že obhájci centrálního hodnocení cosi chtějí apod., aniž by to bylo podloženo čímkoli věcným, a který zamlčuje podstatné skutečnosti. V podstatě nejde o nic jiného než o snahu autora odvést pozornost od své vlastní motivace někoho a něco pošpinit. Stačí pohled do souhrnných výsledků maturitní zkoušky dostupných na stránkách Cermatu a snadno zjistíme, že ve skutečnosti centrální hodnocení především narovnává výraznou celkovou disproporci v hodnocení na různých typech škol. V zásadě platí, že čím mají žáci určitých typů škol celkově slabší výsledky, tím větší je snaha vylepšit tyto výsledky tam, kde je hodnocení právě v rukou škol. Údaje Cermatu - nejen ty o procentu úspěšných odvolání - a samotná organizace hodnocení (a revize hodnocení) dále ukazují, že centrální hodnocení mnohem účinněji chrání žáky před hodnocením nekvalitním. Některé doklady lze najít v Připomínkách ASČ k novele školského zákona.
Nejnovější maturitní výstupy O. Botlíka znovu ukazují, proč je nutné jakékoli jeho tvrzení přijímat s velkou rezervou. Bohužel právě takovéto manipulace dostávají mimořádný prostor v médiích a vytlačují skutečně věcnou a seriózní diskusi na maturitní téma.

Další komentář připojím později.

Simona CARCY řekl(a)...
14. března 2019 14:18  

OB pro Komsomolskou pravdu vyjádřil přesvědčení, že poctivá (jeho) argumentace může být solidním východiskem bez ohledu na data, ze kterých vychází. Data jsou jen pokřiveným obrazem reality, kterou ON (OB) nadán ezoterickými schopnostmi dokáže očistit od bahna všedního dne a zobrazit úzkým prizmatem snů, které se mu zdají, když náhodou nespí.

Kde tady prodávají sítě?

Pavel Doležel řekl(a)...
14. března 2019 15:18  

Škoda slov. Když pánovi není trapně samotnému, tak mu asi není pomoci.

Argumentace odpůrců Cermatu je ale čímdáltím zoufalejší.

Josef Soukal řekl(a)...
16. března 2019 8:21  

Ještě slíbený komentář:

1) V důvodové zprávě zmiňované O. Botlíkem se v příslušné pasáži nejprve píše o nárůstu „počtu písemných prací maturujících žáků, které byly učiteli z kmenových škol hodnoceny takovým nejnižším možným bodovým hodnocením, aby žák ještě u této dílčí zkoušky uspěl a nemusel zkoušku opakovat". Tento stav centrální hodnocení v r. 2017 zčásti, v r. 2018 téměř úplně napravilo.
Připojuji údaje vždy za jarní termín:
V r. 2016 udělili školní hodnotitelé 12 bodů ČTYŘICETKRÁT častěji než již "neúspěšných" 11 bodů a dvacetkrát častěji než 10 bodů, konkrétně (v procentech) 4 : 0,1, resp. 4 : 0,2.
V r. 2018 tento poměr činil 2,1 : 0,8, resp. 2,1 : 1,0;
Vzhledem k celkové křivce počtu prací podle udělených bodů by měl první z uvedených poměrů být asi 2,1 : 1,5; druhý poměr (2,1 : 1,0) je již standardní.

2) Důvodová zpráva pokračuje:
"Kontrolní komparační hodnocení vybraného vzorku písemných prací z ČJL hodnotiteli CZVV také ukazuje, že určitá část učitelů českého jazyka a literatury stále není při hodnocení prací schopna správně aplikovat jednotnou metodiku. (…)“
K tomu cituji z jiného svého komentáře:
"S prvním centrálním hodnocením se ukázalo, že část češtinářů vůbec nebrala metodiku vážně; tuším p. Feřtek si tenkrát posteskl, že část maturantů dokonce neví, co některá podkritéria znamenají (takže se s nimi evidentně ve škole nepracovalo).
Jiný příklad: Hned v prvním ročníku CH se strhla polemika o definici útvaru ZPRÁVA. Cermat respektoval vyjádření Ústavu pro jazyk český AV (jež zohlednilo publicistickou praxi, nikoli praxi výukovou) a jako vyhovující hodnotil i ty práce, které byly z hlediska školní výuky OZNÁMENÍM (vadná hodnocení v tomto podkritériu byla dána nedodržením metodiky některými hodnotiteli). Od té doby se situace nezměnila. Přesto se objevuje výrazná disproporce mezi hodnocením školním a centrálním - např. v r. 2015 školní hodnotitelé udělili v tomto podkritériu za zprávy ve 380 případech nula bodů (tudíž práce "neprošly"), v l. 2917 a 2018 centrální hodnotitelé udělili nulu dohromady ve dvou případech (…). Je pravděpodobné, že část školních hodnotitelů se závazného stanoviska ÚJČ nedržela."

3) Kontrolní komparační hodnocení se v celkových výsledcích výrazně odlišuje od celkových výsledků hodnocení v r. 2017 a v r. 2018 – právě kolem toho tančí O. Botlík svůj válečný tanec. Počet neúspěšných prací (v procentech) činil v r. 2016 1,4, v r. 2017 3,1 a v r. 2018 3,6. Prognóza možného více než pětinásobného zvýšení se tedy nepotvrdila; k výraznému zvýšení neúspěšnosti ovšem došlo.
Komparační hodnocení naopak velmi správně ukázalo, že u některých typů škol - zejména škol nejslabších - dochází k neuvěřitelnému zlepšování výsledků u písemné zkoušky; viz příslušné grafy v Připomínkách Asociace češtinářů k novele školského zákona.
Výsledky maturitní zkoušky V ÚHRNU ukazují, že až na výjimky platí úměra "čím horší celkové horší maturitní výsledky v určitém typu školy, tím lepší výkony v těch částech zkoušky, kde o hodnocení rozhodují učitelé". Centrální hodnocení tedy nerovnováhu hodnocení alespoň částečně vyrovnává;

ZÁVĚR: Pokud tedy v souvislosti s Botlíkovým článkem lze užít slova FALŠOVÁNÍ, tak pro BOTLÍKOVA MANIPULATIVNÍ TVRZENÍ A ÚČELOVÝ "VÝCUC" Z DŮVODOVÉ ZPRÁVY.

Josef Soukal řekl(a)...
16. března 2019 11:10  

...čím horší celkové maturitní výsledky...

Jiří Lukáš řekl(a)...
16. března 2019 15:00  

J. Soukal:
"Přesto se objevuje výrazná disproporce mezi hodnocením školním a centrálním - např. v r. 2015 školní hodnotitelé udělili v tomto podkritériu za zprávy ve 380 případech nula bodů (tudíž práce "neprošly"), v l. 2017 a 2018 centrální hodnotitelé udělili nulu dohromady ve dvou případech (…). Je pravděpodobné, že část školních hodnotitelů se závazného stanoviska ÚJČ nedržela."

Prosím o informaci, jak to bylo v tomto podkritériu (předpokládám, že se jedná o 1B) v letech 2013 a 2014.

Jiří Lukáš řekl(a)...
16. března 2019 15:48  

A ještě prosím totéž za rok 2016.

Josef Soukal řekl(a)...
16. března 2019 20:08  

Mám jen informace uváděné v rámci školení externistů Cermatu; požádám o rozšíření.

Jiří Lukáš řekl(a)...
17. března 2019 7:53  


Děkuji. A dovolte ještě tři otázky:

1. „v l. 2017 a 2018 centrální hodnotitelé udělili nulu dohromady ve dvou případech“

Toto je ověřená informace? Pocitově (tj. vzhledem k tomu, že v ostatních zadáních v tomto kritériu byla myslím 0 udělena častěji) se mně to zdá být poměrně málo pravděpodobné.


2. „Hned v prvním ročníku CH se strhla polemika o definici útvaru ZPRÁVA. Cermat respektoval vyjádření Ústavu pro jazyk český AV (jež zohlednilo publicistickou praxi, nikoli praxi výukovou) a jako vyhovující hodnotil i ty práce, které byly z hlediska školní výuky OZNÁMENÍM“

Ano, toto odpovídá znění závazné metodiky („METODICKÝ MATERIÁL pro hodnotitele písemných prací“) z roku 2016, kde se píše: „V případě, že písemná práce je zpracována v budoucím čase (a podle řady učebnic by tedy takový text byl považován za oznámení), nelze udělit 0 bodů. Rozdíl mezi zprávou a oznámením je totiž minimální. Tento přístup k hodnocení zprávy je v souladu se stanoviskem Ústavu pro jazyk český AV ČR.“
Píšete, že „Cermat jako vyhovující hodnotil i ty práce, které byly z hlediska školní výuky OZNÁMENÍM“. Chci se zeptat, co zde znamená „vyhovující“, tedy zda se v letech, kdy byly slohovky hodnoceny centrálně (2012, 2017 a 2018) strhávaly v kritériu 1B body, pokud byl text napsán v budoucím čase. A případně kolik, když „rozdíl mezi zprávou a oznámením je minimální“?


3. „Je pravděpodobné, že část školních hodnotitelů se závazného stanoviska ÚJČ [při hodnocení zprávy v roce 2015] nedržela.“

„Závazné stanovisko ÚJČ“ je součástí závazné metodiky z roku 2016. Domnívám se, že nebylo součástí závazné metodiky, podle které se opravovalo v roce 2015. Tam se, podle mého názoru (můžu se ale mýlit), hodnotilo podle „METODICKÉHO MATERIÁLU pro hodnotitele písemných prací“ z roku 2013, kde pokyn „V případě, že písemná práce je zpracována v budoucím čase…“ není obsažen. Znovu opakuju: Patrně se mýlím, pravděpodobně nemám úplné informace, proto prosím o odkaz na závazný metodický pokyn Cermatu k této věci pro hodnocení tohoto aspektu v roce 2015.

Tajný Učitel řekl(a)...
17. března 2019 20:37  

Proč vlastně nepřidat maturantovi ten jeden bod, který rozhodne v jeho prospěch?
Kdo kontroluje superobjektivní centrální kyborgy zda také nepřidávají či neubírají body?
Kam až zajde hon na objektivitu?
Jak se superobjektivní centrální kyborgové vypořádají s faktem, že ne všechny školy mají stejné hodinové dotace, stejně dobré učitele, stejně nadané žáky se stejně ambiciózními/movitými rodiči?

Josef Soukal řekl(a)...
18. března 2019 19:16  

Pane Lukáši,

k bodu 1 uvádím, že jde o ověřenou informaci. K bodu 2 a 3: Ohledně zprávy se metodika samozřejmě nezměnila, to by se muselo změnit příslušné stanovisko ÚJČ AV. Vámi zmiňovaná metodická příručka se nevěnuje všem útvarům, nepředstavuje kompletní informace k hodnocení. V r. 2013 - a zde spekuluji - zřejmě nikoho nenapadlo, že by vzhledem k obrovské medializaci hodnocení maturitních písemných prací pojetí zprávy mohlo představovat problém, v r. 2016 už zřejmě bylo patrné, že část češtinářů hodnotí, jak sama chce. Přesné informace o hodnocení v případě nedodržení zadání ve smyslu "zpráva o průběhu akce" by vám poskytl Cermat.

Jiří Lukáš řekl(a)...
18. března 2019 20:02  


Děkuji za odpověď. Rád bych Vám v souvislosti s Vaším příspěvkem z 16. března 2019 8:21 položil ještě pět otázek:

1. Za informaci, že „v l. 2017 a 2018 centrální hodnotitelé udělili nulu dohromady ve dvou případech“, tedy osobně ručíte?

2. Potvrzujete, že hodnotitelé písemných prací v roce 2016 měli oficiální závazný pokyn Cermatu „V případě, že písemná práce je zpracována v budoucím čase (a podle řady učebnic by tedy takový text byl považován za oznámení), nelze udělit 0 bodů", v roce 2015 však takový pokyn neměli (protože se, podle Vašeho názoru, nepředpokládalo, „že by vzhledem k obrovské medializaci hodnocení maturitních písemných prací pojetí zprávy mohlo představovat problém“, tj. medializaci v roce 2012)?

3. Můžete prosím uvést, kolik zpráv dostalo v roce 2016 v kritériu 1B 0 bodů?

4. Měli školní hodnotitelé v roce 2015 nějaký oficiální pokyn, zda mají za zprávy v budoucím čase strhávat v kritériu 1B nějaké body? Nebo to bylo na jejich rozhodnutí, tj. někdo mohl, a jiný nemusel?

5. Nepodařilo se Vám zjistit, jak byla zpráva v kritériu 1B hodnocena v letech 2013 a 2014?



Články dle data

Učitelské listy

Nabídka práce

Česká škola - portál pro ZŠ a SŠ

Česká škola poskytuje svým čtenářům diskusní prostor k vyjádření názorů na školskou problematiku. Tyto příspěvky se nemusí shodovat se stanoviskem redakce České školy a jsou uveřejňovány jako podnět k dalším diskusím.

Obsah článků nemusí vyjadřovat stanovisko redakce nebo vydavatele Albatros Media, a.s.


Všechna práva vyhrazena.

Tento server dodržuje právní předpisy
o ochraně osobních údajů.

ISSN 1213-6018




Licence Creative Commons

Obsah podléhá licenci Creative Commons Uveďte autora-Neužívejte dílo komerčně-Nezasahujte do díla 3.0 Česká republika, pokud není uvedeno jinak nebo nejde-li o tiskové zprávy.



WebArchiv - archiv českého webu



Tyto webové stránky používají k poskytování služeb, personalizaci reklam a analýze návštěvnosti soubory cookie. Informace o tom, jak tyto webové stránky používáte, jsou sdíleny se společností Google. Používáním těchto webových stránek souhlasíte s použitím souborů cookie.