O. Botlík: Tajemná „analýza z Cermatu“ byla konečně zveřejněna – díl II.

úterý 14. ledna 2020 ·

V prosinci 2019 byla zveřejněna analýza výsledků žáků v maturitních testech z matematiky. Využiji ji k tomu, abych naznačil, jak by měl Cermat informovat veřejnost o úspěšnosti maturantů při řešení jednotlivých úloh. Přitom vysvětlím, k čemu slouží prvotní maturitní data, jež ministerstvo školství dosud nezveřejnilo, ačkoli zákonná lhůta uplynula již 17. srpna 2019. Připravilo se tím o hodnotné aktuální argumenty na podporu svých záměrů s maturitní zkouškou z matematiky.



Oldřich Botlík (eduin.cz)
Má veřejnost stejné informace jako ministr? 

Po nástupu nové ředitelky Cermatu začala veřejnost dostávat třeba diagramy o trvale klesajícím zájmu maturovat z matematiky, o vývoji neúspěšnosti v testech nebo údaje o celkových výsledcích jednotlivých skupin škol. Cermat je ve své analýze uvedl znovu.

Některé jiné informace nemá veřejnost ani ministr. Naprosté mlčení zachovává Cermat ohledně toho, co přesně každá úloha zjišťuje a proč je to důležité. Bývá problém se na tom shodnout. Nikdo – prý ani Cermat – také netuší, jaké jsou nejčetnější chybné odpovědi u úloh, v nichž maturanti odpovídají číslem, a jak často je žáci uvádějí. Takové informace mají přitom zásadní význam pro učitele, aby mohli zlepšovat svou výuku.

Mnohem skoupější k veřejnosti než k ministrovi je Cermat při informování o výsledcích jednotlivých testových úloh a podúloh. Práci s těmito informacemi neusnadňuje veřejnosti ničím. Například u výsledků úlohy typu multiple-choice (výběr jediné správné z položek A až E) si musí uživatel sám dohledat v klíči správných odpovědí, která položka je správná. Cermat přitom takovou informaci v datech určitě má, ale vypustil ji. Proč asi?

Ilustrace na konkrétní úloze 

Vyjděme třeba z informací o výsledcích podúlohy 3.2 maturitního testu „Jaro 2018“, které analýza uvádí na straně 13.





Pro Cermat je typické, že ani ministrovi školství neposkytl analogické výsledky podúlohy 3.1, ačkoli je vcelku nasnadě, že představují přirozený kontext pro výsledky podúlohy 3.2. Vyžádal si je ministr dodatečně? Vzorový postup řešení u této úlohy chybí – Cermat poprvé zveřejnil vzorová řešení až v roce 2019. U podúlohy 3.1 je postup snadný (spočítají se příslušné dílky s výsledkem 5:8), zatímco u podúlohy 3.2 už postup může být pro nematematiky obtížnější (z rovnice sestavené v podúloze 3.1 se vyjádří m; vyjde m = 5/7; z toho je už umístění obrazu čísla 1=7/7 zřejmé).

Celá úloha 3 zjišťuje, zda žáci rozumějí pojmu „proměnná“, dokážou algebraickými prostředky zacházet s podíly dvou malých přirozených čísel a chápou vztah mezi takovými zlomky a jejich obrazem na číselné ose. Ačkoli jde o naprosté základy (úloha byla zařazena jako tzv. rozjížděcí), je z dat zřejmé, že tyto výsledky matematického vzdělávání českých žáků za mnoho nestojí.

Agregovaná a prvotní data – co chybí 

Agregovaná data, která Cermat zveřejňuje v uživatelsky nevstřícné podobě, jsou navíc – jak ukážu níže – zbytečně chudá. Anonymizovaná prvotní data z maturitních testů z matematiky zatím nezveřejnil, ačkoli analogická data z jednotných přijímacích zkoušek zpřístupňuje rutinně a na základě žádosti již zveřejnil rovněž anonymizovaná prvotní data z maturitních testů a písemných prací z českého jazyka a literatury. Ukážu dále, k čemu jsou prvotní data potřebná a užitečná.

Nejprve se ovšem vraťme k datům agregovaným. Ministr získal informace o úspěšnosti úlohy 3.2 dohromady za gymnázia a lycea, zvlášť potom za SOŠ, SOU nebo nástavby. Průměrné výsledky úloh na jednotlivých typech škol Cermat jinak nezveřejňuje vůbec. Kdyby nás tedy zajímaly obdobné výsledky za podúlohu 3.1, máme smůlu – v analýze nejsou a z dat se získat nedají. Každý statistik ovšem ví, že v průměru se může ztratit leccos. Legrační je, že Cermat v ostatních svých analýzách celkové výsledky gymnázií a lyceí odděluje. Chtěl něco skrýt, když zde obě skupiny spojil?

Průměrná úspěšnost celého testu byla 59,0 %. Žáci v testu řešili rovněž kvadratickou rovnici:



V této úloze (5) získali žáci 66,1 % disponibilních bodů. Odstup od zisku 25,6 % disponibilních bodů v podúloze 3.2 je obrovský. Obě úlohy ilustrují zásadní problém současné výuky matematiky. Žáci se dokážou naučit ke zkoušce postupy, jejichž podstatě mnohdy nerozumějí, úspěšně je předvedou a potom nejspíš zase brzy zapomenou. Mají-li ovšem sami vymyslet, jak si trošku nestandardně poradit se zlomkem 5/7, jsou v koncích. Problém spočívá v tom, že řešení i mnohem složitějších rovnic snadno zvládne mobil, který mají žáci v kapse, zatímco mobily ještě dlouho nepředvedou přístup vyžadující porozumění. Hluboký problém pojetí výuky matematiky představuje také skutečnost, že opravdová matematika je to druhé – příchodem počítačů se z řešení rovnic stala „technikálie“.

Tím jsme se konečně dostali k prvotním datům. Nejde o jména maturantů (data mohou být zcela anonymizovaná), potřebujeme ale zjistit například to, čím se liší žáci, kteří si poradili se zlomkem (úloha 3), od žáků, kteří si poradili s kvadratickou rovnicí (úloha 5 – je jich mnohem víc). Ve kterých dalších úlohách žáci z každé skupiny uspěli, případně neuspěli? Odpovědi mohou mít v diskusi o povinné maturitě – má-li být kvalitní – zásadní význam. Jinak než z anonymizovaných prvotních dat se ovšem zjistit nedají. Odpovědi Cermat neposkytl ani ministrovi a připravil ho tím o zásadní argumenty. A protože prvotní data zatím nebyla zveřejněna, nemůže to zjistit nikdo. O čem má tedy diskuse k povinné maturitě z matematiky být? Kolik hodin žákům přidat, aby se naučili řešit rovnice aspoň z tisíciny tak spolehlivě a rychle, jak to dokážou jejich mobily?

Závěr: Analýzu Manažerské shrnutí – maturitní zkouška z matematiky si vyžádal od Cermatu přímo ministr školství. Informace, jak dopadly úlohy, jež Cermat ministrovi vybral, jsou zárodkem toho, jak může Cermat informovat veřejnost „lidsky čitelným způsobem“ o každé testové úloze. Odborně i časově je to banalita – s připravenými podklady zvládne jeden člověk zpracovat výsledky jednoho testu za jeden den.

Anonymizovaná prvotní data už samozřejmě nejsou určena široké veřejnosti. Je však dost lidí, kteří si nad nimi položí zajímavé otázky a budou hledat odpovědi. Aktuální jsou v tuto chvíli argumenty související s povinností maturovat z matematiky, které bohužel blíže nezkoumal ani Cermat. Jinak by se ministrovi jistě pochlubil, neboť tomu by se nyní hodily. Kdyby se mohl opřít o výsledky opravdu důkladné analýzy prvotních dat, byla by jeho argumentace mnohem přesvědčivější.

Jak ukazuje starší příklad z jiného oboru, je publikování dat důležité, i když nikdo předem neví, co při jejich důkladné analýze vynoří. Pan Tomáš Novák získal na základě zveřejněných podrobných dat z voleb do Poslanecké sněmovny v roce 2017 podezření, že některé volební komise ve Středočeském kraji nezapočítávaly hlasy kandidátům uvedeným na druhé straně hlasovacích lístků. Navrhl Nejvyššímu správnímu soudu přezkoumání výsledků v přibližně 900 volebních okrscích. Podezření se potvrdilo, soud zjistil celou řadu dalších velmi závažných nedostatků a na základě výsledku přepočtu změnil výsledek voleb ve Středočeském kraji. Současně konstatoval, že příště by mohlo být nutné, aby zrušil výsledek voleb do Poslanecké sněmovny v celé republice.

Analýza Cermatu je ke stažení na adrese http://www.msmt.cz/ministerstvo/msmt-39668-2019-1- zadost-o-poskytnuti-informace-podle-zakona-1.


První díl naleznete zde

17 komentářů:

Josef Soukal řekl(a)...
14. ledna 2020 8:35  

A právě proto, že data jsou důležitá, prosazuje O. Botlík maturitu, která NEPOSKYTNE ŽÁDNÁ RELEVANTNÍ DATA.
To, že volně dostupná maturitní data poskytují dost informací na to, abychom věděli, že zakopaný maturitní pes je v tom, že k maturitě dojdou žáci, jež pro studium nemají předpoklady, je v tomhle kontextu už je "maličkost".

Oldřich Botlík řekl(a)...
14. ledna 2020 9:09  

O předpokladech pro studium neposkytují informace žádná z maturitních dat.

Ani ta troška, která je volně dostupná, ani obrovský balík dat, která Cermat a MŠMT nezákonně zadržují.

Někteří lidé si ovšem myslí opak. A vůbec je nenapadne přemýšlet třeba nad tím, že na neuspokojivých školních výsledcích části žáků (jež je nejspíš obrovská) se neblaze podepisuje výuka, kterou tito lidé prosazují. Státní maturitu nekriticky hájí, neboť se mylně domnívají, že tím hájí "vzdělanost národa". Ve skutečnosti tím ovšem chrání vzdělanost národa před lidmi, neboť hájením státní maturity pomáhají nevhodnou výuku zachovat.

Podpora nástrojů, které pomáhají odradit mladé lidi od vzdělávání, je zcestná. Od učitelů vlastně dokonce zrůdná a neetická. Správné je naopak hledat cesty, jak ke vzdělávání co nejvíc žáků přitáhnout, učinit je pro ně zajímavé a přesvědčit je o jeho užitečnosti.

Tím myslím užitečnost vzdělání – nikoli užitečnost nějakých certifikátů. Měli bychom ty dvě věci začít konečně rozlišovat. Státní maturita se týká certifikátů. Nepřímo ospravedlňovat její existenci tím, že poskytuje nějaká data (navíc z velké části utajovaná před veřejností), je úlet.

P.S. Bláhově jsem se domníval, že J. Soukalovi prostředí České školy smrdí. Několikrát se v tom smyslu vyjádřil a slíbil, že sem bude psát jen v okamžicích nejvyšší nouze. Nikoho odsud nevyháním – jen konstatuji, že opět plácal…

poste.restante řekl(a)...
14. ledna 2020 9:36  

Ve skutečnosti tím ovšem chrání vzdělanost národa před lidmi, neboť hájením státní maturity pomáhají nevhodnou výuku zachovat.

Správně.
Rozbijte teploměry a už nikdo nebude mít horečku.
Jak snadné je dosáhnout "vzdělanosti" i "zdraví" národa, když se to vezme "eticky" za ten správný konec.

tyrjir řekl(a)...
14. ledna 2020 9:39  

Jsem názoru, že Cermat a MŠMT tolik chybují proto, že ještě dobře nenastudovali principy genetického konstruktivismu prof. Kvasze z KMDM PedF UK. Zejména fazolkovou metodu, by myslím bylo vhodné do maturit zahrnout. :)

Viz
http://www.ceskaskola.cz/2018/04/k-utokum-na-hejneho-metodu-se-vyjadrila.html

J.Týř

PS: Bláhově jsem se domníval, že O. Botlíkovi začne státní maturita vonět alespoň jako ty geneticko konstruktivistické fazolky. Marně. Jeho agresivita při přihřívání své polívčičky a agresivita vůči názorovým oponentům jsou dlouhodobě známé věci.

Oldřich Botlík řekl(a)...
14. ledna 2020 9:59  

Rozbijte teploměry a už nikdo nebude mít horečku.

Zřejmě jste nikdy neslyšel o výběrových šetřeních. Říká vám něco třeba TIMSS nebo PISA?

O výsledcích mezinárodního šetření PISA se hodně psalo v závěru minulého roku. I zde.

Josef Soukal řekl(a)...
14. ledna 2020 10:02  

Nevím o žádném vyjádření O., Botlíka ke státní maturitě, které by nevyžadovalo korekci nebo alespoň uvedení kontextu. Proto můj komentář.

poste.restante řekl(a)...
14. ledna 2020 10:34  

Zřejmě jste nikdy neslyšel o výběrových šetřeních. Říká vám něco třeba TIMSS nebo PISA?

Něco jsem sem tam zaslechl, ale jsem v této oblasti laik, takže se rád nechám poučit od experta.
Jakým způsobem mi TIMSS, nebo PISA pomohou odhalit, že gymnázium v Horní dolní má dlouhodobě podprůměrné výsledky?

Datel řekl(a)...
14. ledna 2020 12:21  

Nijak.

Oldřich Botlík řekl(a)...
14. ledna 2020 12:32  

Jakým způsobem mi TIMSS, nebo PISA pomohou odhalit, že gymnázium v Horní dolní má dlouhodobě podprůměrné výsledky?

A jakým způsobem to zrovna VÁM pomůže odhalit státní maturita?

Lenka Pokorná řekl(a)...
14. ledna 2020 19:33  

Díl II. je jen slabý odvar dílu I., ale tak už to v seriálech bývá, zvláště, pokud je to už asi desátá řada té samé omáčky. Jen se divím, že pan Botlík ještě nenarazil v lomu na hlínu.

Robert Čapek řekl(a)...
14. ledna 2020 20:30  

Je hezké, že pan Soukal rozdává moudro i zde. Nejenom tam, kde mu kamarádíčkové promazají oponenty. Jenomže píše pořád ty stejné nesmysly, které už bych mohl psát klidně za něj. Kdybych se chtěl blamovat, samozřejmě. A eticky vítězit, jak to umějí jen členové Asociace přátel Cermatu.

Oldřich Botlík řekl(a)...
14. ledna 2020 20:45  

Jen se divím, že pan Botlík ještě nenarazil v lomu na hlínu.

Narazil, paní Pokorná. Ale ne v lomu, nýbrž v diskusích. Tam se hlína objevuje pravidelně.

Lenka Pokorná řekl(a)...
15. ledna 2020 10:42  

Tak hlínu říkáte? Hmmmm ...
Zajímavé je, že jistý Čapek umí v diskuzích najít i perly a drahokamy. Asi neumíte hledat pane Botlíku.

Oldřich Botlík řekl(a)...
15. ledna 2020 10:55  

Samozřejmě, že v diskusích se dají najít i perly a drahokamy, paní Pokorná.

Jenomže vy jste psala o hlíně, ne?

Například váš způsob vedení diskuse je opravdová perla. Kde že to vyučujete matematiku?

Lenka Pokorná řekl(a)...
15. ledna 2020 11:11  

Ach, pane Botlíku, zase jsem jednou mylně předpokládala, že máte smysl pro humor.

Oldřich Botlík řekl(a)...
15. ledna 2020 13:37  

Paní Pokorná, zkuste si na chvíli představit obecenstvo, které se nesměje vtipkům komika na jevišti. Nemá proč -- jeho vtípky jsou hloupé.

Komik pak divákům vynadá, že nemají smysl pro humor...

Lenka Pokorná řekl(a)...
15. ledna 2020 16:43  

Vy jste pane Botlíku celé obecenstvo? Tolik sebestřednosti bych ani od Vás nečekala.



Články dle data

Učitelské listy

Nabídka práce

Česká škola - portál pro ZŠ a SŠ

Česká škola poskytuje svým čtenářům diskusní prostor k vyjádření názorů na školskou problematiku. Tyto příspěvky se nemusí shodovat se stanoviskem redakce České školy a jsou uveřejňovány jako podnět k dalším diskusím.

Obsah článků nemusí vyjadřovat stanovisko redakce nebo vydavatele Albatros Media, a.s.


Všechna práva vyhrazena.

Tento server dodržuje právní předpisy
o ochraně osobních údajů.

ISSN 1213-6018




Licence Creative Commons

Obsah podléhá licenci Creative Commons Uveďte autora-Neužívejte dílo komerčně-Nezasahujte do díla 3.0 Česká republika, pokud není uvedeno jinak nebo nejde-li o tiskové zprávy.



WebArchiv - archiv českého webu



Tyto webové stránky používají k poskytování služeb, personalizaci reklam a analýze návštěvnosti soubory cookie. Informace o tom, jak tyto webové stránky používáte, jsou sdíleny se společností Google. Používáním těchto webových stránek souhlasíte s použitím souborů cookie.