Oldřich Botlík: Co znamená „mírně lepší výsledek maturitního testu z matematiky“?

čtvrtek 18. května 2017 ·

Ředitel Cermatu J. Zíka oznámil v rozhovoru pro Seznam Zprávy mimo jiné, že letošní výsledky maturantů jsou srovnatelné s loňským rokem. V matematice podle něj došlo k mírnému zlepšení. Něco podobného jsme v testu Matematika zaznamenali už v letech 2015 a 2016. „Mírné zlepšení“ ovšem pokaždé znamenalo, že oproti předchozímu roku se zhoršili gymnazisté i negymnazisté.

Vysvětlení zdánlivého paradoxu je prosté. Matematiku si maturanti vybírají dobrovolně a roste podíl gymnazistů, kteří jsou jako celek výrazně úspěšnější než negymnazisté. Nejprve se podívejme na jednoduchý příklad.



Při přechodu k dalšímu roku podíl gymnazistů v celku vzrostl (30 → 40), zatímco podíl negymnazistů v celku poklesl (70 → 60). Přestože podíl propadlíků v celém souboru poklesl z 51 % na 47 %, podíly neúspěšných gymnazistů i negymnazistů vzrostly.

Skutečné výsledky v letech 2015 a 2016 vypadaly takto:


 
 
Doufejme, že přesná čísla za rok 2017 oznámí ředitel Zíka na tiskové konferenci k výsledkům státní maturity, která se koná 19. května 2017. Příklad ilustruje nejen význam již zveřejněných dat při interpretaci výsledků státní maturity. Dokládá rovněž, proč je monopol Cermatu na podrobná maturitní data a na jejich interpretaci neúnosný.


Citovaný rozhovor s Jiřím Zíkou naleznete zde

20 komentářů:

Simona CARCY řekl(a)...
18. května 2017 v 9:24  

Pan Botleak objevil trojčlenku a má problém s intepretací reality. Jemu tedy rozhodně data k maturitě do ruky nepatří. Kozel zahradníkem.

Michal Komárek řekl(a)...
18. května 2017 v 9:37  

Simona CARCY

Používání tvaru "Botleak" je sice docela vtipné, nicméně znevažující, takže do slušné diskuse nepatří. A především: V čem spočívá ten problém pana Botlíka s "interpretací reality"? Děkuji! Hezký den!

Simona CARCY řekl(a)...
18. května 2017 v 9:56  

Co je znevažujícího na slově Wikileaks? Botlík může být na svůj Botleak ve svém vnímání svět i pyšný a věřím, že je. Vadí to jen vám.
Pokud jste nepochopil, v čem spočívá problém s interpretací reality, tak o tom byl Botleakův příspěvek. OB na dvou příkladech ukazuje, co se stane, když se změní základ pro výpočet procent, aby z toho odvozoval cokoli, co se mu hodí do krámu.
Skutečnost, že to nevidíte, neznamená, že to v článku není. Ostatně - není tam už nic jiného.

Anonymni z 21:30 řekl(a)...
18. května 2017 v 10:29  

Tady už žádná slušná diskuse není. A můžeš za to Ty cenzore.

Jan Hučín řekl(a)...
18. května 2017 v 12:21  

Tento článek mi připadá napsaný celkem věcně, jen bych k němu rád pár věcí poznamenal.

Jev, který pan Botlík popisuje, se nazývá Simpsonův paradox, a je potřeba uznat, že se podobné chyby občas dopustí i zkušený statistik, když si nedá práci, aby pronikl do problému i po věcné stránce.

Měli bychom si ale položit víc otázek. V roce 2016 se matematického testu jak z G, tak z neG zúčastnilo méně žáků.
* Odpovídá to nižšímu celkovému počtu maturantů na obou typech škol? (Asi ne.)
* Jestliže neodpovídá, odpadli v roce 2016 oproti roku 2015 ze skupiny účastníků žáci spíš lepší, nebo spíš horší v matematice? (Intuitivně bychom čekali, že ti horší, ale bez dat si jisti být nemůžeme.)
* A jak je to s "odpadlíky" (ve smyslu předchozí odrážky, tj. nikoli propadlíky) zvlášť na G a na neG? (Nestalo se náhodou, že mezi negymnazisty odpadli ti lepší a mezi gymnazisty ti horší? Nebo naopak?)

Jak to ve skutečnosti bylo s meziročním srovnáním, bychom si mohli být do určité míry jistí jen při kalibrování obou testů a harmonizaci.

Jo a pan Botlík píše, že se CERMAT dopustil interpretační chyby opakovaně, ale uvádí jen meziroční srovnání 2015--2016, existuje ještě druhý případ podobné chyby?

Veronika Valíková řekl(a)...
18. května 2017 v 12:54  

Také zaznělo, že došlo k mírnému zhoršení v ČJL. Jinými slovy - kvůli povinné maturitě z matematiky lehce polevili v testech z tohoto předmětu a ztížili ČJL.

Simona CARCY řekl(a)...
18. května 2017 v 13:15  

Bože, to je materiál! Celé mávání meziročním srovnáváním není nic jiného, než špatně maskovaná snaha o takovou trochu změkčenou anonymizaci. A to je vyloučené. Buď zcela anonymní data nebo žádná data. Od května příštího roku po nástupu GDPR nebude možná ani to. A blouznivé představy Vervy jsou jen důkazem nepochopení testovacích metod.

Oldřich Botlík řekl(a)...
18. května 2017 v 13:22  

Pane Hučíne,
když už máte potřebu hodnotit, jak věcně jsem svůj článek napsal, nepodsouvejte mi prosím slova, která v článku nejsou.

Nenapsal jsem, že se Cermat dopustil interpretační chyby opakovaně, dokonce bych to sám ani za interpretační chybu neoznačoval. V roce 2016 maturanti opravdu dosáhli v testu Matematika mírně lepšího výsledku než v roce 2015. V tabulce je to vyjádřeno menším podílem propadlých, neboť nepropadnout je to hlavní, oč žákům jde.

Loni jsem byl ve studiu České televize, abych komentoval tiskovou konferenci ministryně školství k výsledkům maturitních testů. A nevěřil jsem svým uším, když jsem ředitele Cermatu slyšel prezentovat jen jednu část celé pravdy. J. Zíka se totiž v roce 2016 zuby nehty bránil zpřístupnění maturitních dat právě s odůvodněním, že jinak hrozí nesprávné interpretace. Podobných kostlivců může mít Cermat ve skříni víc, o čemž ostatně svědčí způsob, jakým vzápětí po zveřejnění mého článku zareagoval bývalý ředitel Cermatu.

Pokud jde o přechod 2014 –> 2015, chybějí vlastně jen data za rok 2014. Tady jsou:
propadlíci (počet): 6 053 (všichni), 266 (G), 5 787 (neG)
všichni maturující (počet): 25 130 (všichni), 8 117 (G), 17 013 (neG)
propadlíci (%): 24,1 % (všichni), 3,3 % (G), 34,0 % (neG).

Podíl žáků, kteří si dobrovolně vybírají test Matematiky, od roku 2013 trvale klesá:
38,2 % (2013), 35,7 % (2014), 29,5 % (2015) a 27,3 % (2016).

Odpovědi na další otázky, které jste položil, mají samozřejmě pro interpretaci výsledků maturitního testu Matematika zásadní význam. Já je ovšem zodpovědět neumím, a to právě kvůli zmíněnému monopolu Cermatu na maturitní data. Jen si kladu otázku, proč vlastně ten monopol existuje. Kvůli nebezpečí interpretací zvnějšku, anebo kvůli bezpečí interpretací zevnitř?

Pavel Doležel řekl(a)...
18. května 2017 v 13:23  

Vyjádření CERMATu jsem nečetl, ale v čem spočívá ta jeho interpretační chyba? Pokud řekli pouze, že celkově došlo k mírnému zlepšení, míněno celkovému poklesu podílu neúspěšných v DT z matematiky, tak mají pravdu. Co za tím stojí, je věc detailnější analýzy a v tomto případě to zřejmě je skutečně tím, že se zvýšil podíl maturantů z matematiky z gymnázií.

Co mě ale zaráží velmi, je celková neúspěšnost. Vždyť to je doslova tragické. Více než třetina populace aspirující na VŠ vzdělání, která si zároveň vybrala matematiku jako maturitní předmět, není schopna dosáhnout ani 40% úspěšnosti v testu, který je z větší části tvořen úlohami, které jsou obsahem studia základní školy? Nebo, kolik procent je ta předepsaná hranice? Jak ty děti mohly dojít až k maturitě, aniž by je někdo včas upozornil, že jejich znalosti jsou nedostatečné? Tajnej, jak k tomu došlo, když ty děti prošly minimálně čtyřmi lety studia matematiky a dostávaly nejhůře dostatečné na vysvědčeních?

Michal Komárek řekl(a)...
18. května 2017 v 13:30  

Simona CARCY

Nepoužívejte, prosím zlehčující variace na jména diskutujících. děkuji! Hezký den!

Veronika Valíková řekl(a)...
18. května 2017 v 13:45  

:)Na VerVu jsem zvyklá. Pane Carcy, bude letos hranice 44, nebo 43% ? :)

Charlie řekl(a)...
18. května 2017 v 13:53  

Jak ty děti mohly dojít až k maturitě, aniž by je někdo včas upozornil, že jejich znalosti jsou nedostatečné?

Ve svém okolí jsem v zásadě pozoroval v minulosti 3 důvody, ale předpokládám, že se za 3 roky co jsem mimo se toho příliš nezměnilo:

1. Strach učitelů kohokoli "vyhodit", jakmile zjistí jeho propastné nedostatky v daném předmětu již po nástupu do 1. ročníku SŠ. Důvodem je současný systém platby na žáka, obvykle spojený s upřímnými radami vedení typu:" nebudeme ti/vám do hodnocení zasahovat, ale žáci ubývají a učitelé se pak stávají nadbytečnými."
2. Nechuť rodičů i žáků spolupracovat se školou ve chvíli, kdy jsou zjištěny studijní nepředpoklady žáka. Odchod z maturitního oboru berou jako formu degradace a tak podávají žádosti o opakování, přezkušování nebo si přímo ztěžují u zřizovatele školy. I pak přicházejí dobře míněné rady, které se stylem padajícího ho.. (listu) nakonec dostávají i k samotným učitelům. Co na to, že žák doposud semináře a doučování odmítal navštěvovat, chybujícím je vždy učitel.
3.Útěk žáka od, pro něj náročnější, třídílné zkoušky z cizího jazyka, velice často ještě podpořený kolegy jazykáři. Opět následují rady typu: "Na tu maturitu z jazyka nemáš, jestli se na ní přihlásíš, nepustím tě k ní, vždyť víme, že ta tvoje trojka je spíše horší čtyřka, ale já ti dám za 5, abych měl/a klid."

Pro jazykáře v diskuzi k bodu 3 dodávám, že to je extrém, který se jeden již bývalý žák nahrál na mobil. Sám jsem tomu zpočátku nechtěl věřit, ale nahrávka byla autentická. Na danou kolegyni se pak jen udělalo bububu a žák odmaturoval z matematiky. Mimochodem, její počet maturantů za posledních 5 let je NULA.

Jiri Janecek řekl(a)...
18. května 2017 v 17:48  

Článek s prominutím o hovně... I ve srovnání s loňskou sérií o čepici.
Děsím se, co přinese zítřek...

Ygrain řekl(a)...
18. května 2017 v 18:11  

"Útěk žáka od, pro něj náročnější, třídílné zkoušky z cizího jazyka, velice často ještě podpořený kolegy jazykáři."

No, jak kde, u nás je právě angličtina vnímána jako ten jednodušší předmět. :-)

Tajný Učitel řekl(a)...
19. května 2017 v 9:37  

"Jak ty děti mohly dojít až k maturitě, aniž by je někdo včas upozornil, že jejich znalosti jsou nedostatečné?"

Tak, že jejich znalosti nejsou nedostatečné. Způsob jejich ověřování úchylným závodem je nedostatečný.

Anonymni z 21:30 řekl(a)...
19. května 2017 v 10:16  

"Tak, že jejich znalosti nejsou nedostatečné. Způsob jejich ověřování úchylným závodem je nedostatečný. "

Tajný, způsob ověřování nemá vliv na to, že znalosti jsou nedostatečné. To je jeden ze vsugerovaným mýtů, který šíříš na potkání.

Pravdu má Charlie a jím zmiňovaný postup začíná už na základních školách, kde neúspěch žáka je neúspěch učitele a tito jsou silou a ze všech stran tlačeni k tomu, aby vysloveně pouštěli do dalších ročníků i ty, kteří nic nezvládají a nehodnotili je nedostatečnou.

Pak téměř negramotný žák proleze základní školou a vyjde z deváté třídy s úsměvem na rtech, dutý jako bambus.

A ještě se najdou střední školy, které si ho vezmou na maturitní obor a tam to pokračuje dál.

Pavel Doležel řekl(a)...
21. května 2017 v 11:37  

A když tedy ty znalosti nejsou nedostatečné, jak je pak možné, že maturant píše "spolujeskyně" namísto "spolujezdkyně". Jak je možné, že se k maturitě dostane student, který vyprodukuje toto: "Byl jsem překvapený, moc se my tam nechtělo, ale jely jsme. Když jsme přijely kté zátočině a táta vyděl ten strom tak mu ukáply nějaké slzy, otočil se na mně, naokamžik se my podíval do očí a pak my dal obrovskou ránu. A nic jiného my neřekl. V té chvily jsem poznal, že mu nejsem lhostejný ani ve dvaceti letech a že mně má stále rád. Nepoznal jsem to jenom podle těch slz, ale hlavně podle té facky. Jsem velice rád, že mám takovyhle rodiče a nikdy bych je nevimněnil."? Kdo ho k té maturitě pustil? To je tak na úrovni žáka prvního stupně ZŠ.

Jak je možné, že se k maturitě dostanou studenti, kteří nedokáží vyřešit triviální logaritmickou rovnici? Ne, vážený tajný. Ty znalosti jsou dostatečné pouze pro vás a vám podobné prznitele pojmu "vzdělání". Pro člověka, který je sám velmi nevzdělaný. A takoví by neměli rozhodovat o obsahu vzdělávání, ani o tom, zda je někdo dostatečně vzdělaný.

Buď budeme hodnotit dosažené vzdělání na základě konsenzu odborníků, kteří jsou schopni daný obor vnímat v kontextu podstatně širším, než je jen vyplňování složenek, nebo základní početní operace, nebo můžeme maturitu rovnou zrušit a s ní celé střední a vysoké školství. Šteffl si může otevřít své alternativní školy, kde místo učitelů budou průvodci a místo ředitelů mistři alternativních umění, či vyslanci vesmírných flotil, tajnej tam může studenty provázet až je doprovází ke stejné dutosti, kterou je obdařen sám a když někdo bude chtít dělat chirurga, tak od čeho jsou on-line kurzy, že jo. Vzpoura intelektuálních deprivantů a pitomců všeho druhu. Do dějin by se toto moderní hnutí mělo dostat pod heslem: "Jsme sice blbí, ale je nás víc."

Klaním se všem těm, kteří vysokého formálního vzdělání sami nedosáhli a přesto jsou schopni svým selským rozumem vnímat, že odbornost je důležitá a že skutečné vzdělání neznamená vágně kydat o uprchlické krizi, ani geniální prohlédnutí Putinovy snahy o ovládnutí Evropy. Když se zhaslo, nechali jsme si vyprodukovat otitulované blbečky, kteří nikdy nepochopili, co je to odbornost a v čem spočívá vzdělání. Teď je třeba udělat vše proto, aby se produkce těchto pseudovzdělanců zastavila, nebo alespoň dramaticky omezila. A k tomu je povinná maturita z matematiky ideální nástroj. Oni tihle kydalové a samoteoretikové mají s matematikou obyčejně veliké problémy, protože se v ní musí opravdu myslet a ne jen kydat o myšlení.

Anonymní řekl(a)...
22. května 2017 v 23:30  

Pánové matematici, nechci se přít, ale srovnávat meziroční data o propadovosti a z nich odvozovat zlepšení/zhoršení žáků je přeci IMO úplná pitomost. Cermat si každý rok před odesláním zkoušek do škol stanoví, jaké procento žáků by mělo projít a uzpůsobuje tomu testy - dělá testování na nějakém vzorku tuším x set či tisíc dětí (loni či předloni to majitel někde říkal) a podle výsledků přizpůsobuje počet příkladů, typ, jejich bodové hodnocení, vyjasňuje zadání ... A po skončení maturit a sebrání všech výsledků probíhá pak další analýza, kde se převádí výsledky z jednotlivých příkladů na percentily a finálně se dolaďuje hranice pro (ne)úspěšné složení zkoušek.

Tedy kdyby chtěl, aby neprošlo 20 % dětí z matematiky, tak to tak nastaví a reálný výsledek nebude nic říkat o kvalitě žáků ve srovnání s předchozími lety, kdy byly jiné příklady a jinak nastavená náročnost, ale spíše s tím, jak moc se trefili v průběhu testování do rozložení dětí v populaci a jak tvrdou tu hranici sami chtěli mít.

A to osobně považuji za vlastně jediný problém současných maturit - to že se stanovují nějaké umělé hranice na body (a to ještě bůhví kdo a bůhví na základě jakého oprávnění, protože ty hranice by neměl stanovovat soukromý subjekt na základě interních pravidel, ale mšmt na základě odborné veřejné diskuse) a liší se výrazným způsobem úspěšnost v rámci předmětů. IMO správné by bylo prostě dětem dát výsledný percentil, takže místo jedničky by dostal informaci, že je třeba 95. percentil úspěšnosti a místo pětky, že je 15. percentil, no a pak si říct, že prostě v každém předmětu 20 % nejméně úspěšných dětí neprojde v prvním pokusu (při opakování maturity u neúspěšných je to trochu složitější, tam se musí zachovat celková náročnost v daném roce a přitom změnit příklady).

A takto by se pak vůbec neměly dělit gymnazisté a negymnazisté resp. lehčí či těžší maturity - prostě dobrý student s gymnáziem nejspíš bude někde v 90+ percentilu a student s odbornou školou s menším přídělem matematiky nejspíš někde v 60+ percentilu z matematiky. No a co? Tak to prostě je, takto si proti sobě v matematice stojí a když pak třeba nějakou vysokou školu zajímají jen skvělí matematici, tak si holt nastaví. že bere lidi podle prospěchu z matematiky. Případně to ještě rozdělit do matematických disciplín, protože můžu být nejlepší na všechno, co jsem se mohl učit, ale když na SŠ nebude výuka derivací, tak prostě nebudu mít ani bod v derivacích a přesto mohu být brán za matematického premianta.

A když bude chtít někdo srovnat střední školy či učňovské či gymnázia, tak bude moci. Ten současný systém prostě není smysluplný vůbec pro nikoho, děti ani školy mezi sebou pořádně neporovnáte, vš musí nastavovat nějaké dvoje hranice ... jen snad děti ze středních škol mohou mít pocit, že jsou lepší než jsou. Ale jako student takové školy vám mohu říct, že není nic debilnějšího, než skončit s jedničkou z matematiky na maturitě a pak se naprosto nechytat na úvodní hodině technické VŠ, kde po vás chtějí integrály a derivace, které jste nikdy neviděli.

Anonymni z 21:30 řekl(a)...
23. května 2017 v 6:54  

Tome, v dnešní informační společnosti snad není problém zjistit, co se bere na mé, vybrané vysoké škole, na oboru, na který jsem se se zájmem přihlásil, předem, než nastane první hodina matematiky.

Obecně je to navíc známá věc už z dob, kdy jsem šel na školu já. Téměř jakákoliv matematika (tedy ta trochu lepší, než na humanitních oborech jeden "vystrašovací" semestr plný slovních úloh ze základní školy) na "výšce" je i o integrálech a derivacích, které většina "negymnazistů" neviděla.

krtek řekl(a)...
23. května 2017 v 7:08  

Nevím, nevím. První hodina matematiky i na matfyzu nemůže být plná integrálů a derivací, protože nejdříve musíte definovat funkce, limity, ...
A to zabere nejméně jednu hodinu.
Nespletl jste si obor? Nešel jste na nějaký pokračovací kurz?
---
Ad 20 % propadlíků - úroveň písemek je přibližně stejná. Vždycky nějakých 10 základoškolských úloh trochu jinak zadaných, sem tam nějaká funkce (ano, tam se dá nepatrně měnit obtížnost), trigonometrie, kombinatorika. Ale že by se nějaká "rada moudrých" sešla, aby rozhodla, kolik procent neprojde? Já nějak na ty spiklenecké teorie nevěřím.

Články dle data



Učitelské listy

Nabídka práce

Česká škola - portál pro ZŠ a SŠ

Česká škola poskytuje svým čtenářům diskusní prostor k vyjádření názorů na školskou problematiku. Tyto příspěvky se nemusí shodovat se stanoviskem redakce České školy a jsou uveřejňovány jako podnět k dalším diskusím.

Obsah článků nemusí vyjadřovat stanovisko redakce nebo vydavatele Albatros Media, a.s.


Všechna práva vyhrazena.

Tento server dodržuje právní předpisy
o ochraně osobních údajů.

ISSN 1213-6018




Licence Creative Commons

Obsah podléhá licenci Creative Commons Uveďte autora-Neužívejte dílo komerčně-Nezasahujte do díla 3.0 Česká republika, pokud není uvedeno jinak nebo nejde-li o tiskové zprávy.



WebArchiv - archiv českého webu



Tyto webové stránky používají k poskytování služeb, personalizaci reklam a analýze návštěvnosti soubory cookie. Informace o tom, jak tyto webové stránky používáte, jsou sdíleny se společností Google. Používáním těchto webových stránek souhlasíte s použitím souborů cookie.