Oldřich Botlík: Dopady nenápadných změn v hodnocení testu z češtiny

úterý 30. května 2017 ·

Cermat nenápadně změnil pravidla hodnocení nejméně dvou typů úloh letošního maturitního testu z češtiny. Změny se týkaly úloh 4, 10, 13, 19 typu A/N a přiřazovací úlohy 20. Mám jasnou představu, proč k tomu došlo, v tomto textu se však chci věnovat jen vysvětlení, v čem změny spočívaly a jak rozsáhlé dopady mohly mít.

Skvěle se k tomu hodí anonymizovaná prvotní data z maturitního testu ČJL na jaře 2016, neboť ten rovněž obsahoval čtyři úlohy typu A/N a jednu přiřazovací úlohu. V datovém souboru jsou podrobné údaje o tom, jak tyto úlohy řešilo 61 745 maturantů. To znamená, že známe nejen jejich bodové zisky, ale u každého víme, jak odpovídal – tedy například ANNN, případně AANA atd. Můžeme tedy zjistit, kolik bodů by maturant v těchto úlohách získal podle pravidel roku 2016 a kolik podle pravidel roku 2017.

Další velkou výhodou je, že letošní test psalo přibližně stejně maturantů jako loni: 61 978. Kdybychom měli anonymizovaná prvotní data z letošního testu, mohli bychom na ně „vypustit“ pravidla z roku 2016, abychom viděli, k jakým změnám došlo. Zatím je nemáme, takže to uděláme opačně: „vypustíme“ na data z roku 2016 letošní pravidla. Není to samozřejmě úplně totéž, neboť letošní test byl výrazně obtížnější a neznáme úspěšnost oněch pěti letošních úloh, ale určitý obrázek nám to poskytne.

Jak změny v pravidlech vypadaly?

Základem pro přidělení bodů byl počet správně posouzených položek (A/N) či položek správně vybraných. Mohl se pohybovat od 0 do 4 (tučný červený sloupec vlevo). Z rozdílů přiřazených bodů v roce 2016 a v roce 2017 vidíme, že maturanti mohli v roce 2017 celkem pětkrát dostat víc bodů, než by za totéž dostali v roce 2016. Podle nových pravidel by tedy byli úspěšnější, a to výrazně.




Čím se změny v pravidlech projevily?

Podle starých pravidel byl průměrný výsledek v testu 32,98 bodu (z 50 možných), podle nových pravidel stoupl na 34,90 bodu. Při vyjádření úspěšnosti v procentech to znamená nárůst o téměř 4 procentní body, což je opravdu hodně. Podle starých pravidel propadlo v tomto souboru celkem 5 169 maturantů, podle nových pravidel by jich propadlo jen 2 893, tedy o 2 276 méně. Nejméně maturantů získalo v důsledku změny pravidel 5 bodů navíc – bylo jich jen 589. Naopak nejvíce maturantů získalo 2 body navíc – bylo jich 21 814. Úplný přehled o těchto změnách poskytuje následující sloupcový diagram.




Jak závisel počet přidaných bodů na úspěšnosti žáků v testu?

Odpověď na tuto otázku dává následující diagram. Na jeho svislé ose je úspěšnost v testu (hodnoty 0–50 bodů). Vodorovně je vyneseno procento žáků, kteří dosáhli příslušné úspěšnosti. Součet délek všech sloupců tedy odpovídá hodnotě 100 %. Každý sloupec je rozdělen na několik barevných částí. Jejich délka vyjadřuje procento žáků a barvy odpovídají počtu bodů, které by příslušní žáci získali navíc při bodování podle pravidel z roku 2017 (viz legenda vpravo). Například 5 bodů (světle modrá barva) by nezískali žádní žáci s úspěšností 39 bodů a víc.




Co provedla změna pravidel s rozložením úspěšnosti?

Oba diagramy znázorňují, kolik procent žáků (0 % až 5 % – viz vodorovná osa) získalo v testu počet bodů uvedený na svislé ose (0–50 bodů). Červeně jsou znázorněny sloupce odpovídající hraničnímu výsledku: 21 bodů znamenalo „neprospěl“, 22 bodů znamenalo „prospěl“. Tytéž diagramy jsme potom doplnili STEJNOU dvojicí okrových čar (>) symetrických podle vodorovné osy (––). V pravém diagramu je patrný posun, k němuž by došlo v důsledku aplikace pravidel z roku 2017.





Všechny diagramy jsou v lepší kvalitě ke stažení zde

Psáno pro EDUin a Českou školu

17 komentářů:

Eva Adamová řekl(a)...
30. května 2017 13:39  

Slepená karnevalová čepička poslaná Cermatu byla zábavnější. Těmito suchými čísly a grafy nikoho nic moc nepobavíte.

Anonymni z 21:30 řekl(a)...
30. května 2017 13:44  

Tady se někdo nudí...

Michal Komárek řekl(a)...
30. května 2017 14:24  

Eva Adamová, Anonymní

Ani nejmenší snaha o věcnou diskusi, že? Hezký den!

Charlie řekl(a)...
30. května 2017 15:14  

O jakou věcnou diskuzi? Co je nám do toho, co si myslí, případně dovypočítá pan Botlík. Jednou křičí, že je maturita těžká, teď že je lehká. Co si pod tím má většina populace, neznalá statistických metod, představit. Mimochodem, dříve se statistika a pravděpodobnost alespoň nastínila v 8. třídě ZŠ.

Jestliže se změní financování na žáka, pak slušné školy (s učiteli, kteří ještě na sebe nenechají kálet) nepustí k maturitě takové procento žáků, že se z toho mnohým expertům protočí panenky. A co potom?

krtek řekl(a)...
30. května 2017 15:17  

"Kdybychom měli anonymizovaná prvotní data z letošního testu, mohli bychom na ně „vypustit“ pravidla z roku 2016, abychom viděli, k jakým změnám došlo. Zatím je nemáme, takže to uděláme opačně: „vypustíme“ na data z roku 2016 letošní pravidla"

Pane Komárku, jak chcete věcně diskutovat s "kdyby byly ... ryby, nebyly by rybníky."?

Anonymni z 21:30 řekl(a)...
30. května 2017 15:34  

Michale promiň. Příště se budu víc snažit o věcnou diskusi. To není jen tak, věcně diskutovat. Člověk si musí připravit podklady, aby mohl svá tvrzení dokázat, až bude vyzván k důkaznímu řízení a ne jenom plácat tady do větru, že.

Vždyť to znáš. A někdy jsou témata, která ani za diskusi nestojí. A pak jeden nabude dojmu, že věcná diskuse je ztráta času a tak se to dá odbýt tím, "že to nestojí za řeč" - slyšel jsi Michale někdy něco takového? Taky se říká "že se na to ne.......š" a jde se dál. I to je informace sama o sobě a dost věcná.

Budu na to myslet při příštím příspěvku. Možná (a to je rada zdarma) by nebylo špatné sestavit návod, "píšeme korektně a věcně s Michalem", odkaz by se mohl umístit do patičky, tam bych vymazal to zbytečné o "necenzurované diskusi" a dal tam tu příručku. Třeba by se to i prodávalo.

Hezký den!!!!

Jiri Janecek řekl(a)...
30. května 2017 17:53  

Zase jen placate....

Michal Komárek řekl(a)...
30. května 2017 18:08  

Pane Janečku, prosím diskutujte věcně. Váš nevěcný výkřik je jasný kandidát na smazání. Děkuji! hezký večer!

Eva Adamová řekl(a)...
30. května 2017 18:34  

Ale no tak, pane Komárku, když slovy o plácání počastoval Botlík jistou paní Adamovou, tak jeho příspěvek nebyl jasným kandidátem na smazání? Opravdu Vás ani náznakem nenapadá, že jste směšný?

Michal Komárek řekl(a)...
30. května 2017 18:46  

Paní Adamová, pochopitelně jsem tuto reakci čekal. Nicméně - pan Botlík svůj znevažující atak, který rozhodně nijak nepodporuji, vřadil do nějaké souvislé argumentace. Potud tedy patřil do kategorie "drsnějších výměn" mezi zkušenými dlouholetými diskutéry, které nechávám - po určitou mez - být. Děkuji! Hezký večer!

Anonymni z 21:30 řekl(a)...
30. května 2017 19:20  

Poslat někoho do prdele, to není jen tak. Je třeba to dobře odůvodnit, stát na té správné straně a posílat tam pouze vyhrazené osoby.

Hezký večer!!!

Jiri Janecek řekl(a)...
30. května 2017 19:20  

No, tak ho smažte...
---

Věcně diskutovat moc nemůžu, protože jsem pořádně nepochopil jádro toho Botlíkova problému... Jde o to, že v pěti úlohách se místo půlbodů dávají celé body nahoru?
Uznávám, že to je blbost. Ale je to tak složitě zamotané v osmém díle šesté řady nekonečného serial, že těch 2361 letošních neprávem úspěšných maturantů je mi úplně jedno...

Veronika Valíková řekl(a)...
30. května 2017 23:16  

Řešíme slohy, zatím. Nicméně - letošní tet byl skutečně náročnější než ty předešlé. Soukromě jsme tipovali více než 10 % propadlíků - až dořešíme slohy, porovnám test z roku 2013 a 2017. Pěkný večer.

Datel řekl(a)...
31. května 2017 7:07  

Co ten Komárek, kdo to je? Snad ne nějaký nový odborník, konzultant nebo něco podobného.

krtek řekl(a)...
31. května 2017 11:16  

Ne, to je zdejší hostinský, který občas kibicuje ;-), když moc remcáme. Akorát že my máme pocit, že na náš stůl je víc vysazený ;-)

Datel řekl(a)...
31. května 2017 12:48  

Tak to jo, já myslel, že je to někdo chytřejší než ostatní. Dobrej hostinskej hosty neotravuje.

Pavel Doležel řekl(a)...
31. května 2017 16:57  

Bože můj. Zase Botlíkova obsendantně-kompulzivní? Budiž. Tak snad ho to na nějakou dobu zaměstná. Vyjde to asi nastajno jako obkreslování prádelního hrnce. V určité části populace bude za intelektuála, tak snad se jeho touha po slávě a obdivu naplní měrou vrchovatou.

Skutečnost, že při mírnějším hodnocení projde větší podíl populace snad nemá smysl pitvat. Ovšem platí to ceteris paribus. Jak bude Botlík prokazovat že tato podmínka je splněna, to jsem věru zvědav.

Je pravda, že se tím vlastně pouze posouvá rozdělení výsledků nejslabších žáků, protože v zásadě se dají nabrat body náhodným tipováním a střední hodnota počtu bodů při náhodném tipování je kladná. Jde tedy o umělou snahu pomoci nejslabším studentům, kteří tipují. Já bych se do takového "přilepšování" asi nepouštěl, ale na druhou stranu, že bych to musel po nocích řešit s pravítkem a dělat si symetrické zobáčky od oka a pasovat je na na první pohled nesymetrické histogramy, to vskutku ne. To mám lepší a hlavně výrazně zajímavější a intelektuálně náročnější věci na práci. Ale hlavně že je nakrmenej a dá chvilku pokoj.



Články dle data

Učitelské listy

Nabídka práce

Česká škola - portál pro ZŠ a SŠ

Česká škola poskytuje svým čtenářům diskusní prostor k vyjádření názorů na školskou problematiku. Tyto příspěvky se nemusí shodovat se stanoviskem redakce České školy a jsou uveřejňovány jako podnět k dalším diskusím.

Obsah článků nemusí vyjadřovat stanovisko redakce nebo vydavatele Albatros Media, a.s.


Všechna práva vyhrazena.

Tento server dodržuje právní předpisy
o ochraně osobních údajů.

ISSN 1213-6018




Licence Creative Commons

Obsah podléhá licenci Creative Commons Uveďte autora-Neužívejte dílo komerčně-Nezasahujte do díla 3.0 Česká republika, pokud není uvedeno jinak nebo nejde-li o tiskové zprávy.



WebArchiv - archiv českého webu



Tyto webové stránky používají k poskytování služeb, personalizaci reklam a analýze návštěvnosti soubory cookie. Informace o tom, jak tyto webové stránky používáte, jsou sdíleny se společností Google. Používáním těchto webových stránek souhlasíte s použitím souborů cookie.