Cermat nenápadně změnil pravidla hodnocení nejméně dvou typů úloh letošního maturitního testu z češtiny. Změny se týkaly úloh 4, 10, 13, 19 typu A/N a přiřazovací úlohy 20. Mám jasnou představu, proč k tomu došlo, v tomto textu se však chci věnovat jen vysvětlení, v čem změny spočívaly a jak rozsáhlé dopady mohly mít.
Další velkou výhodou je, že letošní test psalo přibližně stejně maturantů jako loni: 61 978. Kdybychom měli anonymizovaná prvotní data z letošního testu, mohli bychom na ně „vypustit“ pravidla z roku 2016, abychom viděli, k jakým změnám došlo. Zatím je nemáme, takže to uděláme opačně: „vypustíme“ na data z roku 2016 letošní pravidla. Není to samozřejmě úplně totéž, neboť letošní test byl výrazně obtížnější a neznáme úspěšnost oněch pěti letošních úloh, ale určitý obrázek nám to poskytne.
Jak změny v pravidlech vypadaly?
Základem pro přidělení bodů byl počet správně posouzených položek (A/N) či položek správně vybraných. Mohl se pohybovat od 0 do 4 (tučný červený sloupec vlevo). Z rozdílů přiřazených bodů v roce 2016 a v roce 2017 vidíme, že maturanti mohli v roce 2017 celkem pětkrát dostat víc bodů, než by za totéž dostali v roce 2016. Podle nových pravidel by tedy byli úspěšnější, a to výrazně.
Čím se změny v pravidlech projevily?
Podle starých pravidel byl průměrný výsledek v testu 32,98 bodu (z 50 možných), podle nových pravidel stoupl na 34,90 bodu. Při vyjádření úspěšnosti v procentech to znamená nárůst o téměř 4 procentní body, což je opravdu hodně. Podle starých pravidel propadlo v tomto souboru celkem 5 169 maturantů, podle nových pravidel by jich propadlo jen 2 893, tedy o 2 276 méně. Nejméně maturantů získalo v důsledku změny pravidel 5 bodů navíc – bylo jich jen 589. Naopak nejvíce maturantů získalo 2 body navíc – bylo jich 21 814. Úplný přehled o těchto změnách poskytuje následující sloupcový diagram.
Jak závisel počet přidaných bodů na úspěšnosti žáků v testu?
Odpověď na tuto otázku dává následující diagram. Na jeho svislé ose je úspěšnost v testu (hodnoty 0–50 bodů). Vodorovně je vyneseno procento žáků, kteří dosáhli příslušné úspěšnosti. Součet délek všech sloupců tedy odpovídá hodnotě 100 %. Každý sloupec je rozdělen na několik barevných částí. Jejich délka vyjadřuje procento žáků a barvy odpovídají počtu bodů, které by příslušní žáci získali navíc při bodování podle pravidel z roku 2017 (viz legenda vpravo). Například 5 bodů (světle modrá barva) by nezískali žádní žáci s úspěšností 39 bodů a víc.
Co provedla změna pravidel s rozložením úspěšnosti?
Oba diagramy znázorňují, kolik procent žáků (0 % až 5 % – viz vodorovná osa) získalo v testu počet bodů uvedený na svislé ose (0–50 bodů). Červeně jsou znázorněny sloupce odpovídající hraničnímu výsledku: 21 bodů znamenalo „neprospěl“, 22 bodů znamenalo „prospěl“. Tytéž diagramy jsme potom doplnili STEJNOU dvojicí okrových čar (>) symetrických podle vodorovné osy (––). V pravém diagramu je patrný posun, k němuž by došlo v důsledku aplikace pravidel z roku 2017.
Všechny diagramy jsou v lepší kvalitě ke stažení zde
Psáno pro EDUin a Českou školu
17 komentářů:
Slepená karnevalová čepička poslaná Cermatu byla zábavnější. Těmito suchými čísly a grafy nikoho nic moc nepobavíte.
Tady se někdo nudí...
Eva Adamová, Anonymní
Ani nejmenší snaha o věcnou diskusi, že? Hezký den!
O jakou věcnou diskuzi? Co je nám do toho, co si myslí, případně dovypočítá pan Botlík. Jednou křičí, že je maturita těžká, teď že je lehká. Co si pod tím má většina populace, neznalá statistických metod, představit. Mimochodem, dříve se statistika a pravděpodobnost alespoň nastínila v 8. třídě ZŠ.
Jestliže se změní financování na žáka, pak slušné školy (s učiteli, kteří ještě na sebe nenechají kálet) nepustí k maturitě takové procento žáků, že se z toho mnohým expertům protočí panenky. A co potom?
"Kdybychom měli anonymizovaná prvotní data z letošního testu, mohli bychom na ně „vypustit“ pravidla z roku 2016, abychom viděli, k jakým změnám došlo. Zatím je nemáme, takže to uděláme opačně: „vypustíme“ na data z roku 2016 letošní pravidla"
Pane Komárku, jak chcete věcně diskutovat s "kdyby byly ... ryby, nebyly by rybníky."?
Michale promiň. Příště se budu víc snažit o věcnou diskusi. To není jen tak, věcně diskutovat. Člověk si musí připravit podklady, aby mohl svá tvrzení dokázat, až bude vyzván k důkaznímu řízení a ne jenom plácat tady do větru, že.
Vždyť to znáš. A někdy jsou témata, která ani za diskusi nestojí. A pak jeden nabude dojmu, že věcná diskuse je ztráta času a tak se to dá odbýt tím, "že to nestojí za řeč" - slyšel jsi Michale někdy něco takového? Taky se říká "že se na to ne.......š" a jde se dál. I to je informace sama o sobě a dost věcná.
Budu na to myslet při příštím příspěvku. Možná (a to je rada zdarma) by nebylo špatné sestavit návod, "píšeme korektně a věcně s Michalem", odkaz by se mohl umístit do patičky, tam bych vymazal to zbytečné o "necenzurované diskusi" a dal tam tu příručku. Třeba by se to i prodávalo.
Hezký den!!!!
Zase jen placate....
Pane Janečku, prosím diskutujte věcně. Váš nevěcný výkřik je jasný kandidát na smazání. Děkuji! hezký večer!
Ale no tak, pane Komárku, když slovy o plácání počastoval Botlík jistou paní Adamovou, tak jeho příspěvek nebyl jasným kandidátem na smazání? Opravdu Vás ani náznakem nenapadá, že jste směšný?
Paní Adamová, pochopitelně jsem tuto reakci čekal. Nicméně - pan Botlík svůj znevažující atak, který rozhodně nijak nepodporuji, vřadil do nějaké souvislé argumentace. Potud tedy patřil do kategorie "drsnějších výměn" mezi zkušenými dlouholetými diskutéry, které nechávám - po určitou mez - být. Děkuji! Hezký večer!
Poslat někoho do prdele, to není jen tak. Je třeba to dobře odůvodnit, stát na té správné straně a posílat tam pouze vyhrazené osoby.
Hezký večer!!!
No, tak ho smažte...
---
Věcně diskutovat moc nemůžu, protože jsem pořádně nepochopil jádro toho Botlíkova problému... Jde o to, že v pěti úlohách se místo půlbodů dávají celé body nahoru?
Uznávám, že to je blbost. Ale je to tak složitě zamotané v osmém díle šesté řady nekonečného serial, že těch 2361 letošních neprávem úspěšných maturantů je mi úplně jedno...
Řešíme slohy, zatím. Nicméně - letošní tet byl skutečně náročnější než ty předešlé. Soukromě jsme tipovali více než 10 % propadlíků - až dořešíme slohy, porovnám test z roku 2013 a 2017. Pěkný večer.
Co ten Komárek, kdo to je? Snad ne nějaký nový odborník, konzultant nebo něco podobného.
Ne, to je zdejší hostinský, který občas kibicuje ;-), když moc remcáme. Akorát že my máme pocit, že na náš stůl je víc vysazený ;-)
Tak to jo, já myslel, že je to někdo chytřejší než ostatní. Dobrej hostinskej hosty neotravuje.
Bože můj. Zase Botlíkova obsendantně-kompulzivní? Budiž. Tak snad ho to na nějakou dobu zaměstná. Vyjde to asi nastajno jako obkreslování prádelního hrnce. V určité části populace bude za intelektuála, tak snad se jeho touha po slávě a obdivu naplní měrou vrchovatou.
Skutečnost, že při mírnějším hodnocení projde větší podíl populace snad nemá smysl pitvat. Ovšem platí to ceteris paribus. Jak bude Botlík prokazovat že tato podmínka je splněna, to jsem věru zvědav.
Je pravda, že se tím vlastně pouze posouvá rozdělení výsledků nejslabších žáků, protože v zásadě se dají nabrat body náhodným tipováním a střední hodnota počtu bodů při náhodném tipování je kladná. Jde tedy o umělou snahu pomoci nejslabším studentům, kteří tipují. Já bych se do takového "přilepšování" asi nepouštěl, ale na druhou stranu, že bych to musel po nocích řešit s pravítkem a dělat si symetrické zobáčky od oka a pasovat je na na první pohled nesymetrické histogramy, to vskutku ne. To mám lepší a hlavně výrazně zajímavější a intelektuálně náročnější věci na práci. Ale hlavně že je nakrmenej a dá chvilku pokoj.
Okomentovat