Ředitel CERMATu reaguje na článek „Co říkají maturitní data: jaká část maturity z češtiny představuje pro žáky největší problém“

pátek 26. května 2017 ·

V úvodním odstavci autoři článku dospívají k závěru, že důvodem rostoucí neúspěšnosti maturantů v testu z českého jazyka a literatury není horší úroveň maturantů, ale stále náročnější úlohy, které ověřují znalosti, jimž se učitelé na odborných školách mohou věnovat jen okrajově. Jaký závěr si tedy má čtenář z uvedeného tvrzení dovodit? Znamená to, že se v testu z českého jazyka nemají objevovat úlohy zaměřené na pravopis a mluvnici? To jsou totiž ty úlohy, ve kterých žáci nejvíce selhávají. Má tedy tvůrce testu rezignovat na ověřování vědomostí a dovedností zakotvených v rámcových vzdělávacích programech a katalozích požadavků, nebo je potřeba, aby školy věnovaly základům jazyka patřičnou pozornost?

Jiří Zíka (repro ČT)
Pan Oldřich Botlík dospívá ve svém komentáři k závěru, že na vině je, jak píše, „postupné bytnění tzv. katalogů požadavků“. Je pravdou, že na základě katalogu požadavků, který byl schválen po širokém připomínkovém řízení MŠMT v roce 2013, byly do testu z českého jazyka a literatury od roku 2015 zařazeny otevřené úlohy bez nabídky odpovědí. Tento test byl do té doby jediný, kde se tento typ úloh neobjevoval. Podrobnou srovnávací analýzou úspěšnosti řešení úloh s nabídkou odpovědi a úloh otevřených bylo zjištěno, že vložením zhruba pěti otevřených úloh do testu, a to bez jakéhokoli navýšení jejich vnitřní obtížnosti, dochází k nárůstu neúspěšnosti v testu o cca 4 až 6 procentních bodů. Konkrétně maturanti, kteří v testu v roce 2015 dosáhli celkové úspěšnosti  42 %, řešili uzavřené úlohy s průměrnou úspěšností 51 %, ale úlohy otevřené s průměrnou úspěšností jen 15 %. Katalog požadavků tedy nijak nezbytněl, ale změnila se konstrukce testu. Vřazení otevřených úloh výrazně přispělo k nárůstu reliability (přesnosti měření) testů. Došlo totiž ke snížení náhodného skóru testu, tj. možnosti odpověď tipovat. Test doznal významného nárůstu kvality. Je pochopitelné, že zmíněná opatření posílila zejména diskriminaci testu. Jejich dopad je tak patrný na podílu neúspěšných žáků. Naproti tomu má změna relativně velmi malý vliv na průměrnou úspěšnost, myšleno průměrný procentní skór.

Při porovnávání výsledků mezi lety 2014 až 2016 je tedy nutné zohlednit zejména výše zmíněné dopady vycházející z úpravy katalogu požadavků.

Pan Tomáš Feřtek ve svém komentáři tvrdí, že v testu přibývá rok od roku otázek, které nepatří do takzvaného nepodkročitelného minima. Kromě toho, že není zřejmé, z jaké analýzy k takovému závěru pan Feřtek dospěl, není to ani pravda. Testy jsou konstruovány vždy tak, aby obsahovaly dostatečný počet otázek na základní vědomosti a dovednosti. V následujícím grafu je ukázáno porovnání „bodové dostupnosti“ v závislosti na úspěšnosti řešení jednotlivých otázek v letech 2016 a 2017, tedy v letech, kdy se testy konaly na základě stejných katalogů požadavků.



Nejsnadnější část testu (13 bodů, tj. 26 %) řešili maturanti v r. 2017 s vyšší průměrnou úspěšností. Další část testu (16 bodů, tj. 32 % testu) tvoří středně obtížné úlohy s průměrnou úspěšností 80 %–60 %. V těchto úlohách byli o něco úspěšnější žáci v r. 2016. Úlohy s úspěšností 60 %–50 % (11 bodů, tj. 22 % testu) řešili maturanti v obou testech naprosto srovnatelně a nejtěžší úlohy s úspěšností pod 50 % (posledních 8 bodů, tj. 16 % testu) byly lépe řešeny v r. 2017.

Maturanti by neměli mít problémy minimálně s prvními dvěma skupinami úloh, které tvoří asi 58 % testu (tedy i žáci SOŠ a SOU). Přesto byly v letošním testu zaznamenány o něco větší problémy žáků se středně obtížnými úlohami. Toto lze přisoudit mimo jiné nevhodné přípravě k maturitě na některých typech škol. Bohužel často i média propagují názor, že k přípravě na maturitu je třeba nacvičovat testy. To není šťastná cesta, neboť žádný test nemůže obsáhnout všechny požadavky z katalogu, resp. veškeré požadavky, které by měl žák splnit v běžné výuce. Nácvik jednoho testu nezaručuje úspěch v jiném testu. Nezřídka se pak v odpovědích žáků v naposledy realizovaném testu objevují odpovědi z testů minulých.  V letošním roce se opět projevilo, že žáci nemají upevněny ani znalosti ze základní školy. Pokud se aktuální test zaměří na některou z dosud neprověřovaných oblastí, potom zejména žáci připravující se pouze nácvikem starších testů mají problémy (zpravidla žáci ze SOŠ a SOU, kteří nemají pevné základy ze základní školy). Tito žáci, jak se ukázalo, úlohy buď neřeší, nebo je řeší s použitím nacvičených odpovědí z minulých testů. V této souvislosti je zajímavé, že žáci SOU měli v letošním testu relativně menší problémy než žáci SOŠ, pokud porovnáme změny úspěšnosti řešení testů v roce 2016 a 2017.

V letošním roce se také jasně ukázalo, jak velký vliv na výsledek může mít studium. Maturanti středních odborných škol konající test v řádném termínu dosáhli v testu v roce 2017 nižší průměrné úspěšnosti zhruba o 0,73 procentního bodu než v testu z roku 2016. Naproti tomu maturanti stejných typů škol konající test v opravném termínu dosáhli v letošním testu úspěšnosti vyšší o více než jeden procentní bod. Lze tedy předpokládat, že po loňském neúspěchu byli ke studiu silněji motivováni.

Jak je vidět při podrobnějším pohledu na problematiku, pro „silné a úderné závěry“ je potřeba poctivé a hluboké analýzy příčinných souvislostí.

9 komentářů:

Veronika Valíková řekl(a)...
26. května 2017 v 14:56  

Testy jsou obtížnější než původní základní úroveň OBJEKTIVNĚ A VIDITELNĚ.

Je v mnich mnohem více dlouhých textů a pojmů, s nimiž student musí pracovat. Literární teorie historie + jazykovědné termíny jsou zastoupeny možná výrazněji než pravopis, interpunkce a jednoduchá stylistika. Testy požadují po studentech větší míru abstraktního uvažování a rychlou orientaci v textech.

Obecně lze říct, že zatímco první testy z ČJL základní úrovně byly zaměřeny na praktické užívání jazyka, ty současné se mnohem více věnují teorii jazyka a literatury a stojí někde uprostřed mezi původní ZÚ a VÚ.

Ráda panu Źíkovi vyrobím analýzu - rozebírala jsem několk sad testů VÚ i ZÚ a dělala si čárky za jednotlivé typy úloh. Jen nevím, jestli najdu staré testy VÚ.

krtek řekl(a)...
26. května 2017 v 15:35  

Ano. A? Pan Zíka mluví o úrovni od roku 2013, tedy po zrušení dvou úrovní.

Veronika Valíková řekl(a)...
26. května 2017 v 15:58  

Ok. Test v roce 2013 byl o něco těžší než z ZÚ 2012, ne o mnoho.

Test v roce 2017 je obtížnější než test v roce 2013. Pravděpodobně nemám ve skříni jaro 3013, ale pokud mi test pan Zíka pošle, ráda udělám rozbor. Pěkný den.

Ygrain řekl(a)...
26. května 2017 v 22:17  

Paní Valíková, starší angličtiny jsou na netu všechny, čeština bude taky.

Tajný Učitel řekl(a)...
27. května 2017 v 11:24  

Testy jsou obtížnější, nepřímá úměra, více textu, více distraktorů, nepřehledná zadání = méně času = vyšší obtížnost. Co je na tom nejasného? Pan ředitel zřejmě neví, co jeho lidé konstruují, navíc takříkajíc bez povolení chlebodárce. Někde se už ví, že nahoře se neví, improvizuje, šteluje a látá. Nelze se divit, tak je v kotlince všude a se vším. Až se bude vědět, že vrchnost neví, obecně a mezi lidem, pak snad bude něco uděláno. Spíše ale až za dvě generace.

krtek řekl(a)...
27. května 2017 v 12:24  

A navíc ta cizí slova a pravopis. Vždyť to zvládne korektor a on-line slovník. A ty minuty jsou taky kratší. Chudáci děti.
---
Akorát mi včera dva maturanti říkali, že kdyby se více učili, dopadli by lépe. Jeden udělal, druhý opakuje v září.

Tajný Učitel řekl(a)...
27. května 2017 v 18:41  

krtku, uniká vám podstata problému. Tím není, že někteří žáci se učí a jiní ne, ani "umetání cestiček" nebo certifikáty "zadarmo". Podstatou problému je, že testy je nutno kalibrovat tak, aby se nestalo, že by je zvládli "všichni", tudíž existuje procento žádoucích propadlíků, ke kterému je testy nutno vyrobit, vyzkoušet na vzorku, dolaďovat apod. Ještě dalším problémem je, podle koho/čeho zmiňovanou obtížnost cermat nastavuje; zda tak činí tak nějak sám od sebe, interně, podle dojmů panelu odborníků, nebo podle lobbistů, nebo dle zadání nadřízeného orgánu(zdá se, že ne).

Otázkou tedy je, zda jsou didaktické testy určeny k ověření znalostí maturantů, nebo k dosažení určitého, předem daného procenta propadlíků a to i s pomocí nástrojů, které vůbec nemají co dělat s ověřováním vědomostí. Tato dvě zadání jsou neslučitelná, nicméně současný formát testů je v sobě má zabudované. Proto jsou tyto standardizované testy prohnilé takříkajíc od kořene.

Hraje si tam někdo arbitrárně s obtížností, protože pánové profesoři se domnívají, se se gymnazisté maturitě smějí? Naslouchá někdo žákům SOU, kteří naopak pláčou? Kdo a proč řekl, "Nastavte to na dvacet procent" nebo "přihoďte padesát slov k testovým úlohám xy v DT AJ". Pak je nutno se ptát, kde je limit obtížnosti a je vůbec nějaký a kdo a podle čeho jej určí? Kdy budou pánové profesoří/lobbisté/průmyslníci spokojeni? Rozumíte už o co zde jde?

krtek řekl(a)...
28. května 2017 v 6:41  

Já myslel, že zrovna Vy naspiklenecké teorie nevěříte. Ale když se to hodí...
---
Některé čtvrtletky nebo srovnávací práce z matematiky na naší škole dopadají skoro tragicky. Myslíte, že to je proto, že je schválně děláme tak těžké? Že chceme žáky poslat z naší školy na učiliště? Že se jim mstíme? Ty výsledky odpovídají úspěšnosti u maturit.

Tajný Učitel řekl(a)...
28. května 2017 v 10:51  

krtku, tohle není spiklenecká teorie. Zkouška tímto způsobem se jednoduše kalibrovat musí. Výsledky musí být do velké míry předvídatelné. To vám stoprocentně potvrdí kdokoli se plošnými testy zabýval. Rozdíl mezi zkouškou/písemkou ve škole a DT je, že, pokud chcete zjistit, zda žák zvládá nějaké učivo, tak mu jednoduše vytvoříte možnost tyto znalosti použít. Například, chcete-li v AJ zjistit, zda žák zvládá písemnou formou předpřítomný čas průběhový, dáte mu za úkol napsat písemnou práci s vhodným tématem, přičemž budete hodnotit gramatickou a významovou správnost použití jevu v kontextu. To samé lze udělat třeba s učivem za čtvrtletí, přičemž upravíte čas, aby žáci měli možnost písemku zvládnout bez zbytečného chvatu, jelikož víte, že spěch nepřidává na kvalitě a chcete mít skutečný obrázek o žákových dovednostech.

Tzn, chcete zjistit co žák zná a umí. Netvoříte zkoušku s výhledem na procenta propadlíků/úspěšných. Netvoříte zkoušku s ohledem na její snadnou a rychlou zadavatelnost a strojovou hodnotitelnost (aspoň doufám). Nemusíte-li brát potaz tyto faktory, odpadá potřeba koncipovat zkoušku jako překážkový běh na čas. Doufám, že vnímáte ten zásadní rozdíl ve výchozím bodu/hledisku, který vrhá stín na celý proces tvorby, zadávání a hodnocení zkoušek.

Články dle data



Učitelské listy

Nabídka práce

Česká škola - portál pro ZŠ a SŠ

Česká škola poskytuje svým čtenářům diskusní prostor k vyjádření názorů na školskou problematiku. Tyto příspěvky se nemusí shodovat se stanoviskem redakce České školy a jsou uveřejňovány jako podnět k dalším diskusím.

Obsah článků nemusí vyjadřovat stanovisko redakce nebo vydavatele Albatros Media, a.s.


Všechna práva vyhrazena.

Tento server dodržuje právní předpisy
o ochraně osobních údajů.

ISSN 1213-6018




Licence Creative Commons

Obsah podléhá licenci Creative Commons Uveďte autora-Neužívejte dílo komerčně-Nezasahujte do díla 3.0 Česká republika, pokud není uvedeno jinak nebo nejde-li o tiskové zprávy.



WebArchiv - archiv českého webu



Tyto webové stránky používají k poskytování služeb, personalizaci reklam a analýze návštěvnosti soubory cookie. Informace o tom, jak tyto webové stránky používáte, jsou sdíleny se společností Google. Používáním těchto webových stránek souhlasíte s použitím souborů cookie.