Centrum pro zjišťování výsledků vzdělávání (Centrum) je ze zákona odpovědné za tvorbu testů. Centrum připravuje pro maturitní zkoušku testy tak, aby byly v maximální možné míře pro žákovskou populaci meziročně srovnatelné.
 |
| Jiří Zíka (repro ČT) |
Centrum připravuje testy jako celek a zařazuje do nich úlohy různých typů a obtížností. Obtížnost testů je určována vnitřní obtížností jednotlivých otázek a způsobem jejich hodnocení. Obtížnost jednotlivých otázek je posuzována na základě ověřovacích testování (pilotáží) a na základě expertního odhadu. Výsledkem kombinace těchto úprav musí pak být test, který vykazuje meziročně obdobné psychometrické parametry a obdobné rozložení obtížnosti úloh. Bodování svazků úloh se řídí jejich vnitřní konzistencí, obtížností ověřované látky a celkovou konstrukcí testu.
Výsledkem takového konceptu je, jak ukazuje níže uvedené porovnání „bodové dostupnosti“ v závislosti na úspěšnosti řešení jednotlivých otázek v letech 2016 a 2017, tedy v letech, kdy se testy konaly na základě stejných katalogů požadavků, meziročně dobře srovnatelný test.
Nejsnadnější část testu (13 bodů, tj. 26 %) řešili maturanti v r. 2017 s vyšší průměrnou úspěšností. Další část testu (16 bodů, tj. 32 % testu) tvoří středně obtížné úlohy s průměrnou úspěšností 80 % – 60 %. V těchto úlohách byli o něco úspěšnější žáci v r. 2016. Úlohy s úspěšností 60 % – 50 % (11 bodů, tj. 22 % testu) řešili maturanti v obou testech naprosto srovnatelně a nejtěžší úlohy s úspěšností pod 50 % (posledních 8 bodů, tj. 16 % testu) byly lépe řešeny v r. 2017.
.png)
36 komentářů:
Vata.
"Žádným předpisem, a to ani interním, není stanoven způsob bodování jednotlivých úloh. Ten je určován autory testů s ohledem na celkovou obtížnost testu a rozložení obtížnosti jednotlivých otázek."
A s ohledem na jiné potřeby. Říká se tomu kalibrace.
Proč se s tím hýbe? Kdo o tom rozhoduje, podle čeho a jsou změny autorizované?
Promiňte, ale zná student v okamžiku zkoušky počet bodů za každý úspěšně vyřešený úkol?
Podle třeba tohoto bych řekl, že asi jo:
https://dokumenty.cermat.cz/Sdilene%20dokumenty/MATURITA/Maturita%202017/P%C3%ADsemn%C3%A9%20zkou%C5%A1ky%20S%C4%8C%20MZ%202017/MA/MA_jaro_2017_DT.pdf
Pak celkem nechápu, proč ředitel Zíka vůbec na takovou kravinu reaguje...
Jistě. :) Pokud se počet bodů za jednotlivé úkoly za pochodu třeba nezměnil.
Tak letošním hitem léta bude zřejmě zpochybňování stejné obtížnosti testů v čase. No, abych se přiznal, jsem zklamán. Evidentně dochází munice. Ačkoliv Botlík s Kartousem a Štefflem se snaží, co jim síly stačí, jediným efektem je zdokonalování Cermatu. V zásadě tito pánové zadarmo (???) pomáhají Cermatu se neustále zlepšovat.
Tajnej, jděte už do řiti s tím omíláním kalibrace o níž víte prd. Cermat stanovuje minimální hranici počtu dosažených bodů, nikoliv maximální podíl populace, který proleze. Když se studenti řádně naučí tak, aby zvládali výborně alespoň látku základní školy, nemá Cermat jak zabránit tomu, aby maturitu udělali všichni. Vy na jednu stranu zneužíváte faktu, že populace má nějaké statistické vlastnosti pokud jde o rozdělení intelektu a kognitivních schopností a na druhou stranu se snažíte předstírat, že nic není předem dáno a tudíž nelze říci předem, kdo bude jak úspěšný. Musíte se rozmyslet, jestli tedy platí to první, nebo to druhé. V obou případech ovšem máte smolíka, protože to buď vede na vhodnost ověřování neměnného postavení jedince na škále intelektových schopností, které jsou neměnné, nebo nelze předvídat, jak na tom kdo přesně je, pak ale těžko můžete někoho obviňovat z toho, že něco kalibruje tak, aby nějaký podíl populace neuspěl. Musíte se malinko zamyslet.
Právě jsem se vrátil. Rodinka zdraví.
Vy na jednu stranu zneužíváte faktu, že populace má nějaké statistické vlastnosti pokud jde o rozdělení intelektu a kognitivních schopností a na druhou stranu se snažíte předstírat, že nic není předem dáno...
Potíž je, že platí obojí. Chcete snad říct, že cermat testy nekalibruje? Myslíte, že by riskoval situaci, kdy by zkoušku udělali "všichni"? Zíka sám pravil, že maturitu nemohou mít všichni, protože pak by ztratila smysl, nebo tak něco. Naštěstí lze test poměrně snadno nastavit tak, aby se tento černý scénář nemohl stát a to i pomocí nástrojů, které nemají co dělat s ověřováním vědomostí, nýbrž představují uměle vytvořené překážky, sloužící k jemné kalibraci.
Tvrdím, že zkouška je validní, pokud vytvoří žákovi optimální prostředí k prokázání jeho znalostí. Tedy nejen žákovi, který disponuje vysokým IQ, či tzv rychlou inteligencí, nýbrž i žákovi průměrnému, pomalejšímu, pečlivému, který znalosti takříkajíc vydřel. I tací si zaslouží příležitost prokázat co umí, aniž by byli nucení stát se účastníky závodu.
Jak to v tom Cermatu dělají, že nikdy žádné otázky neunikly přes ten kalibrující vzorek?
---
"Jistě. :) Pokud se počet bodů za jednotlivé úkoly za pochodu třeba nezměnil."
Jako mezi napsáním a opravením? Nebo během psaní testu?
To se někdy stalo?
Nevím, zeptejte se jich.
Myslím, že stačí nakalibrovat jednou dvakrát typově stejné úlohy, pak snadno dosadit jiné učivo. Výsledek bude srovnatelný. Obtížnost - úspěšnost produktu lze snadno upravovat změnou bodového hodnocení jednotlivých úloh či pod-úloh, přidáním/odebráním textu, přidáním odebráním distraktorů, prodloužením/zkrácením času nebo kombinací toho všeho.
Neztrácejte čas zpochybňováním evidentního.
To, že něco lze, ještě neimplikuje, že se to i děje.
Třeba některé výroky působí dojmem, že je vyslovil člověk po lobotomii.
Ale to ještě nedokazuje, že se jejich autorovi skutečně někdo hrabal v mozku.
Bez důkazů jsme v rovině konspiračních teorií:
Bilderberg, Marťani nebo Zika sedí za stolem a určují, kolik procent maturantů v ČR smí získat maturitní vysvědčení.
A kdo nemůže dokázat, že tomu tak není, je sám také zaprodanec.
Tak jo...
:-)
Myslím, že stačí nakalibrovat jednou dvakrát typově stejné úlohy, pak snadno dosadit jiné učivo. Výsledek bude srovnatelný.
Tak jednoduché to fakt není. Vždycky se úloha musí na nějakém vzorku ověřovat. A často se stane, že její statistické charakteristiky vyjdou jinak, než autoři předpokládali.
Chcete snad říct, že cermat testy nekalibruje? Myslíte, že by riskoval situaci, kdy by zkoušku udělali "všichni"?
Doufám, že CERMAT testy kalibruje, aby byla meziročně zachována stejná obtížnost. Nikoli proto, aby nějaký předem daný podíl populace neuspěl. To je až důsledek vyplývající z rozdělení schopností v populaci. Nelze CERMAT obviňovat z přirozeně nastávajících důsledků.
"Doufám, že CERMAT testy kalibruje, aby byla meziročně zachována stejná obtížnost. Nikoli proto, aby nějaký předem daný podíl populace neuspěl. To je až důsledek vyplývající z rozdělení schopností v populaci. Nelze CERMAT obviňovat z přirozeně nastávajících důsledků."
Kvůli zachování meziročně stejné obtížnosti (mimochodem, ani toto už neplatí) se tedy kalibruje. Ta obtížnost je definovaná procenty úspěšných/neúspěšných maturantů. Zatím se shodneme?
Kapacity onehdy prohlásili, že obtížnost DT se meziročně zvyšuje, "aby se gymnazisté nesmáli". P. Zíka pravil, že DTAJ je příliš snadný. Zřejmě, protože v porovnání s ČJ a Ma je úspěšnost vyšší. Ministerstvo tvrdí, že neautorizovalo žádné zvýšení obtížnosti. Přesto se tak děje. Netvrdím, že je to konspirace, pouze, že není jasné kdo, proč a na čí pokyn tak činí. Je to důležité, protože to ovlivňuje životy našich žáků. Pokud to trivializujete, čůráte si do bot. Přenecháváte rozhodování o klíčových životních momentech vašich žáků organizaci, která každoročně mění maturitní zkoušku z pohnutek a východisek, které neznáme. Chápu, že jsme zvyklí poslouchat vrchnost, ale nejsou, neměly by někde být, meze?
"Přenecháváte rozhodování o klíčových životních momentech vašich žáků organizaci,"
Cermat se za ně bude od první třídy i učit? To je novinka, nechcete o ní napsat článek?
Když o budoucnosti dětí rozhodují tisíce učitelů, mnohdy pod nátlakem či bez účinné kontroly, nebo dokonce bez kritérií, v extrémním případě Tajného Učitele s názory sabotujícími smysl a význam hodnocení (rozhoduje cokoli jiného než vlastní výkon), je vše v pořádku. Jakmile se objeví cokoli, co podmínky "rozhodování o budoucnosti" srovnává, spouští se hysterie na téma nespravedlnost.
Kvůli zachování meziročně stejné obtížnosti (mimochodem, ani toto už neplatí) se tedy kalibruje. Ta obtížnost je definovaná procenty úspěšných/neúspěšných maturantů. Zatím se shodneme?
Je mi líto, ale obtížnost není definovaná procenty úspěšných/neúspěšných.
Stejná obtížnost u dvou různých testů znamená, že ať řešitel dostane první, nebo druhý, má stejnou pravděpodobnost úspěchu/neúspěchu. Např. když žákům zadáte písemku s variantami A a B, abyste ztížil opisování, mělo by být pro žáka jedno, zda zrovna řeší A, nebo B. Pokud nějakou větší skupinu rozdělíte náhodně na dvě a každé dáte jednu variantu, měla by se rozdělení počtu bodů u obou variant rovnat. (Na to mají statistici klasický t-test, ale existují i přísnější nástroje, např. Kolmogorov-Smirnovův test.)
V praxi se obvykle velké množství úloh pretestuje na stovkách žáků, z toho se získají odhady parametrů úloh.
Ale pozor. "Stejná obtížnost" znamená, že nový test by předchozí účastníci řešili se stejnou úspěšností, jako řešili starý test. Nic to ale neříká o nových účastnících.
Příklad. V roce 2015 jsem vytvořil test z angličtiny s variantami A a B. Na ověření jsem si pozval skupinu řekněme 400 dobrovolníků, varianty jsem mezi ně rozdělil náhodně. Průměrné skóre v obou variantách bylo 60 bodů ze 100 možných a i další statistické charakteristiky byly stejné. Hurá, mám stejně obtížné varianty.
Variantu A jsem zadal v roce 2016 a účastníci v ní získali průměrně 55 bodů (ze 100 možných). O rok později jsem zadal variantu B a účastníci v ní získali průměrně 65 bodů. V obou dvou letech byla hranice úspěšnosti stejná.
Kontrolní otázka: kdybych varianty prohodil, kolik by bylo průměrné skóre?
Správná odpověď: nejpravděpodobnější je, že by průměr v roce 2016 byl opět 55 bodů a v roce 2017 opět 65 bodů.
Jak je vidět, varianty jsem nekalibroval na to, aby uspěl či neuspěl stejný podíl lidí. Kalibroval jsem je tak, aby pro stejnou skupinu lidí bylo jedno, zda dělá jednu, nebo druhou variantu. V roce 2017 by uspělo víc účastníků než o rok dřív, ale to mě při konstrukci variant netrápí. Prostě toho u testu víc uměli.
Z toho plyne:
* je možné připravit stejně obtížné varianty, aniž bych předjímal podíl úspěšných;
* nevíme ovšem, zda takto postupoval i CERMAT.
Dál už je to jen otázka presumpce viny nebo neviny.
Pane Hučíne, díky. Jsem rád, když se diskutuje věcně. Tajnej to sice nepochopí, ale aspoň snad už nebude kydat.
Já bych k tomu snad jen dodal, že pokud nemáme k dispozici studii testující hypotézu shody středních hodnot, nebo rozdělení (dovedu si představit i Chí-kvadrát testy dobré shody, testy nezávislosti v kontingenčních tabulkách, nebo Wilcoxonův test, apod.) výsledků na náhodně vybraných skupinách z nichž každé byla dána k řešení jedna z těch variant, pak můžeme jen těžko někde operovat tvrzením, že nějaký test je obtížnější, než test jiný. A to tady od Valíkové až po tajného intelektuála dělá neustále kdekdo. A domnívají se, že k tomu stačí jakýsi dojem, nebo spočítání počtu slov v zadáních a jejich porovnání. Jak naivní...
Myslíte, že by riskoval situaci, kdy by zkoušku udělali "všichni"?
To Cermat neriskuje ani náhodou. Při takové kvalitě žactva, co se snaží urvat maturitu si nedovedu představit dost jednoduchý test, aby to udělali všichni.
Pane Hučíne, děkuji za vysvětlení.
Když tedy nastavíte test tak, aby pravděpodobnost úspěšnosti byla stejná u dvou skupin řešitelů minulého roku, což negarantuje, že bude stejná u účastníků tohoto roku, když to tak je, jak vysvětlíte opakované meziroční zásahy do obtížnosti testů ve formě např. navýšení počtu slov, distraktorů, či změny bodování, které mají potenciál, takřka fatálně, změnit srovnatelnost úspěšnosti pro tisíce nových maturantů? Ví cermat, jak se letošní "vzorek" žáků liší o loňského a operativně úspěšnost nastavuje? Nebo co dělá?
Krom toho, celé východisko nastavování testu ověřování vědomostí, abych dostal průměrné skóre např. šedesát bodů, ze sta možných, je diskutabilní. Jako učitele mne přeci nezajímá, zda je test dostatečně obtížný k tomu, aby ho neudělali všichni, chtěl bych, aby co nejvíce žáků, kteří se čtyři roky na škole něco učili, dostalo příležitost své vědomosti prokázat způsobem, který jim to zbytečně nestěžuje podružnými faktory vyplývajícími ze způsobu testování. Je druhořadé, zda je potřeba test rychle vyrobit, snadno zadat a snadno vyhodnotit. Maturita by neměla být zkouška přizpůsobená logistickým potřebám testovatele a s nimi spojenými přijatelnými ztrátami. Za průměrnou úspěšností a procenty a validitou a reliabilitou se vyskytují lidé z masa a kostí.
Lidé z masa a kostí jsou různí. Někteří jsou nadanější, jiní méně, někteří pracují více, jiní méně, další skoro vůbec. Některým se maturitní výkon povedl více, jiným méně. Pokud to hodnocení (hodnotitel) nedokáže u zkoušky rozlišit, nemusíme se se zkouškou obtěžovat. Všechno bude jedno.
jak vysvětlíte opakované meziroční zásahy do obtížnosti testů ve formě např. navýšení počtu slov, distraktorů, či změny bodování, které mají potenciál, takřka fatálně, změnit srovnatelnost úspěšnosti pro tisíce nových maturantů?
Nejsem ani zaměstnanec, ani obhájce CERMATu, do vývoje testů v CERMATu nevidím.
Souhlasím, že zvýšení počtu slov nebo změna bodování nese nebezpečí změny celkové obtížnosti, čili mohlo by se stát, že testy z různých let se v obtížnosti budou významně lišit. Ale bylo to tak doopravdy? Už jsem několikrát psal, že skutečné parametry úlohy mohou být jiné, než jak je od oka odhadne odborník. Dvě úlohy mohou být stejně obtížné, i když se liší počtem slov apod. A samozřejmě to platí i naopak.
Pak také může jeden zásah kompenzovat jiný, například bodování mohlo být změněno, aby kompenzovalo vyšší počet slov.
Jedinou cestou, jak ověřit hypotézu, že testy jsou stejně obtížné, by bylo sehnat skupinu řešitelů a úlohy z obou testů jí zadat.
A pokud jde o primární nastavení obtížnosti, odkážu na používané postupy:
přehled postupů k nastavení standardu
trochu víc o tzv. Angoffově metodě
Pane Hučíne, musím říct, že číst vaše poslední příspěvky je ve zdejším prostředí balzámem.
Dvě úlohy mohou být stejně obtížné, i když se liší počtem slov apod.
Platí toto i za předpokladu, že v obou případech existuje stejný časový limit a stejné bodové hodnocení, tzn, žák má k dispozici stejný čas k přečtení většího počtu slov, například ve výchozím textu k úlohám?
"jak vysvětlíte opakované meziroční zásahy do obtížnosti testů ve formě např. navýšení počtu slov, distraktorů, či změny bodování, které mají potenciál, takřka fatálně, změnit srovnatelnost úspěšnosti pro tisíce nových maturantů?"
A tajnej, jak byste to dělal vy? Spočítal byste počet slov z předchozích testů a pak vymýšlel úlohy tak, aby měly shodný počet slov? Aby typy úloh byly stále stejné a dalo se na to nacvičit biflováním historických zadání? Vy jste fakt zoufalec, jaký se jen tak nevidí. Nevím, jestli to děláte schválně, nebo jste fakt tak jetej.
Pan Hučín se vyjadřuje věcně správně, zřejmě se v konstrukci testů vyzná. Pokud jste to nepochopil, právě vám sdělil, že vaše vývody nelze ničím doložit. Jsou to pouze vaše dojmy.
Pojem obtížnosti není objektivní (což ale vám těžko vysvětlím, když si pojmy objektivity a subjektivity zaměňujete), nicméně alespoň informace pro ostatní. Obtížnost lze jistě poněkud zúženě definovat tak, jak to nastínil pan Hučín., Taková objektivita ale není vlastností testu, ale vlastností kombinace testu a populace, na níž je aplikován. Obtížnost nemá jednotky. Nelze říci, zda je obtížnější DT z matematiky, nebo DT z češtiny, protože to prostě je čistě individuální záležitost. Pro mě je DT z matematiky triviální, ale v testu z ČJ bych asi byl spíše jen mírně nad průměrem. Obtížnost v obecném slova smyslu nemusí souviset s úspěšností. Test může být v obecném slova smyslu obtížný, ale protože hranice neúspěchu je stanovena velmi nízko, tak třeba projdou všichni a jsou tzv. "úspěšní". Test není mrtvola. vyvíjí se, zdokonaluje se, mění se podle potřeb zadavatele, i podle vlastností populace. Je normální, že se bodování a otázky v testech budou měnit a budou přibývat nové typy otázek. Test nemusí a asi nemá být souborem statických úloh vybíraných z nějaké databanky a před nímž každý student bude vědět, že úlohy 2, 6, 9, 20, 21 budou úlohy zaměřené na pravopis, z nichž dvě budou doplňovací, dvě zaškrtávací a jedna otevřená a že bodování bude neměnné na věky věků. Podstatou je udělat ty testy tak, aby na ně nestačilo se jen slepě nabiflovat nějaké postupy jako papoušek. Cílem není donutit studenty projít miliony různých úloh a uložit si je do paměti, nejlépe i s výsledky, ale donutit je nad zadáním přemýšlet. Pravda, pak si určitá část populace nepomůže, ale i to je jedním z legitimních společenských cílů.
Reaguji se zpožděním na poslední komentář kolegy Tajného učitele.
Ano, teoreticky se může stát, že úloha s delším výchozím textem je stejně těžká nebo i lehčí než úloha s kratším výchozím textem. Záleží na tom, co se s tím textem má dělat -- lze např. vyhledávat informaci, určit platnost nějakého tvrzení, určit obecný charakter a účel textu, porovnat délky určitých období, určit správnou posloupnost událostí atd. Při některé úloze stačí projít část textu (dlouho se čte, ale pak hned víme, kde přesně hledat), při jiné úloze je potřeba text projít celý.
Záleží na konkrétních úlohách.
Ale vždy je potřeba odhadovat parametry úlohy na relavantních datech. Pedagogická zkušenost a expertní názor jsou měkká data (což je bezesporu lepší než žádná), zadání úlohy na vzorku cílové skupiny jsou tvrdá data.
Doplněk pro kolegu Doležela -- skutečně mám v psychometrice určitou praxi :-)
Pokud jsem to správně pochopil, obtížnost testu se měří jeho vyzkoušením na vzorku populace, kterému je test určen a průměrným bodovým ziskem, který je výsledkem nastavení testu a dispozicemi vybraného vzorku populace. Váš výrok, že obtížnost DT různých předmětů nelze poměřovat, protože je to "čistě individuální záležitost", se neshoduje s prohlášením p Zíky který pravil, že smz z cizího jazyka je špatně nastavená, příliš lehká, jelikož ji neudělalo pouze 7 procent maturantů ve srovnání s 22 procenty propadlíků z matematiky.
Pravíte, že "Test není mrtvola. vyvíjí se, zdokonaluje se, mění se podle potřeb zadavatele, i podle vlastností populace. Je normální, že se bodování a otázky v testech budou měnit a budou přibývat nové typy otázek."
Ano. Problém je, copak že to definuje potřeby zadavatele. Na našem písečku se prozatím zdá, že potřeby zadavatele neurčuje zadavatel, nýbrž tvůrce a administrátor testu sám, aniž by zadavatel (daňový poplatník skrze mšmt) tušil proč a na základě čeho se tyto potřeby a následné přizpůsobení testů, mění. Vy možná řeknete, že to je v pořádku a že tak to má být, ale ve svém důsledku to znamená, že teoreticky může dojít k situaci, kdy maturanti ani učitelé nebudou znát úroveň obtížnosti, na kterou mají žáky připravit, počet úloh, typy testových úloh a jejich bodování, časové rozpětí apod. Tzn, že žáci a učitelé budou muset ke každé "maturitě" přistupovat jako k zajíci v pytli, přičemž zajíce bude cermat nastavovat podle "potřeb zadavatele", kterého veřejnost nezná a jehož motivy a potřeby jsou veřejnosti neznámé.
Nejsem odborník na legislativu, nicméně něco mi říká, že daňový poplatník má ze zákona právo vědět na základě jakých vědeckých studií, jakého myšlení, kterého panelu odborníků se zkouška nastavuje tak, že odmaturuje 98% gymnazistů a 50% a méně žáků soš/sou. Jinými slovy, kdo a na jakém základě určuje onu vámi zmiňovanou subjektivně objektivní obtížnost společné části maturity a jaké jsou mechanizmy kontroly vykonavatele této veřejné zakázky v případě, že se tento tak nějak utrhne z řetězu.
Chápu vaši frustraci, nicméně jakmile se otevře pandořina skříňka plošného testování, nelze se divit, že padají nepříjemné otázky. Tedy nepříjemné těm, kteří se ani po téměř třech dekádách svobody nemohou smířit s tím, že veřejnost má právo zpytovat aparát, zejména pokud je aparát placen z veřejných peněz a má plnit potřeby celé veřejnosti. Nejen té chytré, movité, študované a úspěšné společnosti, nýbrž i její méně obdařené části.
Pane Hučíne,
jsou-li dva výchozí texty se stejným úkolem vyhledat informace, v jednom testu o cca 50 slov delší než v tom předchozím, přičemž bodové hodnocení, počet úloh a časový limit zůstaly nezměněné, lze se domnívat, že se obtížnost této části testu meziročně zvýšila?
Nejsem odborník na legislativu, nicméně něco mi říká, že daňový poplatník má ze zákona právo vědět na základě jakých vědeckých studií, jakého myšlení, kterého panelu odborníků se zkouška nastavuje tak, že odmaturuje 98% gymnazistů a 50% a méně žáků soš/sou.
Problém je, že takto nastavená "úroveň náročnosti" je ve skutečnosti pouze Vaším účelovým konstruktem, který jste si vysnil, abyste ho vzápětí mohl zkritizovat, odsoudit a zavrhnout.
Jinými slovy, kdo a na jakém základě určuje onu vámi zmiňovanou subjektivně objektivní obtížnost společné části maturity a jaké jsou mechanizmy kontroly vykonavatele této veřejné zakázky v případě, že se tento tak nějak utrhne z řetězu.
Občan - daňový poplatník na tyto informace bezesporu nárok má.
Problém je, že už obvykle nemá znalosti potřebné k tomu, aby pak dokázal tyto informace vůbec pochopit, natožpak posoudit.
Na druhou stranu máme jistě v populaci dost odborníků, kteří toho schopni jsou a část z nich snad i je schopna svá zjištění prezentovat.
Bohužel někteří tak činí účelově a s špatným záměrem.
Chápu vaši frustraci, nicméně jakmile se otevře pandořina skříňka plošného testování, nelze se divit, že padají nepříjemné otázky.
Otázky nejsou nepříjemné. Většinou jsou spíše nepoučené až hloupé.
Asi jako když vám lékař popíše podstatu zákroku a Vy se vzápětí zeptáte, co že je to slepé střevo.
Testování a nová maturita samozřejmě přinášejí nepříjemné otázky. Třeba: Na základě jakých vědeckých studií a jakého myšlení došlo k tomu, že počty středoškoláků rostly jako utržené ze řetězu? Výsledky testování totiž ukazují, že bylo-li cílem zvýšit vzdělanost dalších desítek procent žáků z jednotlivých populačních ročníků na standard dejme tomu r. 1995, pak celý proces nelze nazvat jinak než potěmkiádou či vzdělávacím debaklem. Proto je potřeba výsledky objektivního či o objektivitu usilujícího hodnocení (měření) co nejvíce zpochybnit, a v konečném důsledku znemožnit, abychom se takových důsledků vůbec mohli dobrat. Z výchozí lži o nárůstu vzdělanosti se stoupenci myšlenky "poručíme větru dešti" pravidelně usvědčují sami, když opakovaně poukazují na "nespravedlnost" spočívající údajně v tom, že katalog požadavků ke zkoušce není redukován podle možností většiny žáků středních škol. Zkrátka je třeba snížit nároky.
Daňový poplatník by se např. při pohledu na minimálně třetinu maturitních písemných prací z češtiny mohl ptát, jaký smysl mělo stávající středoškolské studium pro autory těchto prací, pokud píší texty takto slabé úrovně. Daňový poplatník se obecně neptá na odborné parametry testů, ekologických norem, zákonů apod., protože předpokládá, že jsou vytvářeny na základě odborné zkušenosti; vždy se ovšem ptá jejich důsledky.
Zkušený češtinář dokáže při pohledu na nedlouhou slohovou práci a při poslechu několikaminutového ústního vystoupení žáka bezpečně predikovat budoucí úroveň jeho bakalářské či diplomové práce. Má-li trochu rozumu, nemůže podporovat pouhý kvantitativní nárůst počtu středoškolských a vysokoškolských studentů, ale hledá naopak cesty, jak těmto studentům nabídnout adekvátní vzdělávací model, po jehož absolvování by něco uměli nejen na papíře. To je ale samozřejmě mnohem méně populární a mnohem náročnější než cancání o nesmíření se se svobodou a kydání hnoje na všechny, kteří mají tu smůlu, že se snaží ke vzdělávání přistupovat se zodpovědností.
"Problém je, že takto nastavená "úroveň náročnosti" je ve skutečnosti pouze Vaším účelovým konstruktem, který jste si vysnil, abyste ho vzápětí mohl zkritizovat, odsoudit a zavrhnout."
Rád bych tomu věřil. Nicméně, pan Hučín praví, že náročnost testu se nastavuje, přičemž měřítko obtížnosti nejsou procenta propadlíků/úspěšných nýbrž průměrný počet získaných bodů vybraného vzorku populace.
No a pak ještě někdo musí nějak podle něčeho nastavit cut off skóre, že.
Pan Doležel vzápětí praví, že náročnost testů různých předmětů je subjektivní, jelikož závisí na kombinaci testu a individuálních dispozic. Pan Botlík, zřejmě ze zkušenosti praví, samozřejmě, že se testy kalibrují, jinak by by testovatel nevěděl, jak test dopadne.
Toto by evidentně byla katastrofa, neboť by se mohlo stát, že bude příliš mnoho, nebo příliš málo úspěšných maturantů. V obou případech by se odněkud strhl řev. No a mne zajímá, odkud by ten řev přišel, byť si dovedu představit politický šum v případě příliž mnoha neúspěšných voličů.
Jakmile je test koncipován tak, že někdo musí z kola ven, je to závod, v němž se dle něčí potřeby prodlužuje nebo zkracuje trať. Proto je mnohem objektivnější zkoušku koncipovat jako příležitost prokázat znalosti žáků bez apriorní nutnosti někoho vyřadit. Neúspěch pak vyplyne z neznalosti/nepřipravenosti, nikoli z přednastaveného propadliště, aby "maturita měla smysl".
PR praví, že občané mají právo zásadní informace o nastavení testů vědět, ale postrádají kapacitu je zpracovat. Dodávám, že je proto zřejmě lepší uchránit blaženě ignorantní masy před tíhou poznání.
Nejsnadnější by bylo, kdyby někdo z cermatu a mšmt jednoduše prohlásil, že se testy nekalibrují a žádné politické zadání ohledem (ne)úspěšnosti maturantů a nově také uchazečů o studium na sš neexistuje.
"Proto je mnohem objektivnější zkoušku koncipovat jako příležitost prokázat znalosti žáků bez apriorní nutnosti někoho vyřadit. Neúspěch pak vyplyne z neznalosti/nepřipravenosti, nikoli z přednastaveného propadliště, aby "maturita měla smysl"."
Takovou příležitost má každý žák. Neúspěch vždy vyplývá z neznalosti a/či nepřipravenosti.
Každá zkouška, která není nastavena podle úrovně nejslabšího žáka, "přednastavuje propadliště". Tímto způsobem můžeme dojít až k tomu, že maturitu a vysokoškolské diplomy budou moci získat i žáci mentálně handicapovaní.
Dodávám, že je proto zřejmě lepší uchránit blaženě ignorantní masy před tíhou poznání.
Nic takového netvrdím. Naopak.
Myslím, že metodika konstrukce testů a jejich vyhodnocování by měla být všeobecně známa a CERMAT by ji zveřejnit měl.
Že někdo sestavuje test s ohledem na stanovený okruh požadavků a při jeho konstrukci testuje a ověřuje schopnost testu splnit pouze tento účel, to je pro Vás prostě nepravděpodobné.
Váš problém je v tom, že jste si vysnil nepřítele. Nějakého "centrálního třídiče", který sedí v Praze a určuje, kolik procent maturantů smí uspět.
A není síly, ani argumentů, které by Vám dokázaly tuto představu vyvrátit.
Je to klasický případ posedlosti "konspirační teorií".
Když dojdou důkazy, vždycky se dá říci:
"To že jsem paranoidní ještě neznamená, že po mně nejdou".
Že někdo sestavuje test s ohledem na stanovený okruh požadavků a při jeho konstrukci testuje a ověřuje schopnost testu splnit pouze tento účel, to je pro Vás prostě nepravděpodobné. Váš problém je v tom, že jste si vysnil nepřítele. Nějakého "centrálního třídiče", který sedí v Praze a určuje, kolik procent maturantů smí uspět.
Nikoli doktore, nutnost třídit za každou cenu vyplývá ze samotné podstaty takto vyrobeného testu. Není to konspirace, jeto zabudovaná vada.
Jinak, test evidentně neplní "pouze tento účel". Plní také účel "někdo musí propadnout" a "nejrychlejší uspějí". Že někdo vědomosti má, ale neběží tak rychle jako ostatní, to test nezajímá.
Obviňováním nne z konspiračních teorií se snažíte racionalizovat, zřejmě sám pro sebe, něco, o čem tak nějak víte, že je špatně. Jakmile je test koncipován tak, že někdo musí z kola ven, je to závod, v němž se dle něčí potřeby prodlužuje nebo zkracuje trať. Proto je mnohem objektivnější zkoušku koncipovat jako příležitost prokázat znalosti žáků bez apriorní nutnosti někoho vyřadit. Neúspěch pak vyplyne POUZE z neznalosti/nepřipravenosti, nikoli z přednastaveného propadliště, aby "maturita měla smysl".
Jakmile je test koncipován tak, že jej udělají všichni, je jeho výpovědní hodnota nulová a takový test je zbytečný.
"Proto je mnohem objektivnější zkoušku koncipovat jako příležitost prokázat znalosti žáků bez apriorní nutnosti někoho vyřadit. Neúspěch pak vyplyne POUZE z neznalosti/nepřipravenosti, nikoli z přednastaveného propadliště, aby "maturita měla smysl"."
Mohl byste nám hloupým vysvětlit, jak si takový test představujete? Že by na test z JPZ měli středoškoláci u maturity čtyři hodiny? Nebo na současnou maturitu mohli používat internet a sbírky řešených příkladů a dostali čtyři hodiny?
Já už fakt nevím, jak můžete test z matematiky, který přibližně více jak z třetiny (která je potřebná k jeho splnění) obsahuje základoškolské učivo, považovat za diskriminující a špatně koncipovaný.
Tajný má problém s matematikou. Neumí logicky myslet a proto tady něco plácá pořád v kruhu a hledá potíže tam, kde nejsou.
Předpokládá, že ztrácíme geniální žáky, kteří budou obsah obdélníka počítat dvě hodiny, ale v podstatě jsou nesmírně chytří a jenom pomalejší.
Jakmile je test koncipován tak, že jej udělají všichni, je jeho výpovědní hodnota nulová a takový test je zbytečný.
Ano. Proto to nikdo nechce.
Mohl byste nám hloupým vysvětlit, jak si takový test představujete?
Já si takový test raději vůbec nepředstavuji. Představuji si maturitní zkoušku jako příležitost pro žáka aby ukázal své znalosti a co s nimi dovede, za okolností, které jsou pro ověřování znalostí žáků optimální.
jsou-li dva výchozí texty se stejným úkolem vyhledat informace, v jednom testu o cca 50 slov delší než v tom předchozím, přičemž bodové hodnocení, počet úloh a časový limit zůstaly nezměněné, lze se domnívat, že se obtížnost této části testu meziročně zvýšila?
Domnívat se pochopitelně lze. Dokonce bych se nebál říct, že se lze domnívat důvodně.
Jinak souhlasím s vámi, že něco jiného je spočítat průměrné skóre na určité skupině a něco jiného je první stanovení cut-off skóre neboli hranice úspěšnosti. Pointa je v tom, že při správném metodickém postupu (včera jsem tu uváděl odkaz na Angoffovu metodu) se nejdřív stanoví hranice cut-off skóre a až potom se řeší rozdělení skóre v populaci.
Stručně řečeno, u každé jednotlivé úlohy se expertně určí, jakou úspěšnost v ní lze požadovat od tzv. minimálního žáka, tedy toho, kdo je na samé hranici obecných minimálních požadavků. Přitom experti neřeší, kolik takových minimálních žáků je, natož kolik žáků by mělo propadnout. Když se následně z úloh sestaví test, spočítá se vážený součet průměrných úspěšností, a to je cut-off skóre; anebo se cut-off skóre určí předem a test se sestaví tak, aby se vážený součet úspěšností na to trefil.
Může se tedy stát, že test úspěšně zvládnou všichni, protože prostě všichni splňují požadavky na minimálního žáka. Anebo naopak test nezvládne nikdo, protože požadavky nesplnil nikdo.
Přístup podle Angoffovy metody jsme s kolegy začali zavádět v roce 2003, kdy jsem krátce pracoval v CERMATu, ale nevím, jak to dopadlo a zda CERMAT skutečně touto cestou pak šel i dál.
Omlouvám se, ale dál se této diskuse nebudu účastnit, jsem pro následující dny docela vytížený.
Pane Hučíne, děkuji za do-vysvětlení.
Nastaví-li se cut off jako první, na základě průměru hodnocení počtu úspěšných, "minimálně kvalifikovaných" řešitelů jednotlivých testových úloh, panelem oborových expertů, pak se lze tázat, jak může být cut off skóre stejné každým rokem, mění-li se jednotlivé úlohy a to nejen počty slov ve výchozích textech, přibývá otevřených úloh apod.
Znamená to, že nové úlohy jsou natolik podobné úlohám, ze kterých vycházelo původní nastavení, že jej není třeba měnit? Nebo, ladí panel odborníků jednotlivé testy a jejich jednotlivé úlohy, každým rokem tak, aby jejich souhrnná predikovaná obtížnost zůstávala stejná?
Pokud se však obtížnost testu meziročně mění a zdá se, že ano, přičemž cut off zůstává stejné, jakému účelu to slouží? Nabízí se účel posouvání procent úspěšných řešitelů, ale to by byla konspirace, jelikož mšmt autorizaci změn obtížnosti odmítá.
Okomentovat