Milan Šatra: Důvěryhodnost SCIO testů? – ani omylem!

úterý 21. prosince 2010 ·

Tak nám odborníci zjistili, že to s naším školství jde prudce z kopce a je nutné s tím něco udělat. A je třeba výsledky začít měřit. Všelékem na problémy školství se má stát celoplošné testování žáků základních škol v 5. a 9. třídě, stejně jako následně již zavedená státní maturita. Zamysleme se však, jakým způsobem tato testování probíhají a jak se k tomu staví školy.

Veškeré měření výsledků bude probíhat formou testů SCIO. Jaká je ale vstupní hodnota těchto testů? Dle mého přesvědčení a léty praxe potvrzenými výsledky jen a pouze dokazují, kolik správných odpovědí testovaní žáci označí. Rozhodně nikomu neprokážou, co žák ve skutečnosti zná.

Na naší škole se testování provádí již řadu let a pravidelně nám vychází překvapující výsledky. Jistě se shodneme, že vyučující, kteří žáky znají zcela běžně 4 - 5 let jednoznačně vědí, jaký je stav znalostí, dovedností a schopností jednotlivých žáků. Jak tedy odborníci vysvětlí, že žáci, kteří mají dlouhodobě studijní problémy a nejsou schopni zvládnout základní učivo, najednou dosáhnout výsledků srovnatelných nebo dokonce lepších než žáci, kteří naopak dlouhodobě uvedené problémy nemají a jejich prospěch je často i výborný?

Dle mých poznatků je odpověď zcela jednoduchá – i sebehorší žák pouhopouhým tipováním odpovědí dosáhne na relativně příznivý výsledek, aniž by vůbec četl zadání testu. Jak jinak vysvětlit výsledek žáka, který vzhledem k tomu, že je cizinec, který má obrovské problémy s pochopením jakéhokoliv testu, dosáhne 60% úspěšnosti tak, jako žáci s velmi dobrým prospěchem? Zkusili jsme na naší škole malý experiment – zadali jsme testy pro žáky 9. tříd žáku ze 3. třídy - výsledek? Slušných 30% ... Další pokus – napsal jsem náhodně řadu písmen, která představovala odpovědi na otázky testů, aniž bych vůbec zadání otevřel - a výsledek? Opět solidních 25% úspěšnost. A pokud uvážíme, že například hranice úspěšnosti pro přijímací řízení v Karlovarském kraji pro přijetí ke studiu na gymnázia je stanovena na směšných 15%, je asi každému jasné, že testy SCIO nemůžou poskytnout důvěryhodný výsledek. Uvedené příklady přeci musí celý systém testů srazit jako nepoužitelný a nedůvěryhodný.

Stejně tak mne jako matikáře děsí představa hodnocení příkladů matematiky na základě výsledků bez doloženého postupu. Vždyť i po použití špatnéno nebo žádného postupu lze dojít ke správným výsledkům. A stejně tak lze na konci právně řešeného příkladu udělat drobnou chybu, která sice vede k nesprávnému příkladu, ale jako celek přeci příklad nelze hodnotit nedostatečně.

A tak se hrozím toho, jak pan ministr a další mocné a studované hlavy chtějí na základě této tipovací soutěže hodnotit kvalitu vzdělávání na našich školách. Vždyť již dnes řada škol a vyučujících na základě tlaku na úspěšné absolvování testů opouštějí tradiční prověřování znalostí dovedností, a vše se zvrhává v tupé a nic neříkající nacvičování vyplňování SCIO testů, neboť řada otázek se přeci jen opakuje.

ANO, naše školství je ve velké krizi a je nutné ho léčit. Ale metoda testů má jen jedno pozitivum – rychle se opraví. Ale k ničemu jinému, než k vytváření statistických souborů nevede. Kde je schopnost tvorby souvislých textů, mluveného slova a používání myšlenkových postupů? Tudy cesta prostě vést nemůže. Snad ale trochu světla na konci tunelu vzniká – konečně je tu návrh na omezení přespříliš přebujelého systému středních škol, které ke studiu přijmou každého (i sebe neschopnějšího) žáka jen proto, aby přežily. A vysvětlujte a motivujte pak žáky na základních školách, aby se učili ...

26 komentářů:

Anonymní řekl(a)...
21. prosince 2010 v 1:32  

Matikáře - pana Šatru by nemělo překvapit, že když 100x hodí mincí, že mu zhruba 50x padne orel. Ano, když nahodile vyplníte test se čtyřmi možnými odpověďmi, budete mít přibližně 25 % správně a 75 % chybně. Proto se také v testech společnosti Scio za nesprávnou odpověď něco odečítá, v tomto případě 1/3 bodu. Čili 25% - 1/3*75% = ano, pane Šatro, nula. A šance, že se náhodným vyplňování dostanete třeba na 50% úspěšnost, je jedna ku mnoha tisícům, u delšího testu k mnoha miliónům. Spočítat to, jak vidím, neumíte, tak si to můžete zkusit: „napsal jsem náhodně řadu písmen, která představovala odpovědi na otázky testů“; udělejte to 100x a uvidíte, že ani jednou se nedostanete přes 50 % správných odpovědí. Žáci, kteří toho dosáhnou, buď přece jen něco umějí a nebo třeba opisují.

Test je pouhý nástroj měření a ten vzdělávání nezachrání stejně jako zednický metr nepostaví dům. S tím, že testy nemohou českému vzdělávání pomoci, s tím naprosto souhlasím, zejména, když je dostanou do rukou lidé, kteří jim nerozumějí. Panu Šatrovi to lze odpustit, u pana Dobeše je to horší.

Ondřej Šteffl

Anonymní řekl(a)...
21. prosince 2010 v 9:20  

Jsou testy a testy. Výpočet autora článku (byť experimentálně ověřen) je správný pro jednu otázku. U více otázek jde o nezávislé jevy a celková pravděpodobnost úspěchu tipováním se výrazně snižuje. To bohužel žáci neví, protože je to nikdo nenaučil. A tak tipují. Tolik matematika.

Testy mohou ověřovat i dovednosti, dokonce to je možná těžší než počítání příkladů "ručně".
Problém testů není v jejich existenci, ale v obsahu, cíli a formě. Jinými slovy, blbě připravený test je něco jiného než testování.

Poznámka v diskusi o "padnutí orla při x hodech" nemá s testováním nic společného. A "odečítání bodů" je jenom zkouška odvahy žáka (zda ANO či NE, když neví), která nemá žádnou vypovídací hodnotu.

Podotýkám, že Scio nepodporuji a preferuji odpovědnost státu za zpracování testů pro plošné ověřování.

Anonymní řekl(a)...
21. prosince 2010 v 11:12  

Na rozdíl od předřečníka Scio podporuji a bojím se indolence a neodpovědnosti státu při přípravě a zpracování testů při plošném ověřování čehokoliv, které soukromá firma je schopna připravit daleko odpovědněji, protože se mimo jiné bojí ztráty kreditu. Na rozdíl od "státní" firmy CERMAT.

Anonymní řekl(a)...
21. prosince 2010 v 13:03  

Při 40 otázkách s variantami a) b) c) d) a při odečítání 1/3 bodu za špatnou odpověď je potřeba na 25% zisk mít správně 18 odpovědí. Pravděpodobnost tohoto jevu je přibližně 0,29 %, což znamená, že to není vyloučeno, ale na druhou stranu se to asi běžně dít nebude.

Anonymní řekl(a)...
21. prosince 2010 v 13:16  

Jsem si zcela jist, že SCIO odvádí na poli testů zcela fundovanou a kvalitní práci. Stejně jsem si však jist, že testy jsou jen jednou z rozumných pomůcek pro celkové hodnocení. Tady však stát (ministr?)chce postavit TESTY na piedestal a dát jim výkonnou moc. Testovat už i děti v mateřské školce!!! Připadá mi, jako by někdo objevil možnosti excelu, a potřebuje do něho nějaká data. Možná by místo toho mohl zajít na hospitaci - protože to, co se vlastně děje, z tabulky nikdy nepozná.

Anonymní řekl(a)...
21. prosince 2010 v 13:23  

Před(před)řečník
Asi jsem se špatně vyjádřil. Mně je jedno, kdo ty testy připraví, jenom tvrdím, že 100%ní odpovědnost za jejich smysluplnost, obsah a formu musí nést stát, resp. MŠMT. Pro mne za mne, ať je klidně pro ně připraví nějaká škola, netvrdím, že to musí být zrovna Cermat. Můj příspěvek byl o odpovědnosti, nikoli o té tužce, která to bude psát.

Bavit se o ztrátě kreditu v prostředí, které není konkurenční, je dost zbytečné. I když to samozřejmě není problém společnosti Scio, ale těch, co do toho nejdou.

Simona CARCY řekl(a)...
21. prosince 2010 v 16:51  

Předně, tržní strategie firmy Scio je něco, co se mi protiví. I byznys lze dělat slušně ale taky (řečeno co nejjemněji) zanedbatelně slušně. Pan Štefl snad nemusí mít potřebu se navážet dehonestujícím způsobem do autora článku, aby ukázal, že autor něco snad neumí. A to v situaci, kdy si to Štefl ani neověřil. A kázat o tom, že si to pan Šatra neumí spočítat, je neomalenost, která by se v případě tržního prostředí Šteflovi vymstila. Takhle je jen za hulváta. Ale to už víme déle.

Anonymní řekl(a)...
21. prosince 2010 v 17:55  

Výběr kvalitního poskytovatele testů je nepochybně namístě.

Jenom by debata o vhodnosti poskytovatele neměla dát zapomenout na zavedení samotného testování.

Petr S.

poste.restante řekl(a)...
21. prosince 2010 v 19:44  

Jenom abychom pro samou posedlost testy nezapomněli, že jde hlavně o žáky a o učení.

Anna S. řekl(a)...
21. prosince 2010 v 20:33  

"Všelékem na problémy školství se má stát celoplošné testování.. "

P. Šatro, při vší úctě, ale tohle snad řečeno ani nebylo...? Jestli jsem záměru dobře rozuměla, má to být jen nástroj počáteční diagnózy, před nasazením chemoterapie.. Kdepak testy a všelék :)

Anonymní řekl(a)...
21. prosince 2010 v 22:34  

Stará pravda: Když sedlák zjistí, že mu prasata nepřibývají na váze, určitě situaci neřeší tím, že by je častěji vážil. SCIO nabízí dobré váhy, ale problém je jinde. Jsou to strategie vyučování, o nichž by se mělo především diskutovat.
Vl.Václavík

Anonymní řekl(a)...
22. prosince 2010 v 8:20  

Porovnám-li to, co a jak nabízí Scio a to co a jak nabízí Cermat, jsem rozhodně pro Scio.
Je vidět, že s. Carcy nikdy s Cermatem nepřišla do styku, když p. Štefla nazývá hulvátem.

Luděk Blaha řekl(a)...
22. prosince 2010 v 9:13  

Vždyť i po použití špatnéno ... postupu lze dojít ke správným výsledkům.

Nic ve zlém, pane Šatro, nechci chytat za slovíčko, ale stále si lámu hlavu, jak lze špatným postupem dojít ke správným výsledkům?

Anonymní řekl(a)...
22. prosince 2010 v 9:58  

U nás? V pohodě...

Zen řekl(a)...
26. prosince 2010 v 0:34  

2 Vl.Václavík: Jeden dotaz: Jak sedlak zjisti, ze mu prasata nepribyvaji na vaze, kdyz je nebude vazit vubec?

Anonymní řekl(a)...
26. prosince 2010 v 11:01  

Mám dojem, že mluvíme o jedné z diagnostických metod - testech. Jako začátek- dobrý. Tak je to ale asi myšleno. Snad si nikdo nemyslí, že školy budou hodnoceny jen na základě testování. Ale něčím se musí začít. Od MŠ považuji za jedině správné zjistit stav vzdělávání různými metodami. Vždyť již skoro 20 let se nikdo nezajímal o její úroveň. Mnozí z nás naopak nabyli dojmu, že čím méně žáky naučíme, tím pro někoho lépe. Když se konaly různé hračičky pro děti na úkor vyučování a upozorňovali jsme nato,byli jsme odsuzováni jako staré struktury ve školství, jako zpátečníci! A upozorňovali jsme i na důsledky,které to bude mít a jak se ukázalo nyní i v mezinárodním měřítku, má. Již před 15lety.
Jediný lék na tuto nemoc /nevím,zdajižnení pozdě/ je návrat k základním pedadogickým a didaktickým metodám s přihlédnutím k současným vědeckým poznatkům a využití rychle nastupujících sdělovacích prostředků, ITC a pod. Avšak nezapřahovat vůz před koně! Vzdělávání není samozřejmě jednosměrný proces, avšak jeho "ridičem" musí být učitel.Pokud jsme nechali dojít k situaci, že žák bude určovat co se bude vyučovat, jak se bude vyučovat, ale hlavně ZDA se bude vyučovat,k nápravě dojít nemůže.
Přece i ten sedlák nebude krmit prasata žaludy, kaštany, senem, když ví, že nejlépe přibývají jsou-li krmeni obilím.

Anonymní řekl(a)...
26. prosince 2010 v 22:25  

Jak prasata přibývají se samozřejmě nejlépe pozná na váze. Ale zkušený sedlák mnohé zjistí už pouhým pohledem. Pokud jde o to vážení, nemám nic proti testům (když jsou dobře udělané), ale hledat jen v nich lék na problémy ve vzdělávání je cesta špatným směrem. Má-li ministerstvo školství dost peněz, lze zajistit plošné testování na konci MŠ, prvního i druhého stupně ZŠ. Z úřednického pohledu je to cesta schůdná a tudíž lákavá (problém je udělat to dobře – viz státní maturity). Přinese to však žádoucí výsledky bez negativních souběžných jevů? Podle mě by bylo lepší vložit prostředky do podpory kvalitní výuky – to přinese efekt i bez testování.
Vl.Václavík

Zen řekl(a)...
26. prosince 2010 v 23:28  

2 Vl.Václavík: Ja nevim, jake mate vzdelani a praxi, ale u techniku to funguje tak, ze napred je vyvinut postup, jak hotnoty merit, a pak se zjistuje, k jake doslo zmene po nejake uprave. Vy mozna dokazete poznat uroven vyuky z fotografie ucitele a zaku, nicmene bych osobne uprenostnoval ponekud sofistikovanejsi metody.

A opet bych si dovolil otazku: Co vy si predstavujete pod pojmem "kvalitni vyuka"? Obavam se, ze odpoved je zhruba tak jednoznacna, jako odpoved na otazku, ktere nabozenstvi je to prave :-)

Anonymní řekl(a)...
27. prosince 2010 v 12:25  

Více než před 100 lety se zakladatelé experimentální pedagogiky pokoušeli využít
metody přírodních věd i v pedagogice. Šlo to jen zčásti, lidský mozek je moc
složitý. Didaktický test může změřit úroveň vědomostí, o tom není pochyb. Ale znalosti jsou jen jednou z částí vzdělání – viz Bloomova taxonomie vzdělávacích
cílů. Celá ta debata o testech se vede asi proto, že naše školství potřebuje něco jiného, než zavést pravidelné testování žáků.
Co je kvalitní výuka? Má určité znaky. Kdysi mi pan ředitel školy v Nizozemsku řekl:
Chceme naučit žáky 3 věci: Umět si organizovat čas, umět si organizovat práci, umět
pracovat nezávisle.
To jsou podle mě znaky kvalitní výuky. Posílám dál.
Vl.Václavík

Luděk Blaha řekl(a)...
27. prosince 2010 v 18:32  

ředitel školy v Nizozemsku řekl: Chceme naučit žáky 3 věci

Pokud se jednalo o školu základní a odmyslíme-li si dva roky kleuterschool, pak mají na každou věc průměrně dva roky.
Tak to sebou musí mrsknout zčerstva.

Anonymní řekl(a)...
27. prosince 2010 v 18:57  

Jednalo se o školu odpovídající naší škole základní. Děti tam však začínají docházet po dovršení čtvrtého roku. A zmíněné 3 věci se začínají učit už od samého začátku. Takže žádný spěch.
VL.Václavík

Zen řekl(a)...
27. prosince 2010 v 22:07  

Nic proti nicemu, ale v testech se daji merit nejen vedomosti, ale i aplikace na konkretni priklady. Pokud je tedy test udelan dostatecne kvalitne ... Prikladem budiz treba cetrifikace na RedHat odborniky - zkouseny je posazen pred pocitac, dostane "noty" a "udelej to jak chces, ale v danem casovem limitu to musi fungovat".

ad Kvalitni vyuka: Hezke a da se s tim souhlasit. Ted mi jeste prozradte, jak poznam kvalitni vyuku od nekvalitni drive nez po x letech ...

PS: Prozradim Vam male tajemstvi. Kdyz si dole v sekci "Zvolte si identitu" vyberete "Název/Adresa URL" a zad8te "Název", tak se Vam objevi jako jmeno. Tech anonymnich prispevatelu je tay trochu moc.

Vl. Václavík řekl(a)...
28. prosince 2010 v 23:48  

Právě to je problém udělat testy, aby vycházely ze současných cílů vzdělávání (opět připomínám Bloomovu taxonomii).
Pokud jde o rozpoznání kvalitní a nekvalitní výuky, na to pár řádků nestačí. Např. Asociace ředitelů gymnázií ČR právě sděluje: "Bez kontroly jednoduše není kvalita". Ale to je orwellovská představa - škola jako precizně fungující mechanismus s dokonalým systémem pravidelných kontrol kvality (produkující co? lidské bytosti nového typupribilis, např. vzor 2011).

Anonymní řekl(a)...
29. prosince 2010 v 11:15  

28. prosince 2010 23:48
Ale samopal vz.58 nebyl špatný. Vz.61 využívala a využívá i mafie v Itálii.
Asociace ředitelů gymnázií by měla sejít těch pár schodů dolů - do ZŠ. Tam bych je ponechal jeden měsíc a "možná" vrátil zpět. Přešel by je humor. Ono totiž po vysátí "studentů" z páté třídy to funguje vše úplně jinak. Asi tak, jako by jste od skupiny soustružníků očekávali řešení diferenciálních rovnic.

poste.restante řekl(a)...
29. prosince 2010 v 16:14  

Doufám, že všichni chápeme pod pojmem "testy" formu prověřování znalostí, kde testovaný subjekt vybírá z n možností volbou pověstného A, B, nebo C.

Pokud v tomto panuje shoda, pak by také měla panovat shoda v tom, že jde o jednu z mnoha možných forem.

Má své výhody i nevýhody.
Jedna z hlavních výhod je, že z ní vypadne spousta číslíček, ze kterých se nádherně dělají přehledy, tabulky a grafy.

Ale zdůrazňuji, že je to jen jedna z metod a tudíž nikdy nemůže postihnout celou oblast prověřovaného učiva.

Kromě toho existují oblasti, pro které je její použití zcela nevhodné.

To, z čeho mám obavy je, že na základě výsledků testů, tedy jen jedné části obrazu, chtějí někteří "odborníci" a bohužel i politici činit překotné závěry.

Testy jsou dobrý a praktický nástroj.
Ale v rukou hlupáka...

Je to stejné, jako kdyby zmiňovaný zemědělec jásal nad přírůstky hmotností prasat a přitom nezaznamenal, že příčinou je nemoc zvaná vodnatelka.

Anonymní řekl(a)...
29. prosince 2010 v 16:45  

29. prosince 2010 16:14

Mám obavy, že právě k tomu to směřuje. Potom se udělá pořadí od 1 do x. A co potom ? To, že se napasou tvůrci a Cermat je jasná věc. A co potom ?

Články dle data



Učitelské listy

Nabídka práce

Česká škola - portál pro ZŠ a SŠ

Česká škola poskytuje svým čtenářům diskusní prostor k vyjádření názorů na školskou problematiku. Tyto příspěvky se nemusí shodovat se stanoviskem redakce České školy a jsou uveřejňovány jako podnět k dalším diskusím.

Obsah článků nemusí vyjadřovat stanovisko redakce nebo vydavatele Albatros Media, a.s.


Všechna práva vyhrazena.

Tento server dodržuje právní předpisy
o ochraně osobních údajů.

ISSN 1213-6018




Licence Creative Commons

Obsah podléhá licenci Creative Commons Uveďte autora-Neužívejte dílo komerčně-Nezasahujte do díla 3.0 Česká republika, pokud není uvedeno jinak nebo nejde-li o tiskové zprávy.



WebArchiv - archiv českého webu



Tyto webové stránky používají k poskytování služeb, personalizaci reklam a analýze návštěvnosti soubory cookie. Informace o tom, jak tyto webové stránky používáte, jsou sdíleny se společností Google. Používáním těchto webových stránek souhlasíte s použitím souborů cookie.