„Předkládaná analýza si kladla za cíl poskytnout komplexní obrázek o zahraničních systémech sběru dat z oblasti školství a vzdělávání. Zaměřila se na identifikaci a popis příkladů realizace longitudinálních studií na úrovni základního a středního školství, reprezentativního testování žáků z libovolných předmětů a případy národních studií a jejich dodatečné propojování s daty mezinárodních šetření typu PISA, TIMSS, PIRLS aj.,“ píše se ve studii České školní inspekce. Přinášíme shrnutí základních zjištění studie.
Co se týče standardně prováděných operací nad sadami proměnnými, v analýzách jsou data prezentována převážně deskriptivní formou (tabulky četností a procentuálních podílů), pomocí percentilů pro potřeby porovnání škol, krajů aj. ve vztahu k národnímu průměru a pomocí základních metod inferenční statistiky (t-testy pro zjišťování statistické podobnosti mezi dvěma skupinami) či zjišťování distribuce dat. Data jsou vizualizována pomocí bodových a sloupcových grafů, korelogramů, případně krabicových grafů (box-plot). Panelová data jsou pak analyzována pomocí sofistikovaných regresních modelů (mixed models).
Analýza zahraničních systémů sběru dat poskytla stručnou rešerši národních autorit zodpovědných za sběr dat a monitoring kvality daného vzdělávacího systému. Rešerše vybraných zpráv uvedených národních autorit vedla k identifikaci příkladů dobré praxe spadajících do definovaných oblastí a následná podrobnější deskripce takových příkladů v jednotlivých státech pomohla zhodnotit potenciální užitečnost integrace zmiňovaných prvků sběru dat, evaluace a monitoringu národních vzdělávacích systémů do prostředí ČR.
V rámci rešerše zahraničních sběrů dat byly nalezeny i prvky, jejichž implementace do českého systému by mohla být prospěšná. Současný trend systémů sběru dat z metodologického hlediska směřuje k tomu, aby data z prováděných šetření byla reprezentativní (např. výběr 10 % populace), data za tento výběr byla sbírána v pravidelných intervalech a pokud možno aby data šla propojit a následně využít pro hlubší analýzu mezinárodních šetření. Např. finský systém komplexního plánování testování a zjišťování spolu s longitudinální studií se sledováním žáků v několika tranzičních bodech v průběhu celé základní školní docházky až do 3. ročníku střední školy (doplněné o kontextuální dotazování učitelů, ředitelů i samotných žáků a metodickou podporou národní autority směrem ke školám a tvorbě jejich vlastních autoevaluačních nástrojů) nabízí příklad komplexního systému hodnocení s potenciálně vysokým přínosem pro český vzdělávací systém.
Doporučení
Systém sběru dat a jejich následná evaluace jsou v České republice na velmi dobré úrovni. Možnost propojení dat na úrovni školy s daty mezinárodních šetření představuje krok správným směrem. Jak ukázala rešerše systémů sběrů dat, propojení dat totiž není u všech států EU a členských států OECD běžným jevem. Přesto lze na základě analýzy zahraničních systémů vybraných zemí sloužící jako zdroj dobré praxe identifikovat několik doporučení k vyšší systematizaci sběru dat. Důraz je kladen především na využitelnost při použití kvantitativních metod analýz, upozaděny jsou kvalitativní systémy sběru dat. Předložená doporučení jsou seřazena dle náročnosti implementace s ohledem na finanční požadavky či požadavky na změnu legislativy.
1. Vytvoření komplexní databáze všech veřejně dostupných zdrojů dat v oblasti vzdělávání. Pro potřeby dílčích i komplexních analýz je možné vytvořit jednotnou databázi všech veřejně dostupných datových souborů, kde by byly jednotlivé datové soubory roztříděny dle zdroje dat, tematického zaměření, úrovně měření (žáci, školy, kraje, stát). Jednalo by se o datový archiv, který by byl dostupný na stránkách ČŠI v českém i anglickém jazyce. Vytvoření online datového archivu si vyžádá pouze činnost stávajících zaměstnanců.
2. Systematizace sběru dat z inspekční činnosti Inspirací by mělo být plánování sběru dat dle zkoumaných témat (předmět testování) a dle definovaných žákovských kohort (ročníky). Plán by měl být vytvořen na víceletý rámec, který by reflektoval frekvenci těchto témat. Určení témat by mělo odrážet jejich důležitost z hlediska problémů české vzdělávací soustavy (např. regionální rozdíly, genderové rozdíly, rozdíly v SES, rozdílná kvalita výuky, rozdílné materiální zdroje pro výuku atd.). Zásadní pro následné využití takto získaných dat je elementární standardizace otázek a standardizace úrovně měření (nominální, ordinální, intervalová). Případné změny testovacích otázek by měly být provedeny v minimální míře a pokud možno tak, aby mohli zpětně analytici rekódovat nově definované proměnné na srovnatelnou škálu s původní operační definicí testované otázky. Tímto se zajistí vyšší porovnatelnost takto získaných dat. Standardizace postupů se může týkat i inspekční činnosti, která využívá kvalitativních postupů. Kvalitativní sběr dat lze využít i pro systémovou meta-analýzu takto sesbíraných dat, popřípadě využít pro kvantitativní analýzy.
3. Vytěžování dat (data mining) V dnešní éře pokročilých analýz velkého objemu dat (big data) by komplexnost, porovnatelnost a systematičnost zvýšilo propojování všech dat do jednoho velkého datového souboru. Základním identifikátorem tohoto souboru by byl kód (REDIZO) školy. Kód školy umožňuje snadnou párovatelnost různých datových sad. Krokem k systematizaci by bylo pravidelné udržování této databáze, což by umožnilo ČŠI provádět sofistikované analýzy na velkém množství dat (například v programu R). U této databáze pak nemusí být splněny zcela přísné akademické standardy jako reprezentativnost vzorku. Způsobem vytěžení všech dat by byl tzv. data mining. Jedná se o analytický způsob získávání netriviálních skrytých a potencionálně užitečných informací z velkého množství dat.
4. Plošné či rozsáhlé testování žáků Plošné testování žáků umožňuje celou řadu datových analýz. Jedná se o nejkomplexnější sběr dat, který můžeme přirovnat k cenzu. Výhodou je to, že odpadá problém statistické inference, kdy u výběru z populace musíme pomocí vhodného testování usuzovat na základní soubor – populaci (srov. PISA, TIMSS, PIRLS atd.). Nevýhodou je finanční náročnost plošného testování. Alternativou je výběrové šetření vzorku. Inspirací je Finsko, kde se testování provádí na vzorku 5 až 10 % všech žáků. Dalším kritériem může být téma zkoumané oblasti. Velkým problémem je zajištění kvalitního vzdělávání ve školách, které leží ve strukturálně znevýhodněných lokalitách. Analýza zahraničních systémů sběru dat 48/54
5. Longitudinální studie Testování žáků, výzkum názorových postojů ředitelů, učitelů, rodičů žáků atd. by mělo být ideálně nejen na dostatečném a reprezentativním vzorku, ale rovněž by měly být jednotlivé faktory sledovány v čase. Šetření by se měla konat v pravidelně naplánovaných intervalech. Celá řada zemí dnes provádí longitudinální studie, které jsou schopny zachytit celou řadu dynamických jevů a efektů. Nevýhoda těchto studií je jejich finanční a metodologická náročnost, což komplikuje jejich snadnou proveditelnost. Výhodou je ale pak komplexní náhled na vzdělávací soustavu v čase. Poznatky z longitudinálních šetření mohou být v kombinaci s kvalitativním sběrem dat při inspekční činnosti (mixed method approach) velice užitečné pro formulování evidence-based vzdělávacích politik, pro stanovení doporučení jednotlivým ředitelům škol, a to především ředitelům těch škol, které se odlišují od průměrného
Studii ke stažení naleznete zde
.png)
0 komentářů:
Okomentovat