Zásadní problémy při testování NIQES

středa 23. května 2012 ·

Dopis Arcibiskupského gymnázia v Praze ServiceDesku projektu NIQES: "Po dvou hodinách snažení se 30 studenty ve dvou učebnách jsme testování odpískali a nechceme v něm pokračovat.(...) Pokud nebudeme mít záruku, že příští pokus o testování proběhne bez komplikací, nemůžeme dále ztrácet čas opakovanými experimenty s žáky."

Vážený ServiceDesku projektu NIQES,

při dnešním testování (22. 5. 2012) jsme se v naší škole potýkali s tak zásadními problémy, že jsme plánované testy vůbec nemohli dokončit. Po dvou hodinách snažení se 30 studenty ve dvou učebnách jsme testování odpískali a nechceme v něm pokračovat. Přitom jsme aplikaci nainstalovali podle návodu, všechny potíže jsme v přípravném čase řešili s Vaší podporou, vyzkoušeli jsme postinstalační testy a byli jsme dobře připraveni. Pokud nebudeme mít záruku, že příští pokus o testování proběhne bez komplikací, nemůžeme dále ztrácet čas opakovanými experimenty s žáky.

Pozorované potíže:

  • Timeouty v řádu minut i desítek minut při přihlašování do testovací aplikace, volbě testu, přechodech mezi testem a anketami i uvnitř samotného testu mezi otázkami (!). Při testu se čas zatuhnutí aplikace počítal do doby testu! (Jednalo se u některých uživatelů třeba o 20minutovou ztrátu). Žáci navíc byli rozhozeni nečekaných chováním testovací aplikace a nemohli se soustředit na práci. Výsledky (pokud se je vůbec podařilo získat), jsou tím výrazně zkreslené.
  • Několika uživatelům v průběhu testování aplikace úplně spadla, jeden žák se k vlastnímu certifikovanému testu dostal až na 4. pokus.
  • Asi polovině uživatelů, kterým se test podařilo doklikat do konce se na závěr neodeslala data na Váš server.
  • V textu zadání i odpovědí se volně vyskytovaly vysázené html tagy b nebo i.
  • Jedné žákyni test v jedné konkrétní úloze neumožnil psát do odpovědního políčka - klávesnice nereagovala (ačkoli v jiných jejích úlohách to normálně šlo).
  • Tlačítko "Další" pro přechod mezi úlohami bylo u některých žáků skryto téměř za okrajem obrazovky a koukal z něj jen malý kousek bez nápisu (zatímco v postinstalačním testu bylo tlačítko normálně celé vidět).
  • Portál portal.niqes.cz byl v průběhu dopoledne zcela nedostupný, ani teď na něm nevidím výsledky našeho testování.
  • A ještě potíž s konkrétní verzí testovací aplikace, kterou používáme (linux): Při volbě testu jako samostatné session není v testu žádná možnost přepínat rozložení klávesnice (což z postinstalačního testu nebylo patrné: tam nebyla otázka, u které by se to mohlo projevit).
Celkovou podporu v projektu považujeme za nedostatečnou. Například časovou délku jednotlivých testů (včetně anket a přípravy) jste zveřejnili až 15. května., tedy méně než týden před započetím vlastního testování. Na škole naší velikosti přitom potřebujeme k úpravám rozvrhu žáků i učitelů větší předstih. Nicméně s tím jsme se dokázali vypořádat. S nefunkčností testovací infrastruktury bohužel nic dělat nedokážeme.

22 komentářů:

Anonymní řekl(a)...
23. května 2012 v 8:59  

Vážení přátelé,
připravte se také na řadu telefonátů od rozzuřených rodičů, kteří se po shlédnutí výsledků svých dětí dozvěděli, že správné odpovědi na slovní úlohy v matematice byly vyhodnoceny jako špatné, protože dítě odpovědělo celou větou.

Anonymní řekl(a)...
23. května 2012 v 9:19  

Dneska to funguje už naprosto bez problémů. Tak je to zkouška, dá se to pochopit, ale příště chlapci znovu a lépe!

Anonymní řekl(a)...
23. května 2012 v 9:42  

Pokud ten portál portal.niqes.cz má fungovat, tak mě v 9:40 nejede, takže bych to za bezproblémové nepovažoval...

Anonymní řekl(a)...
23. května 2012 v 10:04  

Teď dali na nástěnku pokyny, jak na otevřené úlohy odpovídat. Vypadají rozumně, škoda, že nepřišly před začátkem testování. Ale snad se chybami rychle něco naučí.

kamínek řekl(a)...
23. května 2012 v 10:09  

O bezproblémovém provozu se nedá hovořit ani omylem. Veškeré problémy úvodního textu z arcibiskupského gymnázia mohu plně potvrdit. Je to jen další důkaz, jak je celá tato akce zbytečná. Btw. - viděl jste někdo brífing ČŠI? Jak se tam vzájmeně potlapkávali a chválili. Bylo mi opět na zvracení (viz Černí baroni - generál Postránecký - připadám si úplně stejně). Zpravodajství v médiích jsou stejně tendenční - všichni oslovení jásají a chválí, žádný negativní názor ....

Anonymní řekl(a)...
23. května 2012 v 10:17  

Včerejšek byl dost tragický. Ale brali jsme to jako zkoušku, žákům jsme vysvětlili, že je to zkouška a oni aspoň poznali, jak je důležité složité věci nechtít dělat z jedné vody načisto. Dnes už je to mnohem lepší a kdybychom začali až dnes, hodnotili bychom průběh zkoušky celkem pozitivně.

Anonymní řekl(a)...
23. května 2012 v 10:48  

Jo u nás to dnes taky proběhlo vcelku rozumně, ale uvidíme v dalších dnech. Nicméně jsem nahlížel žákům přes rameno, jaké úlohy byly v matematice pro 5. ročník. Zajímalo by mne, které to byly ty avizované základní úlohy. Každá úloha totiž obsahovala nějaký špek až chyták, což mi přijde k dětem vcelku nefér.

Anonymní řekl(a)...
23. května 2012 v 11:26  

Já bych řekl, že dnes je to bezproblémové naoko. Odeslání testů proběhlo nečekaně rychle a bylo ukončeno hláškou, že přenos peoběhl v pořádku. Při kontrole na rozhraní IDM jsem ale zjistil, že dva testy se vrátily (mají červený status) a ostatní tam nejsou. K nějakým změnám došlo, už se po odeslání neitevírá internetový prohlížeč, přibylo stručné vyhodnocení. Podle rychlosti odeslání bych řekl, že data nejsou dnes přijímána do systému okamžitě, aby to dlouho netrvalo, ale že někde čekají a budou pak postupně zpracováno. To jsme ale mohli vědět.

Anonymní řekl(a)...
23. května 2012 v 11:36  

Tak to je opravdu perla:
V žádném případě nelze vyhodnotit odpověď celou větou, byť chápeme, že učitelé správně žáky k takovým odpovědím vedou. Cituji z dnes uveřejněného návodu: Jak odpovídat na polootevřené úlohy?
Máme tedy odstoupit od zápisů odpovědí ve slovních úlohách a vysvětlit žákům, že je to tak sice učíme, ale někdo chytřejší to neumí přečíst?

Anonymní řekl(a)...
23. května 2012 v 11:42  

Je to proto, že odpovědi kontroluje počítač a ne hodnotitel, chápu. Už jsem s nimi mluvil a dodatečně to projdou a opraví.
Kolego, neblázněte, že budete učit děti podle nějakých testů.

Ondřej Šteffl řekl(a)...
23. května 2012 v 13:12  

Jak to, že nikomu nevadí, že se z žáků stali pokusní králíci, kteří slouží k nalezení chyb v systému. A to na místo řádné výuky!

Není to porušení zákona?

Anonymní řekl(a)...
23. května 2012 v 13:14  

Když to tady čtu, tak vám závidím... Takové drobnosti. Patrně nejste ze středních škol a nejednáte s cermatem.

Anonymní řekl(a)...
23. května 2012 v 13:21  

U nás v Olomouci dnes naprosto bez problémů.

Anonymní řekl(a)...
23. května 2012 v 13:43  

Dobrý den všem,
procházíme odpovědi žáků na polootevřené úlohy. Pokud byste se někdo chtěl vyjádřit k následujícím otázkám, budeme rádi.
1) Má se v matematice za správnou považovat odpověď s gramatickými chybami? Zdá se, že ano, i když je to trochu proti komplexnímu hodnocení výkonu žáka.
2) Co si myslet o odpovědi žáka, který jinak výsledky nic moc, ale na otázku na druh větného členu odpoví "atribut nonkongruentní"?

Kdo nechce, věřit nemusí, ale takové alternativy odpovědí, jaké žáci "vymysleli" (často "využitím" gramatických chyb a překlepů) by nikdo předem nevymyslel. Proto se odpovědi procházejí dodatečně a klíč správných odpovědí se doplňuje (byť srdce češtináře nad slovními odpověďmi v matematice krvácí...).
Petr Suchomel

obyčejná učitelka řekl(a)...
23. května 2012 v 15:35  

Pane Suchomele, vy (ČŠI) přece nehodnotíte tímto testem žáky komplexně?! Tak si nehrajte na posledního spravedlivého. Jak víte, že by odpověď byla "na papíře" stejně "zraňující" jako ta psaná na klávesnici? Stresující podmínky jste nastavili vy. Tak se teď nepohoršujte, prosím.

Anonymní řekl(a)...
23. května 2012 v 16:38  

Dnes jsem zjistil, že z včerejších testů z matematiky se 8 VRÁTILO.Odeslal jsem jednotlivé, ale nic se nezměnilo.Prý to může trvat
i 24 hodin.Bordel!!!!!!

Anonymní řekl(a)...
23. května 2012 v 16:55  

DD,
děláme IT servis na několika školách, tak doplním z technického pohledu pár postřehů:
- po automatické aktualizaci aplikace z verze 2.2 na některou vyšší po 15.5. a spuštění testů ze zkušební sady docházi k havárii aplikace (po zadání 5. znaku přihlašovacího jména), správně by se měla zobrazit hláška s popisem problému. Toto je diletantské řešení programátora
- ve čtvrtek 17.5. odpoledne stále nejsou vygenoravány testovací dávky pro některé školy, i když v metodických podkladech bylo zveřejněno, že jsou od 15.5. ke stažení - administrátorská aplikace nevrací správný popis chyby, ale pouze obecnou hlášku, ze které nelze poznat přesnou příčinu problému
- kvůli přetížení serverů je někdy třeba použít funkci import a export testů, problém je, že se při této akci nepřenese soubor _resources20.xml, který slouží jako zdroj obrázků v některých otázkách, přitom postinstalační test "33333" proběhne zcela korektně

Nemám sílu to někam posílat, ale pokud bude někdo ze zdejších přispěvatelů posílat na ČŠI připomínky, tak to klidně může použít.

Anonymní řekl(a)...
23. května 2012 v 16:58  

Volal jsem na tu jejich hotline, kde hořelo,ale asi nevyhořelo... ;-), Tak tam mi řekli, že ten seznam vrácené testy nejsou testy, ktreé se vrátili, ale které jsou na serveru. Prej to přejmenují, že nejsem jediný, kterého to zmátlo...

Anonymní řekl(a)...
23. května 2012 v 18:02  

Nejdříve jsem si chtěla vybít vztek nad tímto "experimentem" na klávesnici, ale poté co mé rozhořčení, coby rodiče a učitele, dosáhlo několikastránkové úvahy, nezbývá než mávnout rukou a říct "No comment".

Anonymní řekl(a)...
27. května 2012 v 14:10  

Na naší škole se nepodařilo rozchodit zvuk u poslechových otázek z jazyka. Protože aplikace neumožňuje práci s okny, nebylo možné ani žádné laborování. Dokumentace nulová, podpora v řádu dní. Nakonec jsme stáhli balíček s mp3, dětem to pouštíme přes bedny najednou. Hlavně že všechny měly sluchátka... Naprosto jsem nepochopil, na základě čeho se vybírají obtížnější varianty odpovědí. V jedné ze tříd tyto těžší části nedostal ANI JEDEN ze žáků, což se v jejich celkovém výsledku projevilo. Máme žáka, který pro změnu dosáhl totální "nuly". To snad není ani při náhodném výběru možné (navíc to není žádný trouba) a skutečně klikal co měl. Posuvníky v okně otázek splývají s pozadím. Některá děcka je prostě přehlédla a nečetla celý text. A teď považte, že "Rozpočet projektu pro celkové způsobilé výdaje činí 296 242 042 Kč."
Naprosto nechápu systém vyhodnocování. Proč to trvá HODINY někde na nějakém serveru?

Anonymní řekl(a)...
27. května 2012 v 14:24  

Tak jsem tak narychlo udělal výpočet mzdových nákladů při teoretickém daňovém základu 18 000,- Kč (tedy "čistého") a vyšlo mi, že celý projekt by zaplatil na jeden rok cca 882 učitelů. Možná jsem někde udělal botu, ale koukejme se na to touto optikou!

Anonymní řekl(a)...
27. května 2012 v 14:26  

...a samozřejmě jsem započítal i odvody na sociálníé a zdravotní pojištění. Bez nich by to bylo cca 1221 kantorů.

Články dle data



Učitelské listy

Nabídka práce

Česká škola - portál pro ZŠ a SŠ

Česká škola poskytuje svým čtenářům diskusní prostor k vyjádření názorů na školskou problematiku. Tyto příspěvky se nemusí shodovat se stanoviskem redakce České školy a jsou uveřejňovány jako podnět k dalším diskusím.

Obsah článků nemusí vyjadřovat stanovisko redakce nebo vydavatele Albatros Media, a.s.


Všechna práva vyhrazena.

Tento server dodržuje právní předpisy
o ochraně osobních údajů.

ISSN 1213-6018




Licence Creative Commons

Obsah podléhá licenci Creative Commons Uveďte autora-Neužívejte dílo komerčně-Nezasahujte do díla 3.0 Česká republika, pokud není uvedeno jinak nebo nejde-li o tiskové zprávy.



WebArchiv - archiv českého webu



Tyto webové stránky používají k poskytování služeb, personalizaci reklam a analýze návštěvnosti soubory cookie. Informace o tom, jak tyto webové stránky používáte, jsou sdíleny se společností Google. Používáním těchto webových stránek souhlasíte s použitím souborů cookie.