Bořivoj Brdička: Je současná umělá inteligence schopna hodnotit tvořený text?

Zatímco my se zabýváme tím, kdo bude žákovské práce vytvořené v rámci povinného, státem nařízeného, plošného testování hodnotit a jak co nejsnáze data vytvořená na papíře hodnotitelům předat v digitální podobě, jinde ve světě již mají k dispozici co do kvality s lidskými srovnatelné automatické systémy hodnocení a přou se o to, zda je eticky správné předat kontrolu úrovně výukových výsledků strojům (Dohlížejí na vše stroje láskyplné milosti?).


Ano, je to tak. V USA se v nedávné době vyrojilo větší množství zpráv, které se zabývají právě současným kvalitativním pokrokem aplikací schopných hodnotit úroveň delších souvislých textů. Prosím, nepleťte si takové hodnocení s kontrolou pravopisu nebo s analýzou prováděnou kvůli odhalování plagiátorství. Mluvíme o literární hodnotě hodnoceného textu. Pravděpodobně nejdůležitější roli v aktuálním vývoji mají granty Amerického federálního ministerstva školství a podpora nadace Williama a Flory Hewlettových.

O tom, že ministerstvo zadalo vývoj nových systémů plošného hodnocení výukových výsledků žáků amerických škol v hodnotě 330 mil. dolarů dvěma sdružením - PARCC a SBAC, jsme informovali již na podzim 2010 (Plošné testování trochu jinak). Většina specializovaných firem zapojených do tohoto programu mezitím své systémy, jež jsou v některých případech vyvíjeny již desítky let, výrazně zdokonalila. Ukázalo se to, když byly nedávno zveřejněny závěry dosud ojedinělého výzkumu [1] vedeného Markem Shermisem z University of Akron (Ohio), který zkoumal schopnosti 9 nástrojů automatického počítačového hodnocení, jež dohromady pokrývají 97% amerického trhu v tomto segmentu, a porovnával je s již existujícím tradičním hodnocením realizovaným odborníky podle stávajících kritérií. Do zpracování bylo zahrnuto víc jak 22 tisíc prací 8 různých typů lišících se obsahem, délkou i způsobem hodnocení, jež vznikly v rámci plošného testování v 6 amerických státech. U nástrojů se nezkoumala přímo vlastní schopnost hodnocení, ale právě míra dosažení shody s výsledky získanými tradičním způsobem.



H1H2—Human Rater 1,2
AIR—American Institutes for Research
CMU—TELEDIA, Carnegie Mellon University
CTB—CTB McGraw-Hill
ETS—Educational Testing Service
MI—Measurement, Inc.
MM—MetaMetrics
PKT—Pearson Knowledge Technologies
PM—Pacific Metrics
VL—Vantage Learning

Shoda zjištěná u 9 nástrojů automatického počítačového hodnocení v porovnání s hodnocením odborníků u 8 různých typů esejí vytvořených žáky [1]

Celý článek na spomocnik.rvp.cz