Bez jasného pokynu modely při doučování matematiky příliš napovídají, ukázal test Ai2
Institut Ai2 zveřejnil TutorMoments, měřítko postavené na 462 přepisech skutečného doučování matematiky. Sedmi jazykovým modelům dal roli doučovatele: bez bližšího pokynu většinou napovídaly za žáka a jen zřídka ho tlačily k vlastní úvaze. Pokyn, který ten rozdíl popsal, výsledky zvedl, ale mezeru k člověku nezavřel.
Institut Ai2 (Allen Institute for AI) zveřejnil 7. srpna náhled měřítka TutorMoments. Ptá se na jednu z nejtěžších věcí ve výuce: kdy má doučovatel zabrat a pomoct a kdy naopak ustoupit a nechat žáka počítat samotného. Test běží na přepisech skutečného doučování matematiky a sleduje, jak se v téže situaci zachová jazykový model, když ho posadíte na místo doučovatele.
Hlavní zjištění zní: model, kterému řeknete jen „dobře doučuj“, většinou napoví za žáka a málokdy ho pošťouchne k vlastní úvaze. Když se do zadání ten rozdíl vypíše, výsledky se zvednou – ale k člověku, který se do situace trefí pokaždé, je nezavřou.
Jak se doučovatel testuje
TutorMoments nepracuje s umělými úlohami. Zkušení učitelé matematiky projdou přepis skutečné hodiny a označí klíčový okamžik – místo, kde se doučovatel musel rozhodnout mezi tím, že žákovi látku zpřístupní (opora, anglicky scaffolding), a tím, že na něj přitlačí a nechá ho myslet (tlak na náročnost).
Test pak přepis v tom bodě zastaví, předá ho modelu a ten pokračuje jako doučovatel po pět tahů (tři jeho, dva žákovy). Žáka přitom hraje jiný model, Claude Opus 4.6, kterému dají popis, jak se původní žák choval. Co doučovatel udělal, ohodnotí další model podle měřítek ověřených proti úsudku učitelů: dal oporu, když bylo potřeba? přitlačil, když byl žák připravený? a nepřehnal to s oporou? Sedm modelů takhle prošlo 520 okamžiků, rozdělených napůl mezi ty, kde se hodí opora, a ty, kde se hodí tlak.
Co je v přepisech
Zveřejněná sada TutorMoments-Preview obsahuje 462 anonymizovaných přepisů individuálního doučování matematiky s americkými žáky od druhé do sedmé třídy. Pochází z programu intenzivního doučování, jehož žáci většinou chodí do škol pro sociálně slabší; provozovatel je uvolnil pod výzkumnou doložkou, se kterou souhlasili rodiče. Osobní údaje z nich smazal nejdřív provozovatel a pak ještě druhý průchod uzpůsobený matematice, aby při čištění nesmazal čísla v příkladech.
Anotace dodalo 27 amerických učitelů, každý s praxí přes tři roky. Ve 122 přepisech označili 1 536 klíčových okamžiků, každý v průměru tři a půl krát. Vhodných na oporu je 738, na tlak 260 – tlak je vzácnější a hůř se rozpoznává, což je vidět i na výsledcích.
Bez pokynu se napovídá
Každé číslo v tabulce je podíl mezi 0 a 1: kolik z vhodných okamžiků model trefil. Nejvýmluvnější je tlak na náročnost; s prostým zadáním na něj modely skoro nesáhly, se zadáním, které rozdíl popisuje, výrazně přidaly.
| Model | Bez pokynu | S pokynem |
|---|---|---|
| Claude Opus 4.8 | 0,208 | 0,831 |
| Claude Sonnet 4.6 | 0,085 | 0,792 |
| DeepSeek V4 Pro | 0,088 | 0,492 |
| Gemini 2.5 Pro | 0,223 | 0,712 |
| Gemini 3.5 Flash | 0,158 | 0,646 |
| GPT 5.5 | 0,046 | 0,531 |
| GPT 5.4 mini | 0,023 | 0,404 |
| Lidští doučovatelé | 0,182 (referenční) | |
Čísla platí pro tlak na náročnost ve vhodných okamžicích. GPT 5.5 s prostým zadáním přitlačil jen v 0,046 z nich, tedy ani ne v pěti ze sta. Lidští doučovatelé mají v téže sadě 0,182 – i to je nízké číslo, protože učitelé schválně vybírali okamžiky, kde doučování vázlo; nejde tedy o vzor ideální praxe, ale o přirozené srovnání.
Náš výpočet z tabulky: průměr přes všech sedm modelů je u tlaku na náročnost 0,12 s prostým zadáním a 0,63 se zadáním, které rozdíl popisuje. Prosté zadání tedy vyšlo hůř než lidská referenční hodnota; teprve pokyn ji překonal. Zvedly se všechny tři míry u všech sedmi modelů – rozhoduje tedy formulace zadání, ne jen volba modelu.
Co test neměří
Ai2 sadu označuje za náhled a sama vypisuje meze. Skóre popisuje, jak se model zachová v rozhodovacím bodě, ne jestli se žák něco naučil – žáka hraje model, ne dítě. Hodnotí ho navíc další jazykový model, byť ověřený proti učitelům, takže čísla jsou měřením jednoho nástroje, ne absolutní pravdou. Sada je taky úzká: americká, hlavně matematika prvního a druhého stupně, jeden okruh učitelů. A nejlepší modely, Gemini 2.5 Pro a Claude Opus 4.8, odpovídaly v průměru přes deset sekund na tah, což se do živé hodiny nehodí.
Celý postup i výsledky jsou v technické zprávě a kód k přehrávání hodin je na GitHubu. Ai2 chystá větší a vícejazyčnou verzi; náhled vyšel proto, aby k němu obor stihl dát připomínky dřív, než sada doroste.