Kalibrační text pro kvantizaci do GGUF se projeví až pod čtyřmi bity na váhu

Kdo si stahuje modely ve formátu GGUF, bere váhy zmenšené ze šestnácti bitů na dva až osm. Aby se při tom zahodilo to nejméně podstatné, projede llama.cpp modelem nejdřív hromadu textu a zapíše si, které vnitřní kanály se přitom rozsvěcují nejsilněji. Tomu záznamu se říká matice důležitosti, zkráceně imatrix, a kvantizace pak podle něj ví, kde si nesmí dovolit chybu.

Text, ze kterého ta matice vzniká, si každý vydavatel kvantizovaných kopií skládá po svém. Jeden z nich, který na Hugging Face vystupuje jako bartowski, zveřejnil 17. srpna 2026 novou sadu v6 a k ní i měření, kterým se k ní dopracoval. Sám ho uvozuje tím, že žádný zázračný lék to není: pár vylepšení, pár výher, pár proher.

Co matice důležitosti počítá

Kalibrační text jde modelem po úsecích a u každého tenzoru se sčítají druhé mocniny aktivací, které do něj vstupují. Kanál, který se rozsvítí skoro při každém průchodu, drží podle toho váhy, na kterých záleží; kanál, který mlčí, nejspíš ne. Jistota to není – může to znamenat jen tolik, že mu nikdo nedal text, který by ho zajímal.

Do llama.cpp tenhle nástroj přidal uživatel ikawrakow návrhem změny 4861, sloučeným 12. ledna 2024; tehdy uměl počítat jen na procesoru. Dnes se volá jako llama-imatrix a výsledek se kvantizaci předá přepínačem --imatrix, jak popisuje nápověda toho nástroje.

Nad čtyřmi bity je to jedno

První a nejméně vzrušující zjištění: nad zhruba čtyřmi bity na váhu nedělá výběr kalibračního textu předvídatelný rozdíl. Bartowski to zkoušel i s úplně náhodným textem a u Q4_0, IQ4_XS a výš se skoro nic nestalo.

Vidět je to v jeho tabulce, která u modelu Qwen3.8-27B srovnává starou sadu v5 a novou v6 podle odchylky rozdělení pravděpodobností proti nekvantizovaným vahám (KLD), na stu úsecích korpusu wikitext. Nová sada je u Q6_K_L o 1,5 % lepší, u Q5_K_M o 2,0 % lepší, u Q4_K_L o 1,6 % horší a u Q4_K_S o 3,6 % horší. Znaménko se střídá bez ladu a skladu a to je vlastně celé sdělení té tabulky.

Dole rozhoduje pokrytí expertů

Zajímavé je to až u dvoubitových kvantizací, a hlavně u modelů se směsí expertů. Že tam matice důležitosti není kosmetika, ukazuje krajní případ: model Qwen3.6-35B-A3B kvantizovaný do Q2_K úplně bez ní spadl v testu volání nástrojů BFCL z přibližně 82 % na 54 %, tedy o 28 bodů. Mezi nejlepší a nejhorší kalibrační sadou pak zbývá rozdíl kolem deseti procent; u IQ2_M jsou od sebe rozumné sady jen o jednotky procent a u hustých modelů se rozdíl hledá ještě hůř.

Příčinu bartowski hledal v tom, kolik expertů se při kalibraci vůbec probudí, a u modelu Qwen3-Next-80B-A3B to spočítal. Čistě anglický korpus s voláním nástrojů nechal 18 z 512 expertů bez jediného tokenu, a to i při 3 126 úsecích, což je skoro čtyřnásobek délky staré sady v5. Plné pokrytí přišlo, teprve když se přidala vícejazyčnost a kód. U modelů se směsí expertů je proto podle něj nejdůležitější změnou to, že nová sada obsahuje konverzace vysázené šablonou chatu – někteří experti se totiž zapínají až na značky té šablony.

Jedno číslo se do téhle úvahy nehodí a stojí v příspěvku taky: v testech MMLU-Pro a GSM8K byla u Q2_K úspěšnost prakticky stejná napříč všemi kalibračními sadami včetně té z náhodných slov. Autor to sám označuje za překvapivé.

Z čeho je nová sada

Zdroje jsou venku. Gist ze 14. srpna obsahuje dva soubory: v6_prose.txt o 461 125 bajtech a v6_conversations.json o 1 002 966 bajtech. Poměr prózy ke konverzacím je 2:3 a konverzace pocházejí z datové sady hermes_reasoning_tool_use. Prózu vybíral tak, aby po jednotlivých úsecích rozsvítila co nejvíc různých expertů; sady k porovnání dodal ze své sbírky eaddario/imatrix-calibration.

Délku zkoušel od 400 do 800 úseků a větší sady dopadly hůř; jeho vysvětlení je, že v příliš velkém vzorku se důležité výsledky utopí v běžných. Hotový text vysázený šablonou daného modelu vydává rovnou u kvantizací – v repozitáři bartowski/Qwen3.8-27B-GGUF je to soubor Qwen3.8-27B-calibration-v6.txt o 1 258 850 bajtech a vedle něj samotná matice o 13 642 688 bajtech. Ten repozitář vznikl 14. srpna a do 24. srpna měl 236 948 stažení.

Dvě věci navíc a jedna výhrada

Z měření vypadly dvě odpovědi, které ušetří čas každému, kdo si matici počítá sám. Matice spočítaná z osmibitové kopie místo z bf16 vyšla proti té původní s kosinovou podobností přes 99,99 %, takže na plné váhy není potřeba čekat. A kontext 2048 tokenů místo 512 nepřinesl žádnou změnu; v řadě případů dokonce ubral z pokrytí expertů.

Výhrada je jediná, zato podstatná: všechna ta čísla jsou z běhů jednoho člověka, který k nim dostal výpočetní čas od laboratoře LTT Labs, a nikdo jiný je zatím nezopakoval. Pro čtenáře, který si stahuje hotové soubory, z nich plyne jednoduchý závěr: u Q4 a výš je jedno, čí kvantizaci vezme, a u dvou bitů to jedno není – obzvlášť když má model směs expertů a má v něm volat nástroje. Jak moc se to promítne do běžného používání, tenhle rozbor neříká; u vLLM se dvoubitové váhy v jiném měření položily a llama.cpp mezitím přidal vlastní dvoubitový formát Q2_0.

Zdroje

• New imatrix dataset, Hugging Face, 17. srpna 2026
• Importance Matrix calculation, návrh změny v llama.cpp, sloučený 12. ledna 2024
• llama.cpp/tools/imatrix, nápověda nástroje
• Kalibrační sada v6, gist ze 14. srpna 2026
• bartowski/Qwen3.8-27B-GGUF, Hugging Face