U téhož modelu nabízí poskytovatelé OpenRouteru různé přesnosti a cena to neprozradí
Zprostředkovatel OpenRouter nabízí u téhož modelu i víc než třicet poskytovatelů. Měření jeho veřejného rozhraní ukazuje, že se mezi nimi liší přesnost vah i velikost kontextu, a že cena za milion tokenů obojí zamlčuje: u jednoho modelu chce deset poskytovatelů stejnou částku a dodává tři různé kvantizace.
Kdo si model s otevřenými vahami nespouští doma, obvykle ho volá přes rozhraní někoho jiného. U zprostředkovatele OpenRouter, který požadavek přepošle jednomu z poskytovatelů výpočtu, jich za jedním jménem modelu stojí klidně třicet. Liší se cenou, a jak ukázalo měření jeho veřejného rozhraní, taky tím, co vlastně pouštějí.
Co se měřilo
Katalog OpenRouteru měl 17. srpna 2026 celkem 414 modelů. U 166 z nich je v odpovědi rozhraní vyplněné pole hugging_face_id, tedy odkaz na veřejné váhy; jen u těch má smysl ptát se, v jaké přesnosti běží, protože u uzavřeného modelu žádná jiná varianta neexistuje. Těch 166 modelů dohromady nabízí 678 koncových bodů, tedy dvojic model a poskytovatel.
Ke každému koncovému bodu vydá rozhraní jméno poskytovatele, cenu za vstupní a výstupní token, velikost kontextu a pole quantization. Ceny jsou v odpovědi za jeden token, takže se pro obvyklý údaj za milion násobí milionem; všechna čísla níž jsou takhle přepočtená a jsou v dolarech.
Devadesát tři modelů, u osmdesáti šesti nesouhlasí přesnost
Víc než jednoho poskytovatele má 93 z těch 166 modelů. A u 86 z nich se přesnost mezi poskytovateli liší: jeden pouští váhy v bf16, druhý v fp8, třetí ve čtyřech bitech. Nejde o okrajový jev, ale o pravidlo – shodnou přesnost u všech svých poskytovatelů má sedm modelů z devadesáti tří.
Druhé číslo je horší. Z 678 koncových bodů jich 213, tedy 31,4 %, uvádí místo kvantizace hodnotu unknown. U 35 modelů ji neuvádí ani jeden poskytovatel, takže se z katalogu vůbec nedá zjistit, co si zákazník kupuje.
Za stejnou cenu tři různé přesnosti
Nejnázorněji to je vidět na modelu GLM-5.2 od Z.AI, který má v katalogu 33 koncových bodů. Deset z nich chce za vstup přesně 1,40 dolaru za milion tokenů a 4,40 za výstup – a mezi těmihle deseti jsou fp8, fp4 i unknown. Kontext se u nich přitom pohybuje od 262 144 po 1 048 576 tokenů, tedy čtyřnásobný rozdíl při shodné ceně.
Nejlevnější poskytovatel téhož modelu chce 0,50 dolaru za milion vstupních tokenů a pouští fp8 s plným kontextem, nejdražší 2,31 a pouští rovněž fp8. Sám Z.AI, tedy autor modelu, je uprostřed na 1,40.
U modelu Kimi K3 od Moonshotu je pořadí naopak. Nejlevnější koncový bod, 2,60 dolaru za milion vstupních tokenů, jede ve fp4. Váhy v plné šířce bf16 nabízí DeepInfra za 2,85, kdežto osm poskytovatelů za 3,00 dodává mxfp4, fp8 nebo neuvedeno. Kdo si vybere podle ceny, dostane nižší přesnost; kdo připlatí, ji nemusí dostat.
Vyšší přesnost není spolehlivě dražší
Aby to nebyl dojem ze dvou příkladů, dá se to spočítat. U 37 modelů nabízí někdo bf16 a zároveň někdo jiný nižší přesnost; takových dvojic je 47. Ve 28 případech je bf16 dražší, jak by člověk čekal. Ve zbylých 19, tedy ve dvou pětinách, je plná přesnost stejně drahá nebo levnější než osmibitová či čtyřbitová varianta.
Rozptyl samotné ceny je přitom velký i bez ohledu na přesnost. U 92 modelů, kde má rozhraní víc než jednu cenu, je medián poměru nejdražšího a nejlevnějšího vstupu 1,98, tedy dvojnásobek. U gpt-oss-120b od OpenAI je to 11,7krát: od 0,030 po 0,350 dolaru za milion vstupních tokenů.
Velikost kontextu se chová podobně. Ze 93 modelů s víc poskytovateli jich 72 nabízí různě velké okno a medián poměru největšího a nejmenšího je rovný dvojnásobek.
Kdy nižší přesnost není horší
Z toho neplyne, že je fp8 nebo fp4 vždycky ústupek. U právě zmíněného gpt-oss-120b je to obráceně: karta modelu uvádí, že váhy směsi expertů jsou v MXFP4 už z dotrénování a že v téhle přesnosti probíhala i všechna měření. Čtyřbitový koncový bod je tu tedy původní varianta a bf16 je rozbalená kopie.
U fp8 je rozdíl obvykle malý. Dokumentace vLLM ho popisuje jako poloviční nároky na paměť a až 1,6krát vyšší propustnost při minimálním dopadu na přesnost odpovědí. Čím níž se jde, tím to platí méně; měření nad kvantizacemi od dvou do sedmi bitů ukázalo, že dvoubitová varianta model položila úplně.
Samotný OpenRouter to v dokumentaci ke směrování nezakrývá: píše, že kvantizované modely můžou u některých zadání vykazovat zhoršené chování podle toho, jakou metodou vznikly. Tatáž stránka ale hned nad tím uvádí, že se požadavky ve výchozím nastavení rozdělují mezi všechny dostupné poskytovatele seřazené podle ceny. Přesnost do téhle úvahy nevstupuje.
Co s tím jde dělat
Rozhraní má na to pole quantizations, kterým se dá výběr omezit na vyjmenované úrovně. Dokumentace jich vypisuje dvanáct: int4, int8, fp4, mxfp4, nvfp4, fp6, fp8, mxfp8, fp16, bf16, fp32 a unknown. Vedle toho jde vyjmenovat nebo vyloučit konkrétní poskytovatele.
Filtr ale nic nezaručí u těch 35 modelů, kde přesnost neuvádí nikdo, a u dalších, kde ji uvádí jen část poskytovatelů: požadavek na bf16 z takové nabídky vyřadí i body, které bf16 klidně pouštějí, jen to nenapsaly. Údaj navíc do katalogu hlásí poskytovatel sám a měření výše je měřením toho, co hlásí, ne toho, co doopravdy počítá.
Praktický důsledek je jednoduchý. Když se v odpovědích modelu něco změní a kód se přitom nehnul, nemusí to být model – může to být jiný poskytovatel za týmž jménem.