Zrychlená verze videomodelu MiniMax H3 dokládá slíbenou kvalitu šesti srovnáními

Váhy modelu VDN-H3 přibyly na Hugging Face 2. září 2026 večer a kód k nim vyšel týž den. Podepsaní jsou pod tím lidé z Kalifornské univerzity v Berkeley, z firmy Impossible a z Texaské univerzity v Austinu; odborná práce k tomu zatím není, jen stránka projektu. Model nevznikl od nuly. Bere hotový videomodel MiniMax H3, jeho váhy nechá být a přidá k nim druhou větev pozornosti, která spotřebuje míň výpočtů.

Osm procent parametrů navíc

Kolik toho přibylo, se dá spočítat, aniž se stáhne jediný gigabajt vah. Soubor safetensors nese na začátku hlavičku se jménem a tvarem každého tenzoru, takže stačí rozsahový dotaz na prvních pár set kilobajtů. Nová lineární větev má podle těch hlaviček 2 139 660 000 parametrů v 800 tenzorech a sahá do všech padesáti vrstev. Dva adaptéry LoRA k ní přidávají 166 985 728 a 425 678 848 parametrů.

Součet je 2,73 miliardy. Vlastní transformer MiniMaxu H3 jich má ve čtrnácti souborech 33 122 992 896, takže přidaná část dělá 8,25 % navíc; obě čísla jsem sečetl z hlaviček sám, podíl je vlastní výpočet z nich. Na disku zabere 4,3 GB u padesátikrokové varianty a 5,1 GB u osmikrokové. Repozitář ale veze i celý základ, takže se stahuje 87,4 GB.

Pozornost jen na sousedy a na dvě kotvy

Softmaxová pozornost přes celou sekvenci je u videa nejdražší část výpočtu a podle autorů na ni padne přes 85 % času. VDN ji nezruší, jen jí zúží výhled. Pět po sobě jdoucích latentních snímků tvoří skupinu a každá skupina se dívá na sebe, na předchozí a na následující; v souboru config.json tomu odpovídá "chunk": 5 a "radius": 1. Aby se model na delší stopáži neztratil, přidali autoři kotvy. Každý snímek vidí celý první a poslední snímek klipu a oba krajní snímky vidí na všechny ostatní. Hustotu pozornosti to podle nich zvedne o 3,57 %.

Vzdálený kontext obstará lineární pozornost. Běží v obou směrech a její dopředný i zpětný stav pokrývají oblasti, které se nepřekrývají ani spolu navzájem, ani s okénkem softmaxu, takže se jeden snímek nezapočítá dvakrát. Adaptéry LoRA mají hodnost 64 a sedí na projekcích dotazu, klíče, hodnoty a výstupu v původní pozornosti.

Ze kterých vah se vycházelo, stojí v souboru model_spec.json: revize 939557dc repozitáře MiniMaxAI/MiniMax-H3. Rozhraní Hugging Face na ni odpoví, na vymyšlené číslo revize vrací 404, takže je to ověřitelný údaj, ne jen věta v dokumentaci. Zapisovat původ strojově čitelně není v oboru novinka; jinou podobu má třeba u destilovaného videomodelu FastH3.

Z čeho se skládá 74,5násobek

Nejnápadnější číslo projektu zní 74,5×. Vzniklo porovnáním padesátikrokového běhu původního modelu na jedné kartě B200 s osmikrokovým během VDN-H3 na osmi kartách. Autoři měřili sami, na vlastní inferenční cestě a na úloze 768p o délce 14,4 sekundy; jednotlivé podíly na tom zrychlení ale rozepsali, což se u podobných oznámení vidí málokdy.

Z jejich čísel se dá dopočítat, co který krok přinesl. Jedna vrstva trvá hustému modelu 332,5 ms; samotná hybridní pozornost ji zkrátí na 192,1 ms, tedy 1,73×. Vlastní jádra a lineární vrstvy ve formátu FP8 srazí čas na 125,3 ms, dalších 1,53×. Rozdělení práce mezi osm karet dá 4,56× (z 6,41 na 1,405 sekundy na krok) a zkrácení z padesáti kroků na osm posledních 6,25×. Součin těch čtyř podílů je 75,7, tedy zhruba deklarovaných 74,5; rozdíl dělá zaokrouhlení a to, že měření na jedné vrstvě není totéž co celý model. Na novou architekturu samotnou z toho připadá 1,73×, zbytek jsou jádra, osm karet a kratší rozvrh odšumování.

Do času 11,23 sekundy se navíc nepočítá načtení modelu, zahřátí, dekódování z latentního prostoru ani zápis do MP4. Autoři to říkají rovnou a doporučují pouštět přepis zadání, dekodér i převod do MP4 na jiných strojích, aby osm karet jen odšumovalo. Délka klipu se přitom v jejich vlastních materiálech píše třemi způsoby: 14,4 sekundy v popisu obou repozitářů, 14,3 sekundy na stránce projektu a o dva odstavce výš na téže stránce 15 sekund.

Kvalitu ukazují videa

„Téměř bezeztrátovou kvalitu“ má model v podtitulu, v úvodním odstavci stránky projektu i v popisu obou repozitářů. Číslo k tomu nikde není. Hledal jsem VBench, PSNR, SSIM, FVD i hodnocení lidmi a nenašel ani jedno; mezi 118 soubory repozitáře kódu není skript, který by kvalitu měřil. Doloženo je to šesti srovnáními vedle sebe, ve kterých běží týž prompt v původním modelu, ve FastH3 a ve VDN-H3, a kolotočem deseti dalších ukázek. Na témže stojí i tvrzení, že VDN-H3 zvládá zadání líp než FastH3.

Rychlost je proti tomu rozebraná na tisíciny sekundy, včetně poznámky, že se dvě různá měření téže cesty rozcházejí o 0,8 %. Podle nás ten nepoměr čtenáři nebere možnost si výstup prohlédnout, ale bere mu možnost porovnat ho jinak než okem.

Osmikrokový adaptér mimochodem nezačínal na zelené louce. Autoři ho podle popisu i podle souboru metadata.json rozjeli z komunitní LoRA larryvrh/MiniMax-H3-Turbo-Lora a dotrénovali ji metodou DMD2 bez soupeřící sítě. Čtyřkrokovou variantu odmítli s tím, že osm kroků drží lepší poměr kvality a času.

Kód pod Apache 2.0, váhy ne

Repozitář s kódem je pod licencí Apache 2.0. Váhy pod ni nespadají: jsou odvozeninou MiniMaxu H3 a jdou pod jeho komunitní licencí, jejíž text je v obou repozitářích do bajtu shodný s originálem (17 604 B, týž otisk sha256). Ta licence platí jen na „území působnosti“, kterým je celý svět kromě Evropské unie, Spojeného království, Korejské republiky a Spojených států; o téhle podmínce jsme psali, když vyšel původní model. Soubor NOTICE v repozitáři kódu na ni upozorňuje sám a dodává, že spustit ten kód znamená spustit MiniMax H3 nebo jeho odvozeninu, takže se smlouva vztahuje i na něj.

Zdroje: karta modelu OpenVDN/vdn-minimax-h3 na Hugging Face, repozitář s kódem VDN-H3, stránka projektu Video DeltaNet, karta původního modelu MiniMaxAI/MiniMax-H3 a text jeho komunitní licence. Počty parametrů a velikosti souborů jsou vlastní měření z hlaviček safetensors a z výpisu repozitářů.