TensorRT-LLM odstranil svůj backend nad TensorRT. Ve stabilním vydání to zatím není

Knihovna TensorRT-LLM od NVIDIA slouží k obsluze jazykových modelů na grafických kartách. Od července 2026 v ní ale TensorRT není. Návrhy změn sloučené během července odebraly celý původní běhový backend, tedy vrstvu, která model doopravdy počítá. Zůstal jediný, ten postavený nad PyTorchem. Vlastní příručka k přechodu to označuje za zlomovou změnu.

TensorRT je samostatný nástroj NVIDIA. Z modelu předem sestaví takzvaný engine: binární soubor ušitý na jednu konkrétní kartu a jedno nastavení. Běh je pak rychlejší, platí se za to ale sestavovacím krokem a převodem vah do vlastního formátu. Backend nad PyTorchem tenhle mezikrok nemá a čte kontrolní body z Hugging Face rovnou.

Co ze softwaru zmizelo

Nejlépe je to vidět na seznamu příkazů, které se instalují spolu s balíčkem. Ve značce v1.2.1 jich soubor setup.py vypisuje šest: trtllm-build, trtllm-prune, trtllm-refit, trtllm-bench, trtllm-serve a trtllm-eval. V hlavní větvi zbývají tři – první tři z té řady jsou pryč. Modul tensorrt_llm/commands/build.py, ze kterého se trtllm-build spouštěl, v hlavní větvi neexistuje.

Skončily i převodní skripty convert_checkpoint.py, které dřív měl každý model svůj. A volání LLM(backend="tensorrt") teď skončí výjimkou: kód v hlavní větvi uznává jen dvě hodnoty, pytorch a _autodeploy. Když se backend neuvede, použije se PyTorch – tak to ostatně bylo i v poslední stabilní verzi, kde se k engine cestě chodilo zvláštní třídou.

Osm návrhů změn za tři týdny

Úklid šel po částech a každá měla vlastní návrh změny; jmenovitě jich jde dohledat osm. 2. července se sloučilo odstranění ukázek a dokumentace včetně nové příručky k přechodu, 6. července testy a 9. července backend pro Triton. Jádro přišlo 14. července: návrh označený jako zlomová změna sáhl podle rozhraní GitHubu na 310 souborů, jeho vlastní popis mluví o 304, a uvádí, že po něm jde balíček importovat a pustit i bez nainstalovaného balíčku tensorrt. 22. července následovalo vyřazení TensorRT SDK z obrazů kontejnerů a úklid v průběžné integraci, 24. července poslední zbytky.

Sečteno z údajů, které o těch osmi návrzích vrací rozhraní GitHubu, ubylo 226 561 řádků a přibylo 2 388. Ten součet je náš; každý návrh má u sebe jen vlastní čísla.

Proč k tomu došlo, příručka ani poznámky k vydání neříkají. Poznámky k verzím 1.0 až 1.2.1 zánik celého backendu dopředu neohlašují; v oddílu pro verzi 1.0 naopak stojí, že do backendu nad TensorRT přibyla podpora modelů Qwen3 MoE, a vedle toho jen dílčí krok: konec podpory pro kombinaci rozhraní llmapi a TensorRT backendu v Tritonu.

Ve stabilním vydání to zatím není

Tady je potřeba rozlišit, co je vydané a co teprve v kandidátech. Poslední stabilní verze je 1.2.1 z 20. dubna 2026 a backend nad TensorRT pořád má: v jejím souboru requirements.txt stojí tensorrt~=10.14.1 a tutéž závislost hlásí i metadata balíčku na PyPI.

Kandidáti na verzi 1.3.0 ukazují postup po krocích. Vydání 1.3.0rc21 z poloviny července už příručku k přechodu obsahuje, ale tensorrt~=10.16.1 v seznamu závislostí zůstává. V následujícím kandidátovi 1.3.0rc22 už chybí a metadata balíčku 1.3.0rc23 na PyPI ho neuvádějí také.

Kandidát není hotová verze a samotné poznámky k rc23, vydanému 31. července, to dokládají: vedou šest známých závad, mezi nimi zatuhnutí i pády při běhu na více kartách. Verze zapsaná v souboru tensorrt_llm/version.py je v hlavní větvi už 1.3.0rc24, takže řada pokračuje.

Matoucí jsou poznámky k vydání v dokumentaci. Zlomovou změnu vedou pod nadpisem Release 1.2, jenže ve značce v1.2.0 má stejně nazvaný oddíl úplně jiný obsah a o odstranění backendu v něm není ani slovo.

Co z toho plyne pro provoz

Kdo obsluhuje modely přes trtllm-serve nebo přes rozhraní LLM bez dalšího nastavení, nepozná nic. Změna dopadne na ty, kdo mají v nasazení sestavovací krok: skripty s trtllm-build, uložené enginy a převody kontrolních bodů. Podle příručky se místo toho načítá model z Hugging Face přímo, bez mezikroku.

AutoDeploy, který nad backendem s PyTorchem staví, zůstává. Stará dokumentace ke správě KV cache, spekulativnímu dekódování nebo rozdělení modelu mezi karty je pořád na webu, ale už jen jako doplňkové čtení; stránky, které popisují výhradně mechaniku enginů, mají podle příručky v záhlaví varování.

Vyřazování starých cest není v obsluze modelů ojedinělé – projekt vLLM nedávno vyřadil tři rodiny modelů kvůli malému využití. Rozdíl je v rozsahu: tam šlo o podporu několika architektur, tady o celou cestu, po které se knihovna jmenuje.

Název knihovny tak popisuje vrstvu, kterou už neobsahuje. Pro toho, kdo si vybírá, čím bude modely obsluhovat, z toho plyne jediná praktická otázka: jestli sáhne po poslední stabilní verzi, kde stará cesta ještě funguje, nebo po kandidátovi, kde už není. Kdy z kandidátů vznikne stabilní 1.3.0, NVIDIA v poznámkách k vydání neuvádí.