Kubeflow splnil nejvyšší nároky CNCF, bezstarostný provoz AI to neslibuje
Kubeflow postoupil po bezpečnostním auditu a kontrole správy projektu do nejvyšší fáze CNCF. Označení graduated snižuje riziko opuštěného projektu, negarantuje však bezpečí konkrétní instalace ani levnější běh modelů.
Co CNCF skutečně prověřila
Cloud Native Computing Foundation oznámila 17. srpna, že Kubeflow dosáhl úrovně graduated. Jde o nejvyšší ze tří fází, jimiž nadace třídí vyspělost hostovaných projektů. Kubeflow vznikl v Googlu v roce 2017, od roku 2023 byl v CNCF vedený jako incubating. Nezávislý web Cloud Native Now uvádí, že technický výbor nadace povýšení schválil už 24. července.
Postup není jen odměna za stáří nebo počet stažení. Aktuální podmínky CNCF vyžadují mimo jiné veřejnou a skutečně používanou správu projektu, udržovatele alespoň ze dvou organizací a ochranu před tím, aby rozhodování ovládla jediná firma. Projekt musí doložit pravidelná vydání, proces hlášení bezpečnostních chyb, veřejný seznam uživatelů a nejméně tři nezávislé organizace, které jej používají v produkci. Zástupci CNCF nasazení ověřují rozhovory s uživateli.
Oznámení CNCF připomíná také dokončený audit od externího bezpečnostního týmu, formální řídicí výbor a odznak OpenSSF Best Practices. Nadace přidává téměř 260 milionů stažení balíčků z PyPI, více než 6 600 přispěvatelů z více než tisícovky organizací a 33 000 hvězd napříč repozitáři. Tato čísla pocházejí od CNCF; stažení balíčku samo o sobě není důkazem produkčního nasazení.
Kubeflow není jeden hotový balík
Kubeflow se během devíti let změnil z nástroje pro TensorFlow na Kubernetes v sadu samostatných částí. Pipelines popisují opakovatelné pracovní postupy, Trainer řídí distribuované trénování a ladění modelů, Katib hledá vhodné hyperparametry a Notebooks poskytují vývojová prostředí. Do ekosystému patří také Spark Operator pro datové úlohy a Kubeflow Hub pro evidenci modelů a jejich verzí.
Provozovatel si může vybrat jen některé části nebo komunitní distribuci celku. To je výhoda i zdroj práce navíc. Organizace si stále musí rozhodnout, jak bude ukládat data, přidělovat GPU, sledovat úlohy, zálohovat metadata a aktualizovat jednotlivé komponenty. KServe, který slouží modely pro inferenci, už navíc funguje jako samostatný projekt CNCF v nižší fázi incubating.
Veřejný seznam uživatelů Kubeflow zahrnuje například CERN, DHL, Jio Platforms nebo Telii. Liší se však rozsah jejich nasazení: někde jde o hlavní platformu strojového učení, jinde o jednotlivé součásti, výzkum či ověřovací projekt. Status CNCF potvrzuje, že existují nezávislí produkční uživatelé; neříká, že každá uvedená organizace provozuje celý balík.
Razítko se nevztahuje na konkrétní instalaci
Externí bezpečnostní audit Kubeflow je silnější doklad než vlastní prohlášení vývojářů. Ani ten ale není průběžným certifikátem všech budoucích verzí. Podmínky CNCF požadují, aby projekt sledoval zjištění s nižší a střední závažností a měl jasně určené lidi pro reakci na incidenty. Neznamená to, že kód neobsahuje chybu nebo že správce nemůže nasazení špatně nastavit.
Označení graduated také neměří cenu ani rychlost konkrétního clusteru. Trénování velkého modelu může rozdělit práci mezi stovky akcelerátorů, které se obtížně plánují a při chybě se nesmějí bezhlavě vrátit na začátek. Data je potřeba přesouvat, ukládat do mezipaměti a včas dodávat výpočetním uzlům. Inference zase řeší dobu načtení modelu, počet souběžných požadavků a odezvu. Cloud Native Now proto upozorňuje, že povýšení není důkazem, že Kubernetes je ideálním prostředím pro každou úlohu AI.
Nejsilnější pojistkou je správa projektu
Pro firmu má postup praktickou hodnotu hlavně při odhadu dlouhodobého rizika. Veřejná pravidla rozhodování, udržovatelé z více organizací, ověření uživatelé a pravidelná vydání snižují pravděpodobnost, že klíčovou infrastrukturu náhle opustí jediný dodavatel. Kontrola neutrality zároveň dává větší šanci, že se projekt nebude vyvíjet jen podle potřeb jedné cloudové služby.
Před nasazením tím ale prověřování nekončí. Tým má zkontrolovat podporované verze Kubernetes, způsob aktualizace zvolené distribuce, otevřená zjištění z auditu a odpovědnost za každou komponentu. Zátěžový test musí zahrnout vlastní modely, datové cesty a akcelerátory, ne jen ukázkovou instalaci. Teprve tak lze zjistit, zda Kubeflow přinese opakovatelnost a přenositelnost bez provozních nákladů, které daný tým neunese.