Przez ponad dwie dekady komputery osobiste oddawały kolejne zadania potężnym serwerom. Najpierw do sieci trafiły dane i aplikacje, później rozgościła się tam chmura, a dziś ogromne centra danych napędzają boom na sztuczną inteligencję. AMD przewiduje jednak zwrot. Rosnący rachunek za tokeny AI może ponownie uczynić komputery osobiste (PC) ważnym miejscem wykonywania obliczeń.
Agenci AI mogą wystawić firmom słony rachunek
Rosnącym problemem obliczeń w chmurze jest tak zwana pułapka tokenów. Klasyczny chatbot otrzymuje pytanie i generuje odpowiedź. Agent AI działa znacznie szerzej: analizuje dokumenty, przeszukuje bazy danych, uruchamia narzędzia, zleca pracę kolejnym modelom i sprawdza efekty. Jedno polecenie człowieka może więc wywołać całą serię płatnych operacji w chmurze.
Skala problemu urośnie, gdy firmy zaczną przydzielać takich agentów tysiącom pracowników. Każda czynność wykonana zdalnie oznacza kolejne tokeny, a ich zużycie zależy od wybranego modelu i liczby kroków potrzebnych do ukończenia zadania. Długoterminowe prognozy mówią o nawet 24-krotnym wzroście zapotrzebowania na tokeny do 2030 roku, napędzanym głównie przez agentów konsumenckich i biznesowych. Koszty mogą więc wymknąć się spod kontroli znacznie szybciej niż w przypadku zwykłych chatbotów.
AMD widzi rozwiązanie w podziale pracy. Proste i powtarzalne operacje wykonywałby model uruchomiony na komputerze użytkownika, a najbardziej wymagające zapytania trafiałyby do potężniejszych systemów w chmurze. Podczas pokazu firmowego rozwiązania do obsługi zgłoszeń aż 69 proc. tokenów przetworzono lokalnie. Do chmury wysłano pozostałe 31 proc.
Taki układ obniża rachunki, a zarazem pozwala zatrzymać firmowe dane na urządzeniu. Część zadań może działać bez połączenia z internetem i bez czekania na każdą wymianę informacji z serwerem. Konkretne proporcje będą zależały od zastosowania. Chmura włączałaby się dopiero wtedy, gdy lokalny model potrzebuje większej mocy lub bardziej zaawansowanych możliwości.
Model z 300 mld parametrów działający na komputerze osobistym
Do lokalnej obsługi AI potrzeba jednak odpowiedniego sprzętu. Komputery z układami Ryzen AI PRO 400 oferują do 60 TOPS wydajności NPU, natomiast konfiguracje z Ryzen AI Max PRO mogą otrzymać do 192 GB pamięci. Z tej puli nawet 160 GB da się przeznaczyć dla układu graficznego. To z kolei pozwala uruchamiać modele liczące do 300 mld parametrów. Na razie chodzi o najmocniejsze, kosztowne maszyny. Jeszcze kilka lat temu podobne zadania były zarezerwowane dla centrów danych.
Wizja AMD zakłada, że tysiące komputerów osobistych z lokalnymi agentami utworzą rozproszoną warstwę obliczeniową połączoną z firmową infrastrukturą. Jeśli ten model się przyjmie, laptop lub stacja robocza odzyska znaczenie utracone w epoce chmury. PC stanie się aktywnym wykonawcą zadań AI, a pojemność pamięci i wydajność lokalnych układów znów będą miały dla użytkowników bardzo konkretną wartość.
Źródło: AMD, zdj. tyt. mat. własny