Podobno firmy rozwijające sztuczną inteligencję chcą przenieść coraz większe modele z serwerów do naszych kieszeni. Problem w tym, że obecne smartfony nie są na to gotowe. Jednak przełom może być tuż za rogiem.
Jak zdradził Cristiano Amon, dyrektor generalny Qualcommu, czołowe firmy zajmujące się AI mają już konkretne oczekiwania wobec producentów układów mobilnych. Do 2028 roku chcą smartfonów zdolnych do lokalnej obsługi modeli językowych liczących co najmniej 100 miliardów parametrów. Co więcej, sztuczna inteligencja miałaby działać nieprzerwanie, a nie tylko po uruchomieniu wybranej aplikacji. Amon nie ujawnił nazw zainteresowanych przedsiębiorstw, ale potwierdził, że część z nich pracuje nad własnymi telefonami.
Plan brzmi ambitnie, ale potencjalnych problemów jest co niemiara
Największą przeszkodą pozostaje pamięć operacyjna. Model o 100 miliardach parametrów po zastosowaniu 4-bitowej kwantyzacji wymagałby około 50 GB RAM na same wagi. Do tego dochodzi pamięć potrzebna systemowi operacyjnemu, aplikacjom i obsłudze kontekstu. Nawet bardziej agresywna, 2-bitowa kwantyzacja oznaczałaby około 25 GB, przy jednoczesnym znacznym obniżeniu „mądrości” AI oraz jakości odpowiedzi.
Rozwiązaniem mogą być architektury Mixture of Experts (MoE), które podczas przetwarzania danych aktywują tylko część parametrów modelu. Wtedy część nieaktywnych fragmentów trafiałaby do pamięci NAND, ale to znacząco zwiększa czas reakcji z powodu transferów. Co prawda pozwala to ograniczyć zapotrzebowanie na RAM, ale problemem nadal byłyby ceny kości pamięci oraz zużycie energii i temperatury podczas długotrwałego obciążenia.
Na razie nie poznaliśmy żadnych konkretnych urządzeń ani układów, które miałyby spełnić te wymagania. Sam rok 2028 jest też dość odległy – ponad 12 miesięcy w branży nowych technologii i AI to szmat czasu. Słowa Amona warto więc traktować bardziej jak ciekawostkę, niż pewnik. Omawiane założenia są co prawda wykonalne, ale nie będzie to łatwe.
Trzeba też pamiętać, że model subskrypcyjny, gdzie użytkownik płaci co miesiąc za dostęp do sztucznej inteligencji, jest bardziej dochodowy dla firm. Zwłaszcza, że w tym scenariuszu ta sama pamięć może służyć kilku osobom równocześnie – mało kto w końcu korzysta z AI przez 24 godziny na dobę. A więc moc obliczeniową można przydzielać zależnie od potrzeb.
Źródło: Qualcomm, Sources / Zdj. otwierające: Airam Dato-on (Pexels)