JetBrains, znane z narzędzi do programowania, udostępniło Mellum2 – swój nowy, darmowy model AI. Twórcy chwalą się, że zamiast budować wielkiego molocha do wszystkiego, stworzyli coś małego i niesamowicie szybkiego. Co ciekawe, model udostępnili na otwartej licencji, więc każda firma może go odpalić na własnych serwerach bez płacenia komukolwiek choćby złotówki.
Mały, ale wariat. JetBrains chce udowodnić, że „skromny” model AI też może się przydać
Większość firm technologicznych ściga się dzisiaj na to, kto upchnie w swoim AI więcej cyfrowych neuronów, czyli parametrów. JetBrains podeszło do tematu z zupełnie innej strony i zastosowało architekturę MoE (Mixture-of-Experts), co można przetłumaczyć jako „mieszankę ekspertów”. Model ma w sumie 12 miliardów parametrów, ale przy każdym pojedynczym zadaniu uruchamia tylko ich małą część – dokładnie 2,5 miliarda. Działa to jak sprawna firma: zamiast zwoływać cały zarząd do odpisania na jednego maila, zadanie dostaje jeden konkretny specjalista.
Dzięki temu system nie marnuje energii i mocy komputera. Twórcy podają, że Mellum2 potrafi skrócić czas oczekiwania na odpowiedź o ponad połowę i jest ponad dwukrotnie szybszy od konkurentów o podobnych rozmiarach. Nie potrafi generować obrazków ani muzyki, bo całą moc ukierunkowano na jedno zadanie. W branżowym teście LiveCodeBench v6, który sprawdza właśnie umiejętności programistyczne, model zdobył zresztą najlepszy wynik w swojej klasie.
Mellum2 nie ma być po prostu kolejnym okienkiem czatu, w którym prosimy o napisanie prostej funkcji. JetBrains zaprojektowało go jako element składowy dla większych systemów. Ze względu na minimalne opóźnienia model ma idealnie sprawdzać się w roli tak zwanego routera zapytań. Gdy użytkownik wpisuje polecenie, Mellum2 w ułamku sekundy analizuje jego treść i decyduje, do którego programu lub większego modelu AI je przekierować.
Można go też wykorzystać do obsługi tak zwanych potoków RAG, czyli systemów, które błyskawicznie przeszukują tysiące stron firmowej dokumentacji, żeby wyciągnąć z nich konkretną odpowiedź. Może też działać jako sub-agent. Taki cyfrowy asystent pracujący w tle, który sprawdza poprawność kodu albo planuje kolejne kroki w projekcie. JetBrains nazywa to filozofią „focal model” i zakłada, że przyszłość to nie jeden gigantyczny program od wszystkiego, ale sieć mniejszych, wyspecjalizowanych komponentów współgrających z tymi największymi.
Wszystkie dane zostają w firmowej szafie
Najważniejszą informacją dla biznesu jest licencja Apache 2.0. To prawny zapis, który oznacza, że kod modelu jest całkowicie otwarty, darmowy i można go legalnie modyfikować. JetBrains otwarcie pozycjonuje Mellum2 jako europejską alternatywę dla zamkniętych systemów ze Stanów Zjednoczonych. Wiele korporacji ma dziś ogromny problem z AI, ponieważ prawo zabrania im wysyłania poufnych kodów źródłowych czy tajemnic przedsiębiorstwa do zewnętrznych chmur.
Tutaj ten problem znika. Model można pobrać z platformy Hugging Face i zainstalować na własnych serwerach, dzięki czemu dane nigdy nie opuszczają budynku firmy. Ponieważ system jest mniejszy niż narzędzia ogólnego przeznaczenia, jego utrzymanie kosztuje ułamek tego, co wielkie serwerownie.
Źródło: JetBrains (mat. prasowe) / Zdj. otwierające: JetBrains