Na początku tego roku firma Mainframe wypuściła aplikację fullmoon — bezpłatne narzędzie o otwartym kodzie źródłowym, które umożliwia użytkownikom uruchamianie dużych modeli językowych, takich jak Llama i DeepSeek, całkowicie na ich urządzeniu. Wystartował 13 stycznia 2025 r., trafnie zbiegając się z pełnią księżyca, co jest żartobliwym ukłonem w stronę nazwy fullmoon (fuLLMoon).
Zamiast polegać na połączeniach internetowych, Fullmoon wykonuje modele sztucznej inteligencji lokalnie na krzemie Apple, co poprawia prędkość i zapewnia prywatność danych rozmów. Aplikacja działa w trybie offline na urządzeniach iPhone, iPad, Mac i Vision Pro i wymaga systemu iOS 17.6, iPadOS 17.6, macOS 14.0 lub VisionOS 2.0 lub nowszego.
Podczas gdy wiele narzędzi do czatowania opartych na sztucznej inteligencji opiera się na stałym połączeniu internetowym, Fullmoon przyjmuje inne podejście. Uruchamiając modele lokalnie na krzemie Apple, zapewnia krótszy czas reakcji i pewność, że dane użytkownika pozostaną na urządzeniu. Dla użytkowników dbających o prywatność oznacza to, że rozmowy pozostają całkowicie osobiste i nie są zaangażowane w żadne serwery stron trzecich. Możliwość pracy w trybie offline sprawia, że jest ona również przydatna w środowiskach o słabej łączności lub dla tych, którzy wolą zachować niezależność swoich przepływów pracy.
Aplikacja obsługuje kilka modeli, w tym Llama-3.2-1B-Instruct-4bit, Llama-3.2-3B-Instruct-4bit i DeepSeek-R1-Distill-Qwen-1.5B zarówno w wersji 4-bitowej, jak i 8-bitowej. Modele te są zoptymalizowane pod kątem chipów Apple z serii M, równoważąc wydajność i wydajność. Użytkownicy mogą jeszcze bardziej dostosować swoje doświadczenia za pomocą dostosowywalnych motywów, czcionek i podpowiedzi systemowych, a integracja Apple Shortcuts umożliwia im osadzanie funkcji sztucznej inteligencji w zautomatyzowanych zadaniach.
Fullmoon rozpoczął się jako wersja beta TestFlight, w której ponad 3500 uczestników pomogło w przygotowaniu ostatecznej wersji. Informacje zwrotne od społeczności odegrały kluczową rolę w jego rozwoju, a charakter projektu typu open source — hostowanego w serwisie GitHub — gwarantuje, że każdy może sprawdzać, modyfikować kod lub współtworzyć go. Ta przejrzystość pomogła mu zyskać popularność zarówno wśród programistów, jak i zwykłych użytkowników poszukujących godnych zaufania narzędzi AI.
Od momentu premiery Fullmoon zbiera pozytywne recenzje ze względu na szybkość, niezawodność i przyjazny dla użytkownika interfejs. Możliwość korzystania z zaawansowanych modeli bez dostępu do Internetu została szczególnie doceniona przez podróżników, specjalistów w terenie i osoby poszukujące prywatnych eksperymentów ze sztuczną inteligencją. Nawet w przypadku bardziej wydajnych modeli wydajność pozostaje płynna, co podkreśla efektywność uruchamiania LLM bezpośrednio na sprzęcie Apple.
Polecana lektura:Prywatne repozytoria GitHub nadal dostępne za pośrednictwem drugiego pilota po ustawieniu ich jako prywatne
Zamiast być kolejną aplikacją do chatbota, Fullmoon reprezentuje zwrot w kierunku osobistej sztucznej inteligencji: potężnej, prywatnej i kontrolowanej lokalnie. Pokazuje, że uruchamianie zaawansowanych modeli językowych na urządzeniach konsumenckich jest nie tylko możliwe, ale i praktyczne, torując drogę dla bardziej dostępnych i zorientowanych na prywatność doświadczeń AI.