Meta introduceert Muse Glimmer, een open-weight AI-model met 30 miljard parameters. Het AI-model is klein genoeg om lokaal op een Mac of pc met een enkele gpu te draaien. Het model is onder de Apache 2.0-licentie uitgebracht.
Muse Glimmer is geoptimaliseerd voor lokaal gebruik en werkt daardoor ook zonder internetverbinding, zegt Meta. Dat het model open-weight is, betekent dat gebruikers het kunnen downloaden en aanpassen, zodat ze het lokaal kunnen draaien, in plaats van in de cloud.
Het AI-model is volgens Meta getraind via een proces dat distillation genoemd wordt. Daarbij leert een kleiner model van een veel groter model, een soort leraar. In dit geval was Muse Spark, het AI-model van Meta dat in april verscheen, de leraar. Het resultaat is een klein AI-model dat volgens Meta veel taken kan uitvoeren. Zo kan het programmeren en code debuggen, diverse tools gebruiken, complex redeneren en werken met zowel tekst als beeld. Het AI-model is verder getraind op data in ruim honderd talen.
Om het model lokaal, op een 'gewone' Mac of pc, te laten draaien, moest het flink verkleind worden. Volgens Meta heeft een model van 30 miljard parameters bij volledige precisie ruim 55GB geheugen nodig. Een consumenten-gpu biedt die ruimte niet. Meta comprimeert de gewichten, waardoor het taalmodel onder de 20GB blijft. Zo blijft er voldoende ruimte over voor wat het AI-model verder nodig heeft tijdens gebruik, zoals componenten voor beeldverwerking en inferentie. Volgens Meta past dat allemaal binnen 24 of 32GB.
Muse Glimmer is beschikbaar via Hugging Face. In de komende dagen bieden partners als Ollama, LM Studio en Unsloth het model ook aan. Daarna volgen integraties met onder meer llama.cpp, ExecuTorch en mlc.
Meta zegt verder dat het met partners als AMD, Arm, Dell, Intel en Nvidia werkt om de prestaties op verschillende apparaten te verbeteren. Daarnaast heeft Meta documentatie voor ontwikkelaars beschikbaar gesteld.
Source: Tweakers.net