Mistral heeft spraakmodel Voxtral 3 vrijgegeven. Voxtral 3, dat onder andere Nederlands en Frans ondersteunt, bestaat uit een software development kit voor ontwikkelaars en uit spraak-naar-tekst- en tekst-naar-spraakmodellen. Daarmee kunnen ontwikkelaars stembesturing aan software toevoegen, waardoor gebruikers in normale spraak met een llm kunnen praten.
Mistral schrijft dat het model 35 talen en nog eens 50 dialecten ondersteunt. Naast Engels en Frans ondersteunt het model ook Nederlands. Voxtral 3 bestaat uit modellen van verschillende groottes.
Die vier modellen zijn Small Transcribe 3 en het efficiëntere Mini Transcribe 3, Mini Transcribe Realtime 3 dat bedoeld is voor AI-agents die snel moeten reageren, en Mini TTS 3 dat is bedoeld is om tekst naar spraak om te zetten.
De modellen ondersteunen volgens Mistral 'context biasing'. Dat betekent dat de modellen technische termen beter in hun context kunnen plaatsen, wat ze volgens Mistral geschikt maakt voor bedrijfsspecifieke omgevingen.
Voxtral Realtime Transcribe is een transcriptiemodel dat gericht is op AI-agents. Dat betekent in de praktijk vooral dat het model snel moet zijn. Mistral zegt dat het model een latentie van minder dan 500ms heeft. In benchmarks transcribeert het slechts vier procent van de woorden verkeerd. Dat is beter dan concurrerende modellen, al ligt hun foutpercentage vaak onder de tien procent.
Mistral zegt verder dat Mini TTS goedkoper is dan vergelijkbare modellen. Het model kost 13 dollar per 1 miljoen tekens, tegenover 15 dollar voor een vergelijkbaar model van OpenAI. Volgens Mistral kan het tekst-naar-spraakmodel stemmen klonen op basis van dertig minuten aan audiodata.
Met de modellen komt ook een software development kit waarmee ontwikkelaars de modellen in hun eigen tools kunnen gebruiken. Mistral noemt als voorbeeld een app waarin een agent een telefoongesprek kan afhandelen. De hele reeks Voxtral-modellen is beschikbaar via de Mistral-api.
Source: Tweakers.net