Nvidia rozdaje za darmo AI do transkrypcji w 40 językach. Jednej rzeczy jednak nie potrafi

Co potrafi nowy model Nvidii

Nemotron 3.5 Transcribe to model open-weight. Każdy może go pobrać, uruchomić u siebie i dostosować do swoich potrzeb. Nvidia udostępnia go bezpłatnie, także do zastosowań komercyjnych.

Model:

• transkrybuje mowę w maksymalnie 40 językach,
• tłumaczy z 31 języków na angielski i z angielskiego na te języki,
• radzi sobie z nagraniami do godziny,
• rozróżnia do ośmiu rozmówców,
• potrafi też odpowiadać na pytania dotyczące treści nagrania.

Nvidia celuje przede wszystkim w twórców aplikacji do zapisu spotkań biznesowych i transkrypcji medycznej. To dwa obszary, w których AI najmocniej zadomowiła się już w pracy. Firma podkreśla, że deweloperzy mogą dostroić model tak, by rozpoznawał branżowy żargon w każdym z obsługiwanych języków.

Wyniki, którymi chwali się Nvidia

Według Nvidii model zajmuje pierwsze miejsce wśród otwartych modeli w rankingu rozpoznawania mowy angielskiej Hugging Face Open ASR. Średni wskaźnik błędów słów wynosi 5,33 proc. W porównaniu wielojęzycznym na siedmiu językach firma podaje średnio 4,62 proc. błędów. To oczywiście dane producenta.

Model ma 30 mld parametrów, ale przy przetwarzaniu każdego fragmentu wykorzystuje tylko ok. 4 mld z nich. Dzięki temu, jak zapewnia Nvidia, mieści się na jednym chipie: od kontrolera do robotów Jetson AGX Thor, przez chip DGX Spark w nowych laptopach, po serwerowe układy Blackwell.

Ogromna baza nagrań, też za darmo

Razem z modelem Nvidia udostępniła Granary v2, otwarty zbiór danych do trenowania systemów rozpoznawania mowy. Obejmuje 463 062 godziny nagrań w 48 językach. Poprzednia wersja obejmowała 25 języków.

Haczyk: tylko nagrania, nie rozmowa na żywo

Nowy model nie transkrybuje mowy w czasie rzeczywistym. Nadaje się do gotowych plików audio, a nie do transmisji na żywo. Jak zauważa TechCrunch, to oznacza, że transkrypcja na żywo zostaje w rękach konkurentów, takich jak ElevenLabs.

Warto dodać, że Nvidia ma w ofercie także osobny, znacznie mniejszy model Nemotron 3.5 ASR Streaming do transkrypcji strumieniowej. Nowy Transcribe to jednak inna, dużo mocniejsza konstrukcja, nastawiona na nagrania.

Tu zaczyna się terytorium ElevenLabs

I właśnie tę lukę wypełnia ElevenLabs, firma założona przez Polaków. Darmowy model Nvidii spisze godzinne nagranie spotkania, ale nie nadąży za rozmową, która dzieje się teraz. ElevenLabs ma do tego płatne narzędzie: Scribe v2 Realtime. Zamienia ono mowę na tekst w ok. 150 milisekund, czyli praktycznie od razu, i rozumie ponad 90 języków. To ponad dwa razy więcej niż model Nvidii. Przydaje się wszędzie tam, gdzie nie można czekać: w automatycznych infoliniach i asystentach, z którymi rozmawia się głosem, przy napisach do transmisji na żywo czy przy notatkach tworzonych w trakcie spotkania.Wniosek jest prosty: spisywanie gotowych nagrań właśnie stało się darmowe. Za transkrypcję na żywo firmy nadal płacą, a ElevenLabs jest jednym z tych, którzy na tym zarabiają.

Wyścig na głos

Premiera Nvidii przypada na bardzo gorący okres na rynku AI głosowej. W październiku Mistral wypuścił Voxtral 3, ElevenLabs wprowadził rozwiązanie Realtime do natychmiastowej mowy w agentach głosowych, a Salesforce pokazał swój model Launa-Omni.

Podstawowa transkrypcja nagrań szybko staje się darmowym standardem. Przewagę trzeba budować gdzie indziej: w szybkości działania na żywo, w liczbie języków i w gotowych produktach dla firm.