Grai · Clasament

Clasament și cifre

Fiecare cifră cu eșantionul, geometria și intervalul de încredere alături. Inclusiv cele care nu ne avantajează.

Regula după care e scrisă pagina asta

Măsurat înseamnă că a rulat pe hardware-ul nostru și cifra vine din rulare. Declarat înseamnă că e luată de pe pagina furnizorului și n-am putut-o verifica — sunt modele închise, în cloud. Cele două nu se amestecă niciodată în aceeași coloană fără etichetă.

Recunoașterea vorbirii

FLEURS română și rusă

Model: Nemotron 3.5 ASR streaming, 0,6 miliarde de parametri. Eșantion: 200 de enunțuri per limbă din setul de test, aleator uniform, sămânța 20260831. Decodare pe drumul din producție — cache-aware, în flux — nu decodare offline pe fișier întreg. Hardware: Mac M3 Max, recunoașterea prin MLX pe GPU-ul integrat, fără placă dedicată.

Normalizarea textului reparată la 5 septembrie 2026 (grupuri de mii, ore): 26,31% → 26,15% pe română, 9,30% → 9,15% pe rusă. Aceleași transcrieri, rescorate.

FereastrăNoi, normalizatIC 95% Noi, brutNVIDIA, fișaViteză (RTFx)
80 ms32,03%30,18–35,12 33,95%31,52%1,51×
320 ms29,01%27,50–32,04 31,05%29,04%3,6×
560 ms27,81%26,22–30,64 29,74%27,77%6,0×
1120 ms — implicitul nostru26,15% 23,89–28,4227,94% 25,90%13,8×
1120 ms, autodetecție de limbă27,71% 25,57–30,7729,64% —14,1×

Patru geometrii independente, toate cu cifra din fișa NVIDIA în intervalul nostru de încredere. Cifra noastră nu e un test stricat — e comportamentul cunoscut al modelului, coerent cu fișa producătorului. La 80 ms modelul abia ține pasul cu timpul real (1,51×), deci două sesiuni simultane n-ar mai încăpea pe mașină. Modelul a fost antrenat puțin pe română: fișa NVIDIA o pune în treapta «broad-coverage», a doua din trei, iar FLEURS e declarat în datele lui de antrenare. Cifra noastră e coerentă cu fișa, dar poate fi optimistă; o verificăm cu o probă de memorare.

Autodetecția limbii costă +1,6 puncte (27,71% față de 26,15%; diferența în perechi, pe aceleași enunțuri: +1,58 puncte, IC 95% +0,77…+2,49). De aceea ținem limba fixată oriunde se poate deduce înainte de prima tură; autodetecția rămâne rezervă.

Grafic: eroarea pe cuvânt față de latența ferestrei pentru română în flux, FLEURS, 200 de enunțuri. Nemotron coboară de la 32,0% la 80 ms la 26,1% la 1120 ms; o curbă punctată SpeD cu atenție locală, de la 48,8% la 22,1%, marcată ca limită inferioară, nu sistem în flux; patru repere offline între 6,7% și 11,8%.
Eroarea pe cuvânt față de latența ferestrei, pe aceleași 200 de enunțuri, cu o singură normalizare și intervale de încredere de 95%. Curba punctată (SpeD cu atenție locală) nu e un sistem în flux: convoluțiile văd în continuare înainte, deci e o limită inferioară optimistă, nu o performanță de citat.

Rusa, aceeași conductă, aceeași rulare

FereastrăNoi, normalizatIC 95% Noi, brutNVIDIA, fișa
320 ms10,72%9,45–12,10 14,10%9,87%
1120 ms — implicit9,15%8,08–10,80 12,37%9,17%
26,15%română
9,15%rusă
2,9×diferența dintre ele

Româna e de 2,9× mai proastă decât rusa în același model, pe același hardware, în aceeași rulare. Nu e o impresie preluată din fișa cuiva. Agentul nostru bilingv nu are două limbi egale; are o limbă bună și una slabă. Aceeași rezervă de memorare se aplică și la rusă.

Comparație de piață

Cu condițiile de măsurare alături

Coloana „cum" e partea care face tabelul citibil. Un model care primește fișierul întreg, offline, într-un centru de date, nu rezolvă aceeași problemă ca unul care scoate text în timp ce omul încă vorbește, pe un Mac de birou.

SistemWER FLEURS roCumSursa
ElevenLabs Scribe v13,0%cloud, lotdeclarat · pagina ElevenLabs, altă normalizare
Gemini Flash 23,9%clouddeclarat · comparația ElevenLabs, altă normalizare
Speechmatics Enhanced5,28%cloud și on-prem, în fluxdeclarat · pagina Speechmatics, altă normalizare
Whisper large-v38,24%offline, fișier întreg, 1,5 miliardedeclarat · arXiv 2509.14128, Tab. 11, altă normalizare
Amazon Transcribe8,94%clouddeclarat · comparația Speechmatics, altă normalizare
Google Chirp 210,91%clouddeclarat · comparația Speechmatics, altă normalizare
Whisper large-v312,31% / 13,0%offline, fișier întreg, 1,5 miliardedeclarat · Speechmatics / ElevenLabs, altă normalizare
Microsoft Azure Speech13,33%clouddeclarat · comparația Speechmatics, altă normalizare
Grai — română26,15%local, în flux, 0,6 miliarde, GPU integratmăsurat
Deepgram Nova-233,89% / 35,4%clouddeclarat · Speechmatics / ElevenLabs, altă normalizare
Grai — rusă · altă limbă9,15% (FLEURS ru)local, în flux, GPU integratmăsurat · nu intră în clasamentul român

Plafonul offline, local, pe aceleași 200 de enunțuri

Măsurat de noi, cu aceeași normalizare ca Grai. Offline: modelul primește enunțul întreg, nu scoate text în timp ce omul vorbește — deci nu se poate pune în locul recunoașterii în flux.

Sistem, offlineWER normalizatIC 95%Unde a rulat
SpeD 110M (UPB, Apache), CTC + KenLM6,70%5,51–8,01local, procesor
Whisper large-v3 turbo8,26%7,20–9,85local, MLX
SpeD 110M, TDT fără model de limbă8,34%7,19–10,17local, procesor
Parakeet TDT 0.6B v311,79%10,45–13,66local
Grai — română, în flux, 1120 ms26,15%23,89–28,42local, MLX, GPU integrat

Cine ne bate pe română, pe mașina noastră, e un model românesc deschis, offline. Diferența de ~19 puncte e taxa de a scoate text în flux; de aceea următorul pas e distilarea lui într-un model mic care merge în flux, nu reglajul lui Nemotron.

Calibrarea care arată cât valorează tabelul de mai sus

Două pagini de furnizor publică cifre pentru aceleași două modele terțe, și nu coincid: Whisper large-v3 apare ca 12,31% la unul și 13,0% la altul; Deepgram Nova-2 ca 33,89% și 35,4%. Adică între două „FLEURS română" publicate există 0,7–1,5 puncte de diferență doar din partiție și normalizare. O lucrare din 2025 (arXiv 2509.14128) dă pentru același Whisper large-v3 8,24% — aceeași denumire de model, trei cifre în trei surse.

Marja aia contează când compari 3,0% cu 5,28%. Nu contează deloc când compari oricare din ele cu 26,15%. Poziția onestă: la acuratețe pe română, în flux, pierdem cu un factor de 5–9×.

Ce avem în schimb, și ei nu

Un singur furnizor din listă oferă și on-prem cu română în flux — deci e singurul care ne atacă direct argumentul. Contra lui, argumentul rămâne costul și controlul, nu acuratețea.

Unde se pierde

Cifrele. Exact partea care contează la telefon.

Împărțind cele 200 de enunțuri după prezența cifrelor în referință:

EnunțurinWER normalizatWER brutCe spune
fără cifre16325,08%25,43% normalizarea aproape nu contează
cu cifre3729,65%36,94% normalizarea ascunde 7,3 puncte

Un enunț cu cifre e cu 4,6 puncte mai prost normalizat și cu 11,5 puncte mai prost brut. Exemple reale din rulare:

ReferințăCe a ieșit
din 1988 urnele de vot…Denomin ustie xopt, urnele de votre…
în 1537 paraguay…în o mie cinu ste și șapte, Paraguay…
pușca sa m16ca să M Shaișpe
cele 25 de postere dunlapCele douăze și inci de postere Danop

Orice normalizare care scrie numerele în litere înainte de scorare ne face să arătăm mai bine decât suntem la telefon. De aceea raportăm și brut. Pentru un agent care ia numere de telefon, ore, prețuri și date, partea cea mai importantă a limbii e și cea mai stricată. De ce contează normalizarea →

Latență

De la ultimul tău sunet, la primul al lui

Două rulări diferite, cu două întrebări diferite. Nu se adună între ele.

Cu umplutura pornită — ce aude omul

n=29 replici, p50, măsurat la client, de la ultimul eșantion de vorbire al omului.

1235ms până la primul sunet · p95 1616 · e o umplutură („Îhî”)
2667ms până la primul sunet al răspunsului · p95 6003

Cu umplutura oprită — unde se duc milisecundele

n=17 replici, p50, gpt-5.4-nano. Fiecare segment are două capete observate, nu calculate — suma celor șase segmente dă totalul cu abatere sub o jumătate de milisecundă.

decizie de tură
586 ms
recunoaștere
92 ms
poartă, pornire
3 ms
modelul de limbaj
2180 ms
sinteza vocii
305 ms
coadă, transport
6 ms
3172ms până la primul sunet = răspunsul · 586+92+3+2180+305+6
69%din latență e modelul de limbaj (p50, gpt-5.4-nano; 71% pe gpt-5.6-luna)

Cei 92 ms de recunoaștere sunt golirea după ce omul tace; textul parțial în timpul vorbirii vine cu întârzierea ferestrei, ~1,1 s la 1120 ms. Singura piesă care nu rulează local e și 69% din întârziere.

Reper: HumDial, ICASSP 2026, raportează 1,26 s pentru câștigător, după definiția concursului. E o mărime diferită de 1235 ms sau 2667 ms de mai sus; nu se scad una din alta. Ce arată reperul: acolo unde full-duplexul se măsoară cu adevărat, cifrele sunt de ordinul secundei, nu 300 ms.

Detecția turei

Prozodie față de cronometru

820ms · prag fix, aceeași rată de tăieri greșite
560ms · pe intonație
52,0%din pauze încă tăiate greșit (de la 69,4%) · mai mic e mai bine
0,42ms cost per decizie de pauză, pe M3 Max

Măsurat pe conversații umane reale din CANDOR, în engleză: 80 de clipuri, 98 de pauze, reluare offline. Metrica e TOR — proporția pauzelor din mijlocul frazei în care sistemul a decis greșit că omul a terminat. Cu prag fix de 0,6 s, 69,4%; pe intonație, la 560 ms așteptare, 52,0% — cât îi trebuie cronometrului 820 ms ca să atingă. Câștigul nu vine din a decide mai rar: decizia pe prozodie ia mai multe decizii decât pragul fix, și tot greșește mai puțin. Repere publice: 9,9% tăieri false la 300 ms și 4,5% la 600 ms, la LiveKit v1 — declarat, engleză, altă metrică (rata tăierilor false, nu TOR), deci nu se compară direct.

De ce cifrele astea nu se pot compara cu ale altora

Studiul explică cele șase capcane de metodologie care fac tabelele publicate incomparabile — cu exemple din propriile noastre greșeli.