🎙️ Bench STT — compte rendu (audio → texte)

STT = transcription : pas d'audio généré — on mesure la réactivité (TTFT) et la qualité (WER) sur le corpus d'entrée (Common Voice, 6 clips/langue, écoutable plus bas). Généré le 2026-06-24.

Réactivité — TTFT streaming (top-3 / langue)

TTFT = micro → 1er mot (ms, médian). Socle pressenti : Whisper-turbo (offline, couvre le turc) + Voxtral-RT (cloud rapide, hors turc).
Langue🥇🥈🥉
FrançaisVoxtral-RT 312 msWhisper-turbo 680 msGemini 1219 ms
AnglaisVoxtral-RT 351 msWhisper-turbo 1140 msGemini 1228 ms
EspagnolWhisper-turbo 250 msVoxtral-RT 385 msGemini 3224 ms
PortugaisWhisper-turbo 250 msVoxtral-RT 333 msGemini 1335 ms
AllemandWhisper-turbo 263 msVoxtral-RT 317 msGemini 1173 ms
ItalienWhisper-turbo 242 msVoxtral-RT 307 msGemini 1662 ms
NéerlandaisWhisper-turbo 243 msVoxtral-RT 343 msGemini 1994 ms
JaponaisWhisper-turbo 247 msVoxtral-RT 467 msGemini 1713 ms
ChinoisWhisper-turbo 260 msVoxtral-RT 300 msGemini 1089 ms
TurcWhisper-turbo 256 msGemini 1334 ms
Voxtral-realtime ☁️ cloud · WebSocket  🥇 fr/en (~312/351 ms). Natif. Pas le turc. Apache-2.0 (cloud).
Gemini STT ☁️ cloud · SSE  Toutes langues (turc inclus) mais lent (~1,3 s). Propriétaire.
Whisper large-v3-turbo 🖥️ self-host  Socle OFFLINE : ~250 ms compute (~1 s live), couvre le turc, 99 langues. MIT. Chunké client (mlx-whisper sur Mac).
*fr/en Whisper-turbo = outliers 1er appel (compute réel ~250 ms comme les autres langues).

Qualité — WER batch

WER = % de mots faux (plus bas = mieux ; normalisé chiffres/abréviations). Whisper-turbo : macro 7,0 %. Voxtral cloud : fr 0,0 % mais pas de turc. ja/zh plus durs (CER élevé).
LangueWER % (Whisper large-v3)
Français7.8
Anglais1.6
Espagnol1.7
Portugais2.6
Allemand3.0
Italien7.5
Néerlandais1.9
Japonais12.9
Chinois20.7
Turc6.3
Whisper large-v3 🖥️ self-host  Référence qualité : WER macro 6,6 % (fr 7,8 ; tr 6,3). 99 langues. MIT. VRAM ~4,2 Go.
Whisper large-v3-turbo 🖥️ self-host  WER macro 7,0 %, VRAM 2,4 Go — meilleur compromis latence/empreinte.
Voxtral STT ☁️ cloud  Excellent (fr 0,0 %) mais pas le turc.
Gemini STT ☁️ cloud  Qualité top, toutes langues (turc inclus).

Corpus d'entrée (écoutable)

Les clips réellement transcrits + leur texte de référence (ce que le STT doit retrouver). Clique ▶ pour écouter.
Français · 6 clips
▶ cv-fr-01 « Un vrai travail intéressant va, enfin, être mené sur ce sujet. »
▶ cv-fr-02 « Une réforme profonde est nécessaire. »
▶ cv-fr-03 « Pas si nombreuses que ça »
▶ cv-fr-04 « Un comité interministériel du handicap s’est tenu il y a quelques semaines. »
▶ cv-fr-05 « La parole est à Monsieur Alain Ramadier, pour soutenir l’amendement numéro cent vingt-huit. »
▶ cv-fr-06 « La civilisation Maya est très ancienne et mérite qu'on y porte plus d'attention. »
Anglais · 6 clips
▶ cv-en-01 « It was the time of day when all of Spain slept during the summer. »
▶ cv-en-02 « Same way you did. »
▶ cv-en-03 « Galileo Galilei was the first man who observed the planet Neptune through his telescope. »
▶ cv-en-04 « Hey look, a flying pig! »
▶ cv-en-05 « There is no lock but a golden key will open it. »
▶ cv-en-06 « He was excited, and at the same time uneasy: maybe the girl had already forgotten him. »
Espagnol · 6 clips
▶ cv-es-01 « y calló , tal vez esperando una disculpa amante , pero yo preferí guardar silencio , »
▶ cv-es-02 « pero yo hijos no te voy a dar . »
▶ cv-es-03 « y en las ramas medio sumergidas revoloteaban algunos pájaros de quimérico y legendario plumaje . »
▶ cv-es-04 « A nosotros no nos gusta que nos hagan explotar . »
▶ cv-es-05 « si crees en ellos y en la Navidad , vienen . »
▶ cv-es-06 « Ahora todos mis amigos se fueron »
Portugais · 6 clips
▶ cv-pt-01 « Estamos aqui para pedir emprestado »
▶ cv-pt-02 « Graças a Deus você está aqui! »
▶ cv-pt-03 « Precisamos nos apressar. »
▶ cv-pt-04 « A necessidade é o pai na inovação. »
▶ cv-pt-05 « Você poderia ter morrido depois que a paz fosse declarada. »
▶ cv-pt-06 « Os ciclistas pararam e estão falando sobre algo. »
Allemand · 6 clips
▶ cv-de-01 « Mückenstiche sollte man nicht aufkratzen. »
▶ cv-de-02 « Ist diese Leitung sicher? »
▶ cv-de-03 « Die Ratten verlassen das sinkende Schiff. »
▶ cv-de-04 « Ich habe eine neue Arbeit. »
▶ cv-de-05 « Was sieht Kamera Eins gerade? »
▶ cv-de-06 « Was für ein Angeber, dachte Horst im Stillen. »
Italien · 6 clips
▶ cv-it-01 « Mi hanno fatto un'offerta che non potevo proprio rifiutare. »
▶ cv-it-02 « Al fine di organizzare e mantenere costantemente attiva la community locale è necessario determinare dei ruoli e delle responsabilità locali o decisionali. »
▶ cv-it-03 « Le donne portano disgrazia! »
▶ cv-it-04 « Vorrei un bel pezzo di cioccolata. »
▶ cv-it-05 « Allo stesso tempo, occorrerebbe introdurre forme di sostegno ai comuni per la progettazione ed il recupero strutturale dei beni oggetto di confisca. »
▶ cv-it-06 « Fare lo sgambetto. »
Néerlandais · 6 clips
▶ cv-nl-01 « Het containerschip lag aangemeerd in de haven. »
▶ cv-nl-02 « De bezorgtijd is dan wel minstens vier weken. »
▶ cv-nl-03 « De dolfijnen sprongen uit het water voor de boeg van het schip. »
▶ cv-nl-04 « Het vermiste jongetje droeg een geel T-shirt op de dag van de verdwijning. »
▶ cv-nl-05 « De regenpijp lekt weer. »
▶ cv-nl-06 « Met knikkende knieën liep ik het kantoor binnen. »
Japonais · 6 clips
▶ cv-ja-01 « ピラミッドを築くだけの苦労が、そこにそそがれたはずであった。 »
▶ cv-ja-02 « わたしは今お金がありません。 »
▶ cv-ja-03 « 新しい靴をはいて出かけます。 »
▶ cv-ja-04 « 毎日忙しいので、あまり休むことができません。 »
▶ cv-ja-05 « 事故原因の究明は、急いでもらいたい。 »
▶ cv-ja-06 « 空が少し曇ってきました。 »
Chinois · 6 clips
▶ cv-zh-01 « 正巧母亲往外探头 »
▶ cv-zh-02 « 至今为止,元气火箭总共发行了两张专辑。 »
▶ cv-zh-03 « 失业率降到十七年来的新低点 »
▶ cv-zh-04 « 庙中匾额有:庙宇楹联有:在下列日子、时节,庙宇会举行祀仪庆祝 »
▶ cv-zh-05 « 科斯捷维奇的母亲是经济学哲学博士,父亲是一名工程师。 »
▶ cv-zh-06 « 症状表现诸如发烧、怕风,伴随头痛、身疼痛、打喷嚏或咳嗽。 »
Turc · 6 clips
▶ cv-tr-01 « Pek çoğu da Roman toplumundan geliyor. »
▶ cv-tr-02 « Geçiş ülkelerinde yaşananlar ise karışık. »
▶ cv-tr-03 « Bunu kanıtlayacak pek fazla delil yok. »
▶ cv-tr-04 « AB de operasyona olumlu tepki gösterdi. »
▶ cv-tr-05 « Yaşlılara kim bakacak? »
▶ cv-tr-06 « Makedonya'daki her ev ankete katılacak. »

⚠️ Non testable sur GCP (L4) — à mesurer sur le Mac mini M4 UNIQUEMENT

Le bench tourne sur L4 CUDA (faster-whisper, eager) : bon pour comparer les modèles entre eux, mais les chiffres ne transfèrent PAS à la cible de prod (Mac mini M4). À refaire sur le Mac : → Bench DÉCISIF = Mac mini M4 (cf. docs/75 · docs/plans/bench-stt-tts.md).
— clique un clip —