Dansk ASR-dyst — Kreds 1-talk (kreds150626)
Syv transskriptionsmotorer på 60 stilhedsopdelte klip fra en 68-min dansk tech-talk. MAI-Transcribe 2, MAI 1.5, MAI 1.0, Azure Fast, Parakeet-v3, syv.ai og hviske-v5-tiny — mod samme menneskeverificerede facit. Plus ét ekstra spor: Parakeets output kørt gennem en LLM-oprydning (Nemotron 3.5 Lightning).
| # | Motor | WER (ordret) ↓ | WER (filler-norm) ↓ | CER ↓ | Nøgleord ↑ | S / I / D |
|---|---|---|---|---|---|---|
| 1 | MAI-Transcribe 1.5 | 2.5% | 2.1% | 1.5% | 87.5% | 6 / 10 / 1 |
| 2 | MAI-Transcribe 2 (Foundry, preview) Taber til MAI 1.5 på WER og er samtidig den eneste søjle, der tager alle otte nøgleord. Forskellen er mest formatering, ikke hørelse: modellen skriver tal som cifre (»7« mod facittets »syv« — 4 af 30 fejl på blind-20) og rydder stille op i stammen og de falske starter, som det ordrette facit bevarer. Kørt med default transcribeStyle=verbatim; »clean« ville fjerne fyldordene, som facittet har. Facitlisterne er ældre end modellen. Bemærk at den forankrede facit er seedet fra MAI 1.5, som MAI 2 er direkte efterfølger til — blind-20 er det ærlige tal. | 4.5% | 3.6% | 2.6% | 100.0% | 13 / 9 / 8 |
| 3 | syv.ai (syv-transcribe) | 14.5% | 11.9% | 8.2% | 37.5% | 38 / 6 / 53 |
| 4 | Azure Fast Transcription | 14.7% | 9.7% | 8.2% | 25.0% | 44 / 4 / 50 |
| 5 | MAI-Transcribe 1.0 Udfaset af Microsoft 20-08-2026. Søjlen bliver stående med sine oprindelige tal, men modellen kan ikke længere kaldes. | 15.0% | 10.2% | 10.1% | 75.0% | 17 / 1 / 82 |
| 6 | hviske-v5-tiny (lokal, 263M) 263M parametre, destilleret fra syv.ai's ~2,1B syv-transcribe — som står som egen søjle her. Kørt lokalt på CPU (8,2× realtid, fp32 ONNX, ingen GPU), aldrig gennem et API. Facitlisterne er ældre end modellen, så søjlen er scoret helt blindt. Vægte: CC BY-NC 4.0. | 15.9% | 11.9% | 9.6% | 12.5% | 38 / 8 / 60 |
| 7 | Parakeet-v3 (local) + Nemotron 3.5 Lightning cleanup (NVIDIA) Ikke en ASR-motor: Nemotron 3.5 Lightning er tekst-til-tekst og hører ingen lyd. Den efterbehandler Parakeets output. | 27.1% | 22.9% | 18.6% | 25.0% | 58 / 2 / 121 |
| 8 | Parakeet-v3 (local) | 28.3% | 24.1% | 18.5% | 12.5% | 67 / 3 / 119 |
20 af 60 klip er labelet i dette facit.
Beviskæden
Vælg et klip, lyt, og se hvert ord hver motor ramte. Grøn = korrekt, gul = forkert ord, blå = tilføjet, rød = misset. Diffene beregnes i din browser af nøjagtig samme kode som tallene ovenfor — 2.5% er ikke et løst skøn.
Jeg har været vant til at skrive kode, øh, det vil sige, når AI'en sidder fast, så kan jeg nok komme ud af det igen, men det er så også min største ulempe, fordi at øh det er, det det er en refleks eller en vane, man skal øh vende sig af med som udvikler, og øh og det øh.
Jeg har været vant til at skrive kode, øh, det vil sige, når AI'en sidder fast, så kan jeg nok komme ud af det igen, men det er så også min største ulempe, fordi at øh det er, det det er en refleks eller en vane, man skal øh vende sig af med som udvikler, og øh og det øh.
fordi jeg har været vant til at skrive kode. Det vil sige, når AI'en sidder fast, så kan jeg nok komme ud af det igen. Men det er så også min største ulempe, fordi det er en refleks eller en vane, man skal vende sig af med som udvikler.
Jeg har været vant til at skrive kode. Det vil sige når AI en sidder fast, så kan jeg nok komme ud af det igen. Men Det er så også min største ulempe fordi at Det er det. Det er en refleks eller en vane man skal vende sig af med som udvikler og og det.
Jeg er valgt vant til at skrive god. Det er, når, så kan jeg nok komme ud af det igen. Men det er så også min største ulempe, fordi det er en refleks eller en vanen, man skal vend, som udvikler.
Jeg har været vant til at skrive kodet øh det vil sige når A1 sidder fast så kan jeg nok komme ud af det igen men det er så også min største ulempe fordi at det det er en refleks eller en vane man skal vende sig af med som udvikler og det
Jeg er valgt vant til at skrive god. Det er, når, så kan jeg nok komme ud af det igen. Men det er så også min største ulempe, fordi det er en refleks eller en vanen, man skal vend, som udvikler.
Jeg har været vant til at skrive kode. Det vil sige, at når A1 sidder fast, så kan jeg nok komme ud af det igen. Men det er så også min største ulempe, fordi det er en refleks eller en vane, man skal vende sig af med som udvikler. Og det.
Jeg har været vant til at skrive kode. Øh, det vil sige, når AI'en sidder fast, så kan jeg nok komme ud af det igen, men det er så også min største ulempe, fordi at øh det er, det det er en refleks eller en vane, man skal øh vende sig af med som udvikler, og øh og det øh.
Motor mod motor
Vælg to motorer. Klippene sorteres efter, hvor de to er enige med hinanden og uenige med facit — det er dér, mistanken falder på labelet frem for på modellerne. Uenighed indbyrdes er derimod almindelig konkurrence. Alignment er ikke entydig, så en markering er en mistanke, ikke en dom: lyt til klippet, før du sender rettelsen.
af de her ting, som vi snakkede om, eller som AI'en har snakket om.
| Facit | MAI-Transcribe 1.5 | MAI-Transcribe 2 (Foundry, preview) | ||
|---|---|---|---|---|
| eller | øhm eller | øhm eller | ⚑ facit-mistanke | |
| som | som som | som som | ⚑ facit-mistanke | |
| ai | a | ai | kun A afviger | |
| (efter sidste ord) | så | så | ⚑ facit-mistanke |