跳到主内容
@wquguru
精选70宝玉技巧与观点

Qwen3 ASR 实测:解决 Whisper 时间戳不准、中英文混排问题

最早我做字幕翻译的时候,语音转文字是用的 Whisper,但是 Whisper 有几个问题:

原文
发到 X

最早我做字幕翻译的时候,语音转文字是用的 Whisper,但是 Whisper 有几个问题:

一个问题是时间戳不准,时间戳不准拆分的就是就可能字幕和语音对不上,很影响效果,需要人工去从头到尾校对一遍

一个问题是中英文混排支持不好,中文其实支持也不算太好,所以中文的转录就效果很差

一个问题是不直接支持识别发言人

虽然这些问题都可以通过收费的云端模型来解决,但是成本相对高一些。

最近测试了 Qwen3 ASR,效果是真的很不错,配合 Qwen3-ForcedAligner 模型,可以识别后把词级时间戳对的很精准。0.6b 就足够了,本地运行资源占用也不高。https://github.com/QwenLM/Qwen3-ASR

发言人识别也有开源的模型:Pyannote + WeSpeaker。不过这个发言人一多尤其是一起说话识别的不够准,但配合 Agent 结合上下文就能做到相对比较准了。

如果真的要求高,也可以走云端模型,比如火山引擎上的豆包录音文件识别模型 2.0 就质量挺好,速度也快,就是要额外花钱。

更进一步:量化金融体系

看懂新闻只是起点——沿量化金融路径,把它变成能交付的工程能力

进入量化体系 →

相似阅读

另一事件,读法相近