跳到主要内容

做到了!边说边写的泰语语音 AI,泰国团队打造,免费开源:OpenThai 2.0 ASR Streaming

做到了!泰语实时语音转文字,免费(显示效果示意图)

做到了! 听泰语、在说话人还没说完时就写出文字的 AI,由泰国团队打造,免费下载:OpenThai 2.0 ASR Streaming,允许商用。

是否遇到过这种情况?看直播、上课或开线上会议时想要泰语实时字幕,但大多数开放的泰语语音识别模型必须先听完一整段,等文字出来时,说话人已经讲到别的事了。

昨天我们发布了泰语文档 AI,今天是本周第二个免费发布。

  • 边说边出字: 文字只比声音慢 0.08 到 1.12 秒。一个模型有四档延迟,速度与准确度任选。
  • 0.64B: 单张 NVIDIA H100 可同时跟上约 20 路实时音频流(560 毫秒)。没有 GPU?8 线程 CPU 也能跟上实时(320 或 560 毫秒)。
  • 可在自己的机器上运行, 语音不出机构,适合不能把语音上传到境外云端的机构,例如医院和银行。
  • 用 12,373 小时泰语语音训练, 起点是 NVIDIA Nemotron 3.5 ASR Streaming,微调前它有 98.96% 的泰语字符识别错误,现在同一测试集(FLEURS)上只有 8.47%。
  • iApp 的 OpenThai ASR Realtime 服务背后就是这个模型。

直接比较 Typhoon ASR Streaming 0.6B,它基于同一 NVIDIA 基础模型。两个模型都由我们自己解码,使用相同的测试集和相同的脚本(数字为识别错误的字符百分比,越低越好,延迟 560 毫秒):

  • 朗读(FLEURS):8.47 对 11.28
  • YouTube 视频(GigaSpeech2):15.35 对 16.33
  • 会议(LOTUSDIS):20.77 对 28.91。这一集对我们有利,因为我们用同一批会议室录制的其他会议做了训练。

坦白说: 在电视访谈节目上 Typhoon 仍然更好(12.41 对 10.84),伊散方言两者持平(34.90 对 34.15)。默认模式把英语单词写成泰文字母,th-mix 只会把部分单词写成拉丁字母。长录音必须先在停顿处切分再解码,附带的服务器会自动完成。团队正在继续改进。感谢 Typhoon 团队与我们一同提升泰语语音识别的水平。

为什么免费? 我们希望聋人、听障人士和老年人在任何地方都能看直播、看新闻、上课、开会,并有泰语实时字幕。而任何想打造反应迅速的泰语语音助手的人,第一步都是跟上泰语语音。

下载:huggingface.co/iapp/OpenThai2.0-ASR-Streaming,以及 ONNX 导出版(含 int8):huggingface.co/iapp/OpenThai2.0-ASR-Streaming-ONNX 不想自己维护 GPU?使用 API:OpenThai ASR Realtime(发布期间免费) 完整结果、使用方法与局限:OpenThai 2.0 ASR Streaming 模型页 iApp 网站上的更多内容:发布文章和模型页面

Built on NVIDIA Nemotron · 在 Siam AI 支持的 NVIDIA H100 GPU 上训练