Whisper by OpenAI

什么是"Whisper by OpenAI"？

OpenAI推出了一款名为Whisper的神经网络，该网络在英语语音识别方面接近人类水平的鲁棒性和准确性。Whisper是一个自动语音识别（ASR）系统，训练了680,000小时的多语言和多任务监督数据，从网络上收集而来。通过使用如此庞大和多样化的数据集，Whisper在应对口音、背景噪音和技术语言方面表现出更好的鲁棒性。此外，它还能够进行多种语言的转录，以及将这些语言翻译成英语。我们开源了模型和推理代码，作为构建有用应用程序和进一步研究鲁棒语音处理的基础。

"Whisper by OpenAI"有哪些功能？

• Whisper采用简单的端到端方法，实现为编码器-解码器Transformer。
• 输入音频被分成30秒的块，转换为对数梅尔频谱图，然后传递到编码器。
• 解码器被训练来预测相应的文本标题，夹杂着特殊标记，指导单一模型执行任务，如语言识别、短语级时间戳、多语言语音转录和到英语的语音翻译。

产品特点：

• Whisper在大量不同语言的数据集上进行训练，不针对特定数据集进行微调，因此在许多不同数据集上的零样本性能更为稳健，比其他模型减少了50%的错误率。
• Whisper的音频数据集中约三分之一是非英语的，它交替执行原始语言的转录或翻译成英语的任务，这种方法特别有效地学习了语音到文本翻译，并在CoVoST2到英语翻译的零样本上表现优于监督学习的SOTA。

应用场景：

Whisper的高准确性和易用性希望能让开发人员将语音界面添加到更广泛的应用程序中。可以用于语音识别、多语言转录和翻译等场景。

"Whisper by OpenAI"如何使用？

1. 下载Whisper的模型和推理代码。
2. 阅读相关论文和模型卡片，了解更多细节。
3. 尝试使用Whisper进行语音识别、多语言转录和翻译等任务。

常见问题：

Q: Whisper是否支持其他语言的语音识别？
A: 是的，Whisper可以在多种语言之间进行转录和翻译。
Q: Whisper的训练数据集包含哪些内容？
A: Whisper的训练数据集包括680,000小时的多语言和多任务监督数据。