阿里开源语音模型CosyVoice整合包0721更新版

CosyVoice是通义实验室依托大规模预训练语言模型，深度融合文本理解和语音生成的新一代生成式语音合成大模型，支持文本至语音的实时流式合成。可以应用于：智能设备/机器人播报的语音内容，如智能客服机器人、智能音箱、数字人、语音助手等。

音视频创作中需要将文字转为语音播报的场景，如小说阅读、新闻播报、影视解说、剧本配音等。文章源自设计学徒自学网-http://www.sx1c.com/50472.html

CosyVoice则专注自然语音生成，支持多语言、音色和情感控制，支持中英日粤韩5种语言的生成，效果显著优于传统语音生成模型。文章源自设计学徒自学网-http://www.sx1c.com/50472.html

仅需要3~10s的原始音频，CosyVoice即可生成模拟音色，甚至包括韵律、情感等细节，包括跨语种语音生成。而且CosyVoice支持以富文本或自然语言的形式，对生成语音的情感、韵律进行细粒度的控制，生音频在情感表现力上得到明显提升。文章源自设计学徒自学网-http://www.sx1c.com/50472.html

CosyVoice是一款基于语音量化编码的语音生成大模型。它对语音进行离散化编码，并依托大模型技术，实现自然流畅的语音生成体验。与传统语音生成技术相比，文章源自设计学徒自学网-http://www.sx1c.com/50472.html

CosyVoice具有韵律自然、音色逼真等特点。CosyVoice支持多达5种语言，同时还支持以自然语言或富文本形式对生成语音进行情感等维度的细粒度控制。研究团队提供了基模型CosyVoice-300M、经过SFT微调后的模型CosyVoice-300M-SFT、以及支持细粒度控制的模型CosyVoice-300M-Instruct，可满足不同场景下的使用需求。文章源自设计学徒自学网-http://www.sx1c.com/50472.html

通过与原始音频以及最近大火的ChatTTS对比，可以发现CosyVoice的合成音频在内容一致性上更高，并且没有很少存在幻觉额外多字的现象。CosyVoice很好地建模了合成文本中的语义信息，达到了与人类发音人相当的水平。此外，通过对合成音频进行重打分，能够进一步降低识别的错误率，甚至在内容一致性和说话人相似度上超越人类。文章源自设计学徒自学网-http://www.sx1c.com/50472.html

（文件包有预合成演示音频，可自行听取）文章源自设计学徒自学网-http://www.sx1c.com/50472.html

CosyVoice-300M本身具备一定从文本内容中推断情感的能力，经过细粒度控制训练的模型，CosyVoice-300M-Instruct在情感分类中的得分更高，具备更强的情感控制能力。文章源自设计学徒自学网-http://www.sx1c.com/50472.html