音频最开始的一分钟里,我们就听到了人物对白和旁白解说,脚步、开门、坐下、手铐晃动和递名片的声音,背景音乐等多种元素。相比于单纯地阅读文字,听书的沉浸感确实强了不少。
如果说,这段声情并茂的朗读音频都是由 AI 生成的呢?很多读者可能会感到惊讶:「不知不觉,AI 讲书的水准已经进化到这个地步了?」
是的,这段「AI 讲书」背后的配音和后期,来自豆包语音团队近日发布的「AI 多人有声剧」自动化方案。该方案不仅支持多角色、高表现力的 TTS 演播,同时也实现了全自动 AI 后期的链路。
也就是说,从小说文本到高质量的多人有声剧成品,全部由 AI 端到端完成。这意味着,基于该方案的有声书生产制作成本和周期大幅降低。目前,首批由该方案端到端创作的有声剧已经在番茄小说 App 上线。
具体而言,这套方案基于新升级的多角色 Seed-TTS-2.0 模型,配合 AI 自动音乐、音效、特效和智能混音,在听感效果上已经能够媲美行业一流水准的真人有声剧。
当然,开篇的 Demo 只是该方案的众多成果之一,让我们再欣赏一些高光片段:

把小说变成多人有声剧,总共分几步?
小说作品通常具有充满戏剧性的情节和极具感染力的台词,而将这些小说的文字内容转化为有声剧,同样受到了很多读者的欢迎。
传统多人有声剧的制作周期较长,一般会持续数月。立项后需要先经过人工切分画本并校准,设计配音角色表,并完成十几甚至几十个声优录制。随后,后期人员会精修音频,并在此基础上进行音效、音乐和混音处理,完成母带制作,最终输出为专业的有声剧成品。
而豆包语音团队提出的这套新方案,使得有声书生产的制作成本和周期大幅降低。方案首先利用端到端多角色语音模型合成 TTS 音轨,基于音频和后期画本预测模型,进一步生成带后期的有声剧。后期音效包含特效、音乐、音效、环境音,通过智能混音技术平衡音轨,最终生产出完整的成品多人有声剧。

AI 一键生成多人有声剧,如何媲美「真人配音 + 后期」?
在「多角色演播」和「AI 后期」等流程中,豆包语音团队的「AI 多人有声剧」自动化方案做到了高水准生成。
首先是「多角色演播」的效果升级。这套方案支持从「小说文本」到「多角色智能朗读音频」的全自动生产,音色匹配和对话归属准确率超过 98%。
在多人演播效果上,多角色 Seed-TTS-2.0 模型通过对海量文本与语音的多模态预训练,原生地将文本和语音模态融合,凭借强大的文本理解能力和语音演绎能力,进一步提升了对小说的角色、情感、副语言等细腻的演绎效果。这种演绎效果的升级,源自于几个创新点:
- 篇章级长上下文感知,进一步增加模型对上下文的感知范围,对角色的理解更加到位;
- 历史长音频建模,模拟真实小说录制场景,可感知所有上文音频信息,各角色语音承接力、表现力进一步加强;
- 多轮思维链 (CoT) 推理,引入思维链信息,强化对当前角色、人设、情感、副语言的理解,打造更加细腻的演绎效果,带来沉浸式的听书体验。
