首页 > 百姓社区 > 百姓社区 > 小说一键转有声剧!豆包语音团队「AI多人有声剧」,沉浸感拉满了

小说一键转有声剧!豆包语音团队「AI多人有声剧」,沉浸感拉满了

发布时间:2025-10-28 17:15:58来源: 13899775532

音频最开始的一分钟里,我们就听到了人物对白和旁白解说,脚步、开门、坐下、手铐晃动和递名片的声音,背景音乐等多种元素。相比于单纯地阅读文字,听书的沉浸感确实强了不少。

如果说,这段声情并茂的朗读音频都是由 AI 生成的呢?很多读者可能会感到惊讶:「不知不觉,AI 讲书的水准已经进化到这个地步了?」

是的,这段「AI 讲书」背后的配音和后期,来自豆包语音团队近日发布的「AI 多人有声剧」自动化方案。该方案不仅支持多角色、高表现力的 TTS 演播,同时也实现了全自动 AI 后期的链路。

也就是说,从小说文本到高质量的多人有声剧成品,全部由 AI 端到端完成。这意味着,基于该方案的有声书生产制作成本和周期大幅降低。目前,首批由该方案端到端创作的有声剧已经在番茄小说 App 上线。

具体而言,这套方案基于新升级的多角色 Seed-TTS-2.0 模型,配合 AI 自动音乐、音效、特效和智能混音,在听感效果上已经能够媲美行业一流水准的真人有声剧。

当然,开篇的 Demo 只是该方案的众多成果之一,让我们再欣赏一些高光片段:



把小说变成多人有声剧,总共分几步?

小说作品通常具有充满戏剧性的情节和极具感染力的台词,而将这些小说的文字内容转化为有声剧,同样受到了很多读者的欢迎。

传统多人有声剧的制作周期较长,一般会持续数月。立项后需要先经过人工切分画本并校准,设计配音角色表,并完成十几甚至几十个声优录制。随后,后期人员会精修音频,并在此基础上进行音效、音乐和混音处理,完成母带制作,最终输出为专业的有声剧成品。

而豆包语音团队提出的这套新方案,使得有声书生产的制作成本和周期大幅降低。方案首先利用端到端多角色语音模型合成 TTS 音轨,基于音频和后期画本预测模型,进一步生成带后期的有声剧。后期音效包含特效、音乐、音效、环境音,通过智能混音技术平衡音轨,最终生产出完整的成品多人有声剧。



AI 一键生成多人有声剧,如何媲美「真人配音 + 后期」?

在「多角色演播」和「AI 后期」等流程中,豆包语音团队的「AI 多人有声剧」自动化方案做到了高水准生成。

首先是「多角色演播」的效果升级。这套方案支持从「小说文本」到「多角色智能朗读音频」的全自动生产,音色匹配和对话归属准确率超过 98%。

在多人演播效果上,多角色 Seed-TTS-2.0 模型通过对海量文本与语音的多模态预训练,原生地将文本和语音模态融合,凭借强大的文本理解能力和语音演绎能力,进一步提升了对小说的角色、情感、副语言等细腻的演绎效果。这种演绎效果的升级,源自于几个创新点:

 

  • 篇章级长上下文感知,进一步增加模型对上下文的感知范围,对角色的理解更加到位;
  • 历史长音频建模,模拟真实小说录制场景,可感知所有上文音频信息,各角色语音承接力、表现力进一步加强;
  • 多轮思维链 (CoT) 推理,引入思维链信息,强化对当前角色、人设、情感、副语言的理解,打造更加细腻的演绎效果,带来沉浸式的听书体验。

 

百姓社区更多>>

Meta超轻薄头显渲染图流出:高端市场的新挑战者 iPhone 18标准版外观曝光:晃眼一看iPhone17Pro iOS26.3正式版即将发布!这3类情况适合升级! 2026 年第一台新 iPhone:国补后不到 4000,但不推荐买 “爱马仕橙”iPhone 17 Pro助苹果终结三年销售颓势,中国市场猛增38% 华为Pura X2最新爆料:电池容量预计达5500mAh! 鸿蒙手机不会用?试试负一屏的“玩机助手” 2025年中国手机市场出货量3.07亿部,同比下降2.4% iQOO 15 Ultra图赏 硬核科技风格蜂窝能量矩阵 硅谷甘愿“裸奔”,中国大厂连夜“铺路”:Moltbot凭什么横扫中美? 高并发业务如何兼顾稳定与弹性?华为云TaurusDB给出“存算分离”新解 姚顺雨现场颁奖,吉嘉铭、董冠霆等15位青年人才获腾讯青云奖学金 抖音:“年货节”期间品牌礼盒成交额同比增长22% 大模型听懂语音却变笨?港中深与微软联合解决语音大模型降智问题 Anthropic一夜震撼升级:Claude获得「永久记忆」!全球打工人变天 每经热评|1200亿元大单不可戏言 容百科技董事长从头到尾真不知情? “深山林下灵芝第一品牌”,什么来路?有哪些疑点? 北京将迎空中花园!副中心六环高线公园启动段预计今年五一开放 巨人网络:《超自然行动组》推出AI大模型玩法,AI与真人玩家对局数超2500万次 华西证券:首予八马茶业“买入”评级 高端茶企的发展现状与增长密码 Laraki Borac:摩洛哥超跑梦想的未竟之作 XSKY发布AIMesh,想帮AI工厂打通数据“任督二脉” 2026款睿蓝8焕新,续航、动力、舒适、安全全维升级 既有传统,也有NK风格?全新宝马5系长这样,你会喜欢吗? 智谱成为全球大模型第一股,外国人这么看 三大指数开盘涨跌不一 AI概念多股高开 追觅电视斩获CES媒体大奖,Aura Mini LED与AI技术实力获国际认可 微言 | “死了么” APP爆火,戳中独居群体最痛的安全感缺口 全员Pro Max?多款旗舰手机阵容要变! 小米17 Pro系列背屏支持查看股票行情:需升级至澎湃OS 3.0.40.0