当前位置: 首页 >> 文娱

仅需四分钟录音素材 即可生成五种语言 酷狗引领AI语音创新

作者:张楠 来源:钛狐网 时间:2023-11-07 19:28

随着AI技术的不断发展,AI已经成为一种全新的内容创作形式和手段,各大音乐平台纷纷加大技术研发投入,探索AIGC在音乐领域中的应用与表达。

作为音乐行业的领跑者,酷狗将AI技术与UGC用户创作模式相结合,推出了行业首个AI K歌创新产品“酷狗AIK”。用户只需在酷狗搜索“AIK”并录制4分钟的声音素材即可,之后“酷狗AIK”就可以通过采集用户上传的声音,经过AI智能化学习后,生成专属的音色音效。此外,用户还可以对AI生成后的歌曲进行参数调整,即便五音不全,也能用自己的声音来合成、制作不同曲风的歌曲。经过以上简单步骤,用户即可一键“复刻”自己的声音,打造专属AI声库,成为“专业歌手”。

除多元曲风外,“酷狗AIK”创新性地使用不同语种混合建模,学习了不同语言专业歌手的发音特点,打造出独特的多语种AI歌声系统。目前“酷狗AIK”已支持国语、粤语、英语、日语和韩语歌曲的合成,后续还将支持更多其他语种。

众所周知,强大的产品功能背后离不开专业的技术支撑。“酷狗AIK”基于酷狗自研的声音合成引擎“凌音引擎”进行开发,该引擎使用多语种混合建模,支持不同语种的声音合成。为了让合成的歌曲更有表现力,凌音引擎提取了专业歌手的唱法进行建模,使用专业歌手的唱法来合成歌曲,让普通用户也能有媲美专业歌手的唱功。

据介绍,凌音引擎内含歌声合成、歌声转换、语音合成、语音转换等技术,其中歌声合成能够根据乐谱合成出目标人的歌声,语音合成能根据输入的文本合成出目标人的语音,转换技术能够将他人的音频转换成带有目标人音色和发音特点的音频。

另外,为了实现用少量的录音数据就能够复刻目标人的声音,凌音引擎采用预训练基础模型+微调目标人模型的策略。通过目标人的声学模型即可复刻目标人的声音,使用目标人的声音来合成自然、逼真的歌声和语音。

除酷狗AIK之外,凌音引擎目前已成功孵化出AI爸妈等创新产品功能,打造了“超越AI”和“柒月”等AI歌手矩阵。与“酷狗AIK”类似,在“AI爸妈”中,用户只需录制10句语音,就可以制作自己朗读的声音模型,用自己的声音来朗读故事。

在孵化产品功能之外,目前“凌音引擎”也被酷狗广泛用于辅助歌曲和有声小说内容制作。例如,在歌曲制作方面,制作专辑《没有寄出的信(致敬邓丽君)》,再现邓丽君的天籁之音;基于听障儿童非常少量的朗读语音,复刻7位听障儿童的声音,制作了公益专辑《因AI而声》,帮助听障孩子们实现原来不可能实现的愿望。有声小说制作方面,凌音引擎可以支持旁白合成,有效提升有声小说的制作速度,并大幅降低制作成本。

未来,酷狗研发团队仍将不断探索 AI 语音技术,持续优化和提升凌音引擎的能力,让合成的声音更逼真和拟人、更有表现力和情感,在内容制作和产品创新方面发力,助力行业发展。


分享到
免责声明:本文系转载,版权归原作者所有;文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担;旨在传递信息,不代表钛狐网观点和立场。