文章来源:08AI导航网发布时间:2024-12-10 19:53:19
Hallo,可以根据单张图像和音频输入生成唱歌和说话视频,并能控制人物表情和姿态,和EMO相比,Hallo由于使用了扩散模型来实现层次化的音频驱动视觉合成,它能够通过输入语音,生成对应的人物嘴唇同步、表情变化和姿态变化的动画。提高了语音与生成动画之间的对齐精度,使动画的嘴唇、表情和姿态与语音的同步。
Hallo功能特征:
虚拟角色动画生成:通过语音音频输入生成逼真的、动态的虚拟角色动画,并实现虚拟角色的口型、表情和姿态的精确同步。
真实角色动画生成:将技术应用于真实人物的语音驱动动画生成,生成的动画能准确反映真实人物的表情和动作变化。
多种运动控制:提供对角色表情、姿态和嘴唇运动的精确控制,支持多种表情和姿态的自适应控制,增强动画的多样性和真实性。
跨演员应用:支持不同身份的个性化动画生成,通过音频输入,生成适应不同角色身份的动画效果。
歌唱动画生成:通过语音和歌曲音频输入,生成同步的歌唱动画,动画能够准确反映歌唱时的口型和表情变化。
Hallo其它特点:
实时性:采用扩散模型结构,增强了动画生成的实时性,使得生成的动画更加逼真和自然。
个性化:可以根据不同的演员或角色定制不同的个性化的动画效果。
多样性:提供多种运动控制,包括表情、姿态和嘴唇运动,使动画更加多样化和真实性。
Hallo项目地址:https://fudan-generative-vision.github.io/hallo
Hallo Github:https://github.com/fudan-generative-vision/hallo
Hallo 论文:https://arxiv.org/abs/2406.08801
HuggingFace:https://huggingface.co/fudan-generative-ai/hallo
相关攻略 更多
最新资讯 更多
好未来荣获广东省人工智能产业协会科技进步奖一等奖
更新时间:2025-02-24
聚焦企业出海、人工智能等热点,安永携首发新品亮相进博
更新时间:2025-02-24
OpenAI未来猛料全曝光!奥特曼承认自己最大弱点是产品
更新时间:2025-02-24
人工智能闪耀进博会 半导体企业布局显威
更新时间:2025-02-21
人工智能正成为中国电影新质生产力新引擎
更新时间:2025-02-21
调查显示韩国逾九成中小企业尚未使用人工智能技术
更新时间:2025-02-21
百度首页 AIGC工具导航 沙特计划斥资1000亿美元打造人工智能强国 以媲美阿联酋的科技中心
更新时间:2025-02-21
科学家利用人工智能加速葡萄育种
更新时间:2025-02-21
人工智能时代,产业工人如何更有作为、更有地位?
更新时间:2025-02-21
聚焦智慧民航|人工智能:推动民航业发展的新一代“隐形引擎”
更新时间:2025-02-21