文章来源:08AI导航网发布时间:2024-12-10 20:17:53
Follow-Your-Emoji,由港科大、腾讯混元、清华共研,基于扩散模型共同开发,将目标表情或动作应用到参考肖像上,并保持肖像的身份特征、动作连贯性及逼真度。通过提取视频人物的面部特征,特别是面部细节和瞳孔动态,来生成新的面部动画。
你只需给定一张照片,Follow-Your-Emoji就能将其转化为活灵活现的面部动画。,同时能够捕捉微妙表情变化。
Follow-Your-Emoji可以实现使用单一的驱动视频或动作序列来驱动多个不同的参考头像生成动画。每个参考头像都会按照同一个动作序列表现出相同的动作和表情变化。也可以使用单一的参考头像+多个不同的驱动视频生成多段动画。每个动作序列都会让同一个参考头像表现出不同的动作和表情变化。
Follow-Your-Emoji功能特征:
身份保持:在动画生成过程中,能确保参考头像的身份特征不会丢失,确保你的形象始终如一。
表情丰富:生成各种夸张和细微的表情,如大幅度的瞳孔运动,无论是细微的眼部动态还是夸张的表情变化。
风格多样化:支持多种风格的头像动画,无论卡通、现实人物、雕塑还是动物风格的动画等。
动画稳定持久:使用渐进生成策略,确保长时间动画的稳定性和一致性。
这项技术的主要难点在于,在动画过程中始终保持参考头像的身份特征不会丢失,同时又要传递目标表情,并确保时间上的连贯性和逼真度。
为了解决这个问题,Follow-Your-Emoji采用两种关键技术:一个是使用一种新的显式动作信号——表情感知的关键点来指导动画过程。这种关键点可以确保在推理过程中参考头像与目标动作之间的准确对齐,并且增强了表现夸张表情(例如,瞳孔的大幅度运动)的能力,同时避免了身份信息的泄露。另外一个是提出了一种面部细粒度损失函数,通过使用表情和面部掩码来提高模型对微妙表情变化和参考头像外观重建的能力。
Follow-Your-Emoji非常适合那些需要进行人像动画制作的专业人士和爱好者,包括动画设计师、视频制作者、游戏开发者等。
论文地址:https://arxiv.org/html/2406.01900v1
Follow-Your-Emoji项目地址:https://follow-your-emoji.github.io/
上一篇: Stability AI开源了SD3 Medium模型
Stability AI开源了SD3 Medium模型_映技派,专注ai人工智能!,Stability AI刚刚开源了它的SD3 Medium模型,在图像质量上有显著提升,能够生成更高质量、更细腻的图像。
下一篇: 苹果iOS 18有哪些功能更新?
苹果iOS 18有哪些功能更新?_映技派,专注ai人工智能!,iOS 18是苹果公司最新发布IOS版本,最引人注目的更新当属深度集成的Apple Intelligence,这是一个基于个人场景发挥生成式模型的强大功用的智能助手,能够结合用户的具体场景提供实用且具有针对性的智能功能,除了这个,iOS 18的功能更新如下:
相关攻略 更多
最新资讯 更多
好未来荣获广东省人工智能产业协会科技进步奖一等奖
更新时间:2025-02-24
聚焦企业出海、人工智能等热点,安永携首发新品亮相进博
更新时间:2025-02-24
OpenAI未来猛料全曝光!奥特曼承认自己最大弱点是产品
更新时间:2025-02-24
人工智能闪耀进博会 半导体企业布局显威
更新时间:2025-02-21
人工智能正成为中国电影新质生产力新引擎
更新时间:2025-02-21
调查显示韩国逾九成中小企业尚未使用人工智能技术
更新时间:2025-02-21
百度首页 AIGC工具导航 沙特计划斥资1000亿美元打造人工智能强国 以媲美阿联酋的科技中心
更新时间:2025-02-21
科学家利用人工智能加速葡萄育种
更新时间:2025-02-21
人工智能时代,产业工人如何更有作为、更有地位?
更新时间:2025-02-21
聚焦智慧民航|人工智能:推动民航业发展的新一代“隐形引擎”
更新时间:2025-02-21