文章来源:08AI导航网发布时间:2024-12-10 22:45:23
SignLLM,第一个多语种手语生成模型,可以将输入的文本或提示转化为相应的手语手势视频。SignLLM通过先进的ai技术生成和翻译多种手语。SignLLM引入了首个多语言手语数据集,名为 Prompt2Sign,并基于此数据集开发了多种生成手语的模型。此数据集将大量视频转化为便于模型训练的格式,优化了如 seq2seq 和 text2text 等翻译模型的训练。基于这些数据集,我们展示了 SignLLM 的基准结果,表明我们的模型在八种手语的手语生成任务中达到了最先进的性能。
SignLLM受到在广泛的多语言文本语料库上训练的大型语言模型 (LLMs) 强大翻译能力的启发,我们的目标是利用现成的 LLMs 来处理 SLT。在本文中,我们对手语视频进行规范化以体现口语的语言特征,并提出了一种新颖的 SignLLM 框架,将手语视频转换为类似语言的表示形式,以提高现成的 LLMs 的可读性。
SignLLM 包含两个关键模块:
1、矢量量化视觉符号模块将符号视频转换为一系列离散字符级符号标记。
2、代码本重建和对齐模块将这些字符级标记转换为单词级使用最佳传输公式进行符号表示。符号-文本对齐损失进一步弥合了符号和文本标记之间的差距,增强了语义兼容性。我们在两个广泛使用的 SLT 基准测试中取得了最先进的无光泽结果。
SignLLM GITHUB地址:https://signllm.github.io/
上一篇: StreamV2V:视频实时换脸和风格转换的开源工具
StreamV2V:视频实时换脸和风格转换的开源工具_映技派,专注ai人工智能!,StreamV2V,一个实时视频转换的开源工具,可以进行视频实时换脸和风格转换。
下一篇: Open-Sora 1.1发布:视频生成质量和持续时间显著提升
Open-Sora 1 1发布:视频生成质量和持续时间显著提升_映技派,专注ai人工智能!,今天,我们很高兴地推出 Open-Sora-Plan v1 1 0,它显着提高了视频生成质量和持续时间。与之前的 Open-Sora-Plan v1 1 0 版本相比,改进了:更好的压缩视觉表示和生成更高质量、更长的视频。
相关攻略 更多
最新资讯 更多
好未来荣获广东省人工智能产业协会科技进步奖一等奖
更新时间:2025-02-24
聚焦企业出海、人工智能等热点,安永携首发新品亮相进博
更新时间:2025-02-24
OpenAI未来猛料全曝光!奥特曼承认自己最大弱点是产品
更新时间:2025-02-24
人工智能闪耀进博会 半导体企业布局显威
更新时间:2025-02-21
人工智能正成为中国电影新质生产力新引擎
更新时间:2025-02-21
调查显示韩国逾九成中小企业尚未使用人工智能技术
更新时间:2025-02-21
百度首页 AIGC工具导航 沙特计划斥资1000亿美元打造人工智能强国 以媲美阿联酋的科技中心
更新时间:2025-02-21
科学家利用人工智能加速葡萄育种
更新时间:2025-02-21
人工智能时代,产业工人如何更有作为、更有地位?
更新时间:2025-02-21
聚焦智慧民航|人工智能:推动民航业发展的新一代“隐形引擎”
更新时间:2025-02-21