文章来源：08AI导航网发布时间：2025-04-10 15:27:19
Embodied-Reasoner是由中科院软件所、浙江大学和阿里巴巴达摩院等机构联合提出的一个开源的多模态具身模型，它可以将深度推理能力扩展到具身交互任务中。能够处理复杂的具身任务，例如在 ai2-THOR 模拟器中搜索隐藏物体、操纵和运输物品等。
深度推理能力：具备分析、空间推理、反思、规划等多种推理能力。
多模态交互处理能力：能够处理长序列的图像-文本交互上下文。
环境交互能力：可以自主观察环境、探索房间并找到隐藏物体。
开源模型和数据集：
提供 7B 和 2B 两种大小的开源模型。
数据集包含 9.3k 交互式的观察-推理-行动轨迹，涵盖 64K 图像和 8M 思考标记。
任务和轨迹引擎：自动合成连贯的“观察-思考-行动”轨迹，覆盖 107 种多样化的室内场景，如厨房和客厅，涉及 2,100 个交互对象和 2,600 个容器。
长链思考与多样化思考模式：包括分析、空间推理、反思、规划和验证等，这些连贯的图像-文本交错轨迹增强了其空间和时间推理能力。
迭代训练流程：结合模仿学习、自我探索调整和自我修正调整的三阶段迭代训练流程。
交互式评估框架：包含 809 个测试用例，覆盖 12 种新颖场景，评估模型在指令理解、关键动作和最终状态方面的表现。
成功率（Success Rate）：衡量任务是否成功完成。
搜索效率（Search Efficiency）：评估任务效率，步骤越多效率越低。
任务完整性（Task Completeness）：计算预测动作中属于关键动作的比例。
模拟器实验：Embodied-Reasoner 展现出自发的思考行为，例如分析环境状态、反思遗漏细节、基于最新观察进行推理以及回忆线索进行高效规划。相比之下，缺乏思考能力的通用 VLM 在长时域交互任务中表现不佳，容易忘记任务或重复搜索。
真实世界实验：在真实环境中，Embodied-Reasoner 能够排除干扰，最终找到目标物体并完成任务，而 OpenAI 的 o3-mini 模型则无法制定合理计划。
1. 安装依赖：
condacreate-nllama-factorypython=3.11condaactivatellama-factorygitclone-bembodied-reasonerhttps://github.com/iGangao/LLaMA-Factory.gitcdLLaMA-Factorypipinstall-e".[torch,metrics]"pipinstallwandbacceleratedeepspeedimportlib-metadata2. 数据准备：参考 data/README.md 文件了解数据集文件的格式。
3. 运行训练脚本：运行训练脚本。
1. 安装依赖：
condacreate-nembodied-reasonerpython=3.9condaactivateembodied-reasonerpipinstall-rrequirements.txt2. 运行评估脚本：运行评估脚本。
TaskGenerate.py：合成任务模板和对应的关键动作。
o1StyleGenerate.py和 o1StyleGenerate_ordered.py：分别为 10 种不同子任务类型合成轨迹，后者用于合成更复杂的顺序对象转移任务。
GitHub项目主页：https://github.com/zwq2018/embodied_reasoner
Hugging Face 数据集：https://huggingface.co/datasets/embodied_reasoner
Arxiv 论文：https://arxiv.org/abs/2503.21696
相关攻略 更多
最新资讯 更多
AI眼镜 “百镜大战” 打响！小小米眼镜官方微博上线引发市场热潮，产业链有望迎来快速发展期
更新时间：2025-04-19
新春第一课！自治区科协举办人工智能科普报告会
更新时间：2025-04-19
加速人工智能赛道布局！东莞市政府高规格召开新春第一场新闻发布会
更新时间：2025-04-19
东莞2025年“一号文”发布 聚焦“人工智能+先进制造”
更新时间：2025-04-19
马斯克：无人机和人工智能将主导未来战争 美国要加大投资
更新时间：2025-04-19
法国印度将联合主持AI行动峰会
更新时间：2025-04-19
法印将联合主持AI行动峰会，法媒：法欧希望借此峰会确立自身竞争地位
更新时间：2025-04-18
OpenAI前高管创立的AI公司据称洽谈融资 估值或达200亿美元
更新时间：2025-04-18
谷歌放弃 “不开发武器 AI” 承诺引争议，吴恩达表态支持
更新时间：2025-04-18
外交部：欢迎各国来华出席2025世界人工智能大会
更新时间：2025-04-18
