极客号（Daydx.com）12月4日 消息:纽约大学和meta的研究团队最近推出了一款名为Dobb-E的开源机器人学习框架，旨在解决家庭环境中机器人操作学习的挑战。这一高度适应性的系统通过从用户演示中学习和适应，取得了显著的成功，其在陌生家庭环境中的成功率达到了81%。
研究团队强调了他们在家庭和第一人称机器人交互方面构建的独特数据集。通过充分利用iPhone的功能，该数据集提供了高质量的动作和稀有深度信息。相比于现有的自动化操作集中的表示模型，研究团队强调了面向通用表示的领域内预训练的重要性。为了进一步改进他们的研究，他们建议通过非机器人家庭视频的领域外信息来扩充他们的数据集。
研究团队提到了在创建全面的家庭助手方面的挑战，倡导从受控环境转向真实家庭。为了实现效率、安全和用户舒适度，他们引入了Dobb-E作为体现这些原则的框架。Dobb-E利用大规模数据和现代机器学习实现效率，利用人类演示确保安全，还使用人体工学工具提高用户舒适度。该框架集成了围绕Hello Robot Stretch的硬件、模型和算法。他们还讨论了纽约家庭数据集，该数据集包含来自22个家庭的多样化演示，以及用于视觉模型的自监督学习技术。
研究采用了行为克隆框架，这是模仿学习的一个子集，用于训练Dobb-E模仿人类或专业代理的行为。通过设计的硬件设置，演示可以无缝收集并传输到机器人实体，利用多样化的家庭数据，包括iPhone测距。基础模型在这些数据上进行了预训练。在实际家庭中对训练过的模型进行测试，包括视觉表示、所需演示、深度感知、演示者专业知识以及系统中参数化策略的必要性的消融实验。
Dobb-E是一款在各种家庭环境中测试的经济高效且多功能的机器人操作系统，成功率令人印象深刻达到81%。该系统的软件堆栈、模型、数据和硬件设计由Dobb-E团队慷慨地开源，以推动家庭机器人研究的发展，并促进机器人管家的广泛应用。Dobb-E的成功归功于其简单而强大的方法，包括行为克隆和用于动作预测的两层神经网络。实验还为照明条件和阴影影响任务执行的挑战提供了见解。
项目网址:https://dobb-e.com/
论文网址:https://arxiv.org/abs/2311.16098
声明：本文内容整理自网络，观点仅代表原作者本人，投稿号仅提供信息发布服务。如有侵权，请联系管理员。
