2024年8月8日，由三一重机小挖研究院副院长高乐博士团队与上海交通大学胡洁教授团队合作研究的，题为《E-GTN: Advanced Terrain Sensing Framework for Enhancing Intelligent Decision Making of Excavators》的论文正式发布。
论文介绍
面对复杂多变的挖掘环境，一项多模态大模型技术——E-GTN框架，由高乐博士团队与上海交通大学胡洁教授团队联合研发，为无人挖掘的现有挑战提供了一种理论的解决方案。
传统的无人挖掘技术依赖于专家经验和动态规划，但在效率和泛化性上存在局限。E-GTN框架通过地形特征提取和多模态融合技术，基于强化学习和大模型架构，显著提升了无人挖掘的决策能力和环境适应性。该框架包括地形信息处理、地形特征提取和决策三部分。
E-GTN框架集成了多模态融合技术，通过结合多种传感器数据，实现了对挖掘环境的高精度三维重建，为无人挖掘机提供了更为丰富和准确的地形信息。此外，研究团队提出了基于卷积网络的网格化挖掘环境感知技术，定制设计的模型GridNet能够提取显著的地形特征。
决策过程被建模为基于大模型的深度强化学习(DRL)算法用于挖掘任务。这项技术不仅能够实时响应环境变化，还具备智能决策能力，使得无人挖掘机在各种地形条件下都能做出高效、精准的挖掘操作。
E-GTN框架的推出，为挖掘行业的自动化和智能化发展提供了一种新的技术探索。随着大模型技术的不断成熟和应用范围的扩大，将带来更加精准、安全和高效的无人作业方式。
