M:为何Sim2Real AI是实现3D视觉大模型和通往垂直场景AGI高效且低成本的重要技术?
J:跨维智能Sim2Real AI云中台DexVerse所使用的AI技术,相比起基础的图像理解,是跨维度的难度跃升。首先三维数据的获取本身相比二维数据就难得多,工业场景中的三维数据由于开放多变的场景及隐私保护导致海量真实数据采集难上加难,而且针对各种corner cases的真实数据难以有效获取。其次是现阶段的AI技术从数据获取到AI模型训练,再到垂直的应用场景,这之间由于技术与应用的分离,导致模型的应用效果不太理想。在工业领域众多场景里,就会形成数据孤岛,从数据与知识上难以互通利用。最后是现有AI技术的标注难题,如何实现高精度3D等高维标注仍然属于痛点难题。
基于现有AI所面临的难题成就了跨维智能的核心产品Sim2Real AI云中台DexVerse,通过物理仿真合成数据,可以实现加速AI在垂直场景中的落地应用。DexVerse对于跨维自身产品的形成也是决定性的,可以以更快速、更低成本、更产品化的方式解决3D视觉助力机械臂的非标定制问题。
M:可以简单介绍一下跨维智能的系列产品吗?
J:基于自研的Sim2Real AI云中台DexVerse,跨维智能构建了完善的智能制造软硬件产品生态,也就是跨维智能的“1+3”产品体系。“1”是自研的Sim2Real AI云中台DexVerse,“3”即DexVision3D工业视觉软件、DexSense3D工业智能相机、DexOne智能视觉一体化设备。
基于DexVerse所构建的DexVision3D工业视觉软件:PickWiz 3D视觉引导软件,可以在仿真空间模拟多样化场景,并生成大量的合成数据。这样的工业视觉软件可应用的场景更多样化,不仅减少了模型重复搭建的成本,而且最终识别效果优于真实数据,并且模拟的多样化场景也使视觉系统的稳定性和效率大幅提升。
DexSense 3D工业智能相机:XEMA北极鸥系列开源相机,它可以支持一键连接跨维 PickWiz 3D视觉引导软件的,搭载上DexVerse云平台,可实时收集真实数据,不断在云端优化视觉算法。如果DexVerse云平台是大脑,那么DexSense 3D工业智能相机就是眼睛,好的成像能力可以减轻大脑的负载压力,这也是跨维智能自研相机的初衷。
最后,DexOne 智能视觉一体化设备,是跨维智能布局引领智能智造领域范式改变的重要一步。该设备也是基于自研的 DexVerse 平台,通过深度域适应优化算法实现整个流程的自动化,针对工业场景中的痛点进行模型设计,满足工业现场落地需求。以3D视觉引导机械臂对物料进行上下料抓取,搬运,替代传统人工作业抓取搬运,有效提高产线的生产效率和生产质量,产能提高20%以上;同时,该项目机器人为模块化架构,针对未来不同的产品工艺,具有更高兼容性,可触及更多更广的生产范围,以满足客户日益增长的柔性化需求。
M: 作为公司自研的Sim2Real AI云中台DexVerse,您可以谈谈未来公司基于DexVerse的产品研发规划吗?
J:基于我们自研的Sim2Real AI云中台DexVerse所能够支撑的,其实不单是机械臂、智能制造相关的应用,更是服务泛机器人底层AI能力形成的加速器。无论是帮助具身智能去感知3D定位,还是去帮助无人车做导航和物体识别,它都是一款非常不错的AI能力平台,3D合成数据还有机会赋能3D AIGC、AI生物制药、AI新材料等更广泛的领域。
M:自公司成立以来,贵司一直致力于推动3D视觉引导机械臂柔性操作领域的普及化应用,请问在这个方向上取得了哪些成果?
J:“3D视觉+智能相机+机械臂”是未来自动化新型应用重要的载体。目前,在国内自动化产线智能制造的升级过程中,这样的新型应用载体随处可见。基于市场需求,我们在产品研发和应用探索上也一直走在行业的前沿,迄今为止,我们已经取得了很大的进展,比如在3D视觉解决方案产品迭代方面,我们推出了四大解决方案,包含:3D视觉引导浅框无序抓取、3D视觉引导单目标精定位、3D视觉引导工件上下料、3D视觉引导拆垛解决方案等; 在应用场景探索落地方面,我们也跟诸如汽车零部件、工程机械、家电、光伏新能源和物流等行业内的众多头部集成商客户成功落地了多种应用场景,实现了行业应用从0到1的突破。
M:在未来几年内,您对那些应用行业比较看好?
J:机器视觉对于提高工业机器人的灵活性和可操作性具有重要意义,在大批量工业生产过程中,3D视觉助力机器人实现更多高精度动作,拓宽其应用场景,也大大提高了生产效率和柔性化程度。目前来说,物流、金属加工和汽车零部件等行业,已经成为开始规模化应用3D机器视觉的几个主要应用市场,另外,家电、医疗、光伏新能源等多个更大体量的市场也在启动机器视觉对于自动化产线的升级改造。未来,更大的市场机会也将来自于上述工业市场的商业类应用。