大模型横空出世,自动驾驶算法有望迎来奇点感知:BEV+Transformer 横空出世,大模型推动自动驾驶迈向“平民化”2021 年特斯拉第一次推出BEV+transformer 算法架构,用神经网络将多个 2D 的图像和传感器信息综合成为三维的向量空间方便下游规控模块处理,开启了自动驾驶新时代。
该算法优势显著:
(1)解决 2D 图像转换成 3D 空间深度预测难点,感知性能提升。
(2)完美实现多摄像头、多传感器信息融合。
(3)更易融入时序信息,让模型拥有“记忆”。
(4)拥有实时建图能力,摆脱对高精度地图的依赖规控:算法由基于规则迈向基于神经网,大模型开始崭露头角规划控制算法中,目前行业仍以基于规则的方式为主,但泛化性不足仍面临诸多长尾问题,同时不断“打补丁”完善算法会导致最终代码量庞大且难以维护。领军公司已开始将大模型引入其中,进而拥有更强的泛化能力和更好的驾乘体验。
端到端(感知决策一体化):大模型为自动驾驶彻底实现带来希望感知、预测、规划、控制组合模块化部署模式,一方面,容易累计误差,另一方面,不同模块之间全局优化存在困难,因此端到端感知决策一体化算法成为自动驾驶行业共识的目标。英伟达、Uber、Wayve 等公司进行了诸多探索。
数据:大模型推动数据闭环和仿真落地数据闭环通常包含数据采集、挖掘、数据标注等环节,如何实现自动化运行同时降本增效是关键。目前行业推动大模型助力数据挖掘和自动标注,将加速产业成熟。仿真方面,逼真的仿真环境可替代实车数据的采集,是减少 Cornercase 的有效手段,大模型亦帮助实现自动化的场景生成等,完美提升模型自我迭代能力。
该算法优势显著:
(1)解决 2D 图像转换成 3D 空间深度预测难点,感知性能提升。
(2)完美实现多摄像头、多传感器信息融合。
(3)更易融入时序信息,让模型拥有“记忆”。
(4)拥有实时建图能力,摆脱对高精度地图的依赖规控:算法由基于规则迈向基于神经网,大模型开始崭露头角规划控制算法中,目前行业仍以基于规则的方式为主,但泛化性不足仍面临诸多长尾问题,同时不断“打补丁”完善算法会导致最终代码量庞大且难以维护。领军公司已开始将大模型引入其中,进而拥有更强的泛化能力和更好的驾乘体验。
端到端(感知决策一体化):大模型为自动驾驶彻底实现带来希望感知、预测、规划、控制组合模块化部署模式,一方面,容易累计误差,另一方面,不同模块之间全局优化存在困难,因此端到端感知决策一体化算法成为自动驾驶行业共识的目标。英伟达、Uber、Wayve 等公司进行了诸多探索。
数据:大模型推动数据闭环和仿真落地数据闭环通常包含数据采集、挖掘、数据标注等环节,如何实现自动化运行同时降本增效是关键。目前行业推动大模型助力数据挖掘和自动标注,将加速产业成熟。仿真方面,逼真的仿真环境可替代实车数据的采集,是减少 Cornercase 的有效手段,大模型亦帮助实现自动化的场景生成等,完美提升模型自我迭代能力。