自动驾驶：大模型AI对感知和标注的改造

强化感知：空间-时序维度，多模态数据融合

在2021 TESLA AI DAY将引入Transformer进行大规模的无监督学习。2022年后国内公司跟进。

特斯拉从安装在汽车周围的八个摄像头的视频中用传统的ResNet提取图像特征，并使用Transformer、CNN、3D卷积中 的一种或者多种组合完成跨时间的图像融合，实现基于2D图像形成具有3D信息输出。

毫末智行的AI团队正在逐步将基于Transformer的感知算法应用到实际的道路感知问题，如车道线检测、障碍物检测、可 行驶区域分割、红绿灯检测&识别、道路交通标志检测、点云检测&分割等。

数据标注升级：大模型无标注自监督学习

先统一所有感知任务的backbone，再使用以无标注数据为主的数据，对大模型进行预训练，使大模型获得能够使用无标注 数据训练的能力。这里同样使用了大模型并行计算的能力。

来源：申万宏源

报告内容节选如下：