流量传感器集成已经成为自动驾驶感知模块中的标配，但这里的集成有不同的层次，可以是硬件层(如何塞的产品Innovusion)、数据层(此处讨论的范围)、任务层如障碍物检测、车道检测、分割与跟踪(车道检测)。
有些流量传感器很难在底层ronhe，比如相机或者激光雷达和毫米波雷达之间，因为毫米波雷达的目标分辨率很低(无法确定目标的大小和轮廓)，但是可以在高层探索ronhe，比如目标速度估计，跟踪弹道等等。
本文主要介绍激光雷达和相机的数据ronhe。实际上是激光雷达点云投影在相机像平面上形成的深度和图像的估计深度的结合。理论上，估计的图像深度可以投影回三维空间，形成激光雷达和点云之间的点云ronhe，但很少有人使用它。原因是深度图的误差在三维空间中会被放大。此外，三维空间的点云分析方法还不像图像的深度图那样成熟。毕竟2.5-D还是有很长的研究历史的，比如之前的RGB-D流量传感器，Kinect或者RealSense。
这种ronhe的思路非常清晰:一面像流量传感器成本低，分辨率高(可以轻松达到2k-4k)；另一方面，激光雷达成本高，分辨率低，深度探测距离短。而激光雷达点云测距精度很高，测距远大于红外/TOF深度传感器，对室外环境的抗干扰能力很强。同时作为被动视觉系统的主流量传感器，深度估计精度差，更麻烦的是稳定性和鲁棒性差。那么，我们是否可以将激光雷达的稀疏深度数据和密集的图像深度数据结合起来，形成一个互补的数据呢？
此外，如何将稀疏的深度图上采样变得密集也是一个正在进行的研究课题，比如基于图像的深度上采样。此外，当激光雷达获得的点云投影到相机的像面上时，会发现物体表面存在一些不反射激光的“黑洞”，在远处的街道或天空区域基本没有数据显示，这就涉及到另一个研究课题，基于图像的深度绘画/完成。
要解决这个问题，前提是完成了激光雷达和相机的标定和同步，这样激光雷达的点云就可以标定投影到相机上的像面，形成相对稀疏的深度图。
我们分析的顺序还是先传统方法，再深度学习方法。zui近后一种方法的文章从2017年开始逐渐增多。作者于2017年开始这项工作，我很荣幸地发现，当时发表的学术论文与我自己的方向非常接近，并且作者在这些论文公开之前已经申请了几项专利。