一只眼睛看到的未必是真实的?揭秘深度相机

想象一下,如果我们是机器人,需要挪动物件,我们先模拟机器人的手:将物件对准固定槽——很容易就挪动到位并对准了。

图片来源:自己做的
这时候我们稍微转动一下视角,却发现——诶?实际还差得远呢?!

图片来源:自己做的
难道我的眼睛,欺骗了我的大脑?
造成这种现象的原因在于,图片和视频本质上是三维世界在平面上的投影,其成像原理类似于人类用一只眼睛去观察世界。
好好的一只眼睛,怎么就看不明白了呢?
这种视觉差的根源,在于单眼视觉的局限性——仅靠一只眼睛,我们的大脑只能获取物体的二维平面信息,无法精准判断目标的距离与深度,从而导致判断失误(你可以闭上一只眼睛去感受一下)。这就好比用一张平面照片去揣测空间的真实维度,必然会产生偏差。

“道理我都懂,但是为什么鸽子这么大呀”,图片来源网络
然而,当我们用双眼观察世界时,情况却截然不同。人类之所以拥有两只眼睛,其中藏着两大精妙设计:一是拓宽视野边界,看得更广更远;二是搭建天然的 “3D成像系统” 。
我们用双眼看东西,就像同时用两台小相机拍照。左眼和右眼位置不同,拍到的画面会有一点点错位,这就是 “视差”。
可能你还没学过三角测量原理,大脑就已经能通过计算这两幅图像中相同特征点的位置差异,结合眼球间距(基线距离)和焦距等参数,从而精确得出物体的深度信息。
这种与生俱来的 “双目立体视觉” 能力,让我们能够在现实的三维空间中自由行动,准确判断物体的远近、大小和位置关系。比如,在生活中稳稳拿起水杯、顺利走下楼梯、将钥匙插入锁孔,都是双眼 “3D成像” 功能的功劳。

图片来源网络
没有人类眼睛的机器人,实际工作中是怎么搞对位置的?
受人类视觉系统启发,工程师们研发出了双目深度相机。
双目相机(Stereo Camera)
它使用两个在水平方向上相隔一定距离的摄像头,就像我们的双眼一样,从两个略微不同的视角同时拍摄图像。
然后,通过计算机视觉算法在两幅图像中寻找同一个物理点在两幅图像上的对应位置(像素坐标),实现像素点的匹配。

在两幅图像中寻找同一个物理点在两幅图像上的对应位置,图片来源网络
对于匹配成功的点,计算其在左右图像中位置的水平像素差(视差)。
再基于三角测量原理,结合已知的基线距离、摄像头焦距及视差值,就能确定该点到相机平面的实际深度。

《机器人总动员》中,有两只“眼睛”的瓦力,图片来源网络
然而,双目深度相机在实际应用中面临诸多挑战:
光照变化和纹理相似的场景会干扰视差匹配的准确性,纹理缺失(如白墙)、重复纹理(如瓷砖)、弱纹理(如光滑表面)或无纹理区域;
遇到遮挡区域(一个摄像头能看到,另一个看不到),很难找到准确可靠的对应点匹配;
对硬件校准精度要求极高,微小的安装误差都会导致深度计算偏差。
为了克服这些难题,其他类型的深度相机应运而生。其中,主流的技术方法有两大类:结构光法和飞行时间法。
结构光法(Structured Light)
这类相机会向物体投射肉眼看不见的红外光图案(比如网格或散斑),就像用光笔在物体表面画满小格子。当这些格子碰到凹凸不平的物体时会发生变形,相机通过分析变形程度来反推物体的立体形状。

基于结构光相机生成的点云图,图片来源:自己做的
结构光技术的优势在于响应速度快,但有效测量距离有限,通常适用于短距离场景,如扫地机器人导航、手机人脸识别,苹果的FaceID就是靠这个技术。
不过大太阳下它会“眼花”,因为强光会干扰红外图案。
飞行时间法(Time of Flight,ToF)
这类相机配备脉冲光发射器和接收器,发射器会向探测目标发射一束光线(例如红外光信号),接收器再记录光打到物体再弹回的时间。通过计算光信号从发射到接收的时间差,结合光速,因此精密计时就能直接算出距离。
飞行时间技术测量速度快,抗干扰能力强,可实现远距离、实时的深度测量,广泛应用于自动驾驶、工业检测等领域。
但是,这类相机在镜面物体时会出错,因为光可能像台球一样经过多次反弹才回来,导致测距出错。

无人驾驶汽车广泛应用ToF深度相机,图片来源:AI生成
深度相机的出现,就像为机器人赋予了双眼,为机器人发展带来了质的飞跃。深度相机赋予了机器人感知三维环境的能力,让机器人通过捕捉环境深度信息,能够识别障碍物、规划避障路线。
如今,我们可以看到:机器狗自如穿梭于复杂的室内外空间,自动送餐机器人和扫地机器人遇到障碍就会自动绕开,工业机械臂一把抓起形状复杂的零件并准确拼装……

精准识别障碍物的机器人,图片来源网络
相信随着技术的不断精进,深度相机不仅将持续拓宽机器人的 “视野”,更会成为连接虚拟与现实的桥梁,让机器人真正 “看懂” 世界。
撰稿:臧玉嘉 季华实验室X研究部
赵令铵 季华实验室知识产权处


