基础概念

3D传感摄像头/深度相机

通过不同原理（主流：结构光、iToF、双目）进行测量，通过处理这些测量值可以生成深度图。 深度图是图像每个像素的一组 Z 坐标值，单位为毫米。

陀螺仪和加速度传感器（IMU）

测量物体三轴姿态角及加速度的装置，一般包括三轴陀螺仪及三轴加速度计。

坐标系

2D坐标系

深度相机和彩色相机与单独的 2D 坐标系相关联。 [x,y] 坐标以像素为单位，其中，x 的范围为 0 到宽度-1，y 的范围为 0 到高度-1。 宽度和高度取决于所选的深度相机和彩色相机工作模式。像素坐标 [0,0] 对应于图像的左上角像素。

相机内参

相机的数据流的二维和三维坐标系之间的关系是由其内在的相机参数描述的。每种设备的都不同，图像可以是任意大小的–宽度和高度字段描述图像中行和列的数目。基本描述如下： 1、图像的视场分别可以改变fx和fy字段描述图像的焦距，是像素宽度和高度的倍数，图像的像素不一定是正方形的，fx和fy允许不同(虽然它们通常是相近的)。 2、描述了主点(投影中心)的像素坐标

相机外参

在一般情况下，不同相机的数据流的三维坐标系是不同的。例如，由一个或多个红外相机产生的深度数据流，而彩色流则由单独的彩色相机提供。不同数据流的三维坐标系之间的关系用它们的外部参数来描述。基本的描述如下： 1、相机可能位于不同的位置，但固定在同一物理装置上。位移字段描述相机物理位置之间的三维位移转换 [x,y,z]，以米为单位。 2、相机可能有不同的方向，但固定在同一物理装置上。旋转字段包含一个3x3正交旋转矩阵，描述相机之间的物理方向。

畸变模型

透镜的畸变主要分为径向畸变和切向畸变。 径向畸变：是由于透镜形状的制造工艺导致，且越向透镜边缘移动径向畸变越严重，实际情况中我们常用r=0处的泰勒级数展开的前几项来近似描述径向畸变 切向畸变：是由于透镜和CMOS或者CCD的安装位置误差导致，切向畸变需要两个额外的畸变参数来描述。 径向畸变后和切向畸变后的归一化坐标，整理后共需要5个畸变参数。

点云

从深度图像生成的点云是深度流的三维坐标系中的一组点。也可以从深度和彩色创建点云和相应的纹理映射点云。

帧对齐

通常在处理彩色和深度图像时，需要将每个像素从一个图像映射到另一个图像。要做到图像对齐，就生成一组具有相同分辨率的帧，并且经过处理达到可以简单地映射像素。 我们的对齐方式分为硬件对齐和软件对齐，一般而言，硬件对齐性能上会高于软件对齐。

帧同步

不同的数据流，因为数据采集不同步、系统处理等原因，会造成数据帧不同步。通过帧数据的时间戳及相应的数据处理，可以尽可能保证两类不同的数据之间的时间差值在一定可控范围，这就是帧同步功能。但需要注意的是，系统往往无法保证严格的帧同步，即两帧之间的时间差值为0。