双目相机技术是计算机视觉领域中的重要组成部分，它主要用于实现三维空间信息的获取。通过同时拍摄同一场景的两幅图像，双目相机可以计算出物体的深度信息，从而实现三维重建和点云恢复。本教程将围绕双目相机的标定、校正、点位恢复、视差图和深度图的生成以及点云构建等方面进行详细阐述。 **一、双目相机标定** 双目相机标定是获取其内参和外参的过程，以便精确地将二维图像坐标转换为三维空间坐标。内参包括焦距、主点坐标等，外参则涉及相机间的相对位置和姿态。常用的标定方法是使用棋盘格图案，通过对多个不同角度拍摄的图像进行处理，求解相机参数。OpenCV库提供了便捷的相机标定工具，可以简化这一过程。 **二、相机校正** 校正主要针对镜头畸变，包括径向畸变和切向畸变。双目相机的每只“眼睛”都需要单独进行校正，以确保图像的准确性。校正过程通常通过多项式模型来拟合畸变，并生成校正后的图像。这一步对于后续的特征匹配和深度计算至关重要。 **三、点位恢复** 点位恢复是指从双目图像中提取特征点，并计算它们在三维空间中的坐标。需要对两幅图像进行特征检测（如SIFT、SURF或ORB），然后进行特征匹配。匹配的特征点对可用于三角测量，通过最小化重投影误差来求解每个匹配点的三维坐标。这一步涉及几何三角法，是双目视觉的核心算法。 **四、视差图与深度图** 视差图是双目视觉中计算出来的关键结果，表示对应像素在两幅图像间的水平偏移，而深度图则反映了每个像素对应的物体距离。视差图可以通过立体匹配算法得到，如半全局匹配（Semi-Global Matching，SGM）或基于成本聚合的方法。视差图与相机的内参和外参结合，可以进一步转化为深度图。 **五、点云恢复** 有了深度图，我们就可以通过反投影将图像像素转换为三维空间中的点，从而得到点云。点云是三维重建的基础，可以用于各种应用，如3D建模、环境扫描和避障导航。点云数据可以使用PCL（Point Cloud Library）等库进行处理，包括滤波、分割、表面重建等操作。 **六、实际应用** 双目相机技术广泛应用于机器人导航、自动驾驶、无人机、增强现实等领域。例如，在自动驾驶中，双目视觉可以帮助车辆识别前方障碍物的距离和形状；在无人机避障中，通过实时的点云重建可以判断飞行路径的安全性。 双目相机技术涉及多个环节，从标定、校正到点云恢复，每一个步骤都是至关重要的。通过深入理解和实践，我们可以有效地利用双目相机获取三维世界的信息，为实际应用提供强大的技术支持。如果你对这部分代码有所优化，欢迎分享，共同推进计算机视觉的发展。

资源中主要是两个ppt：相机成像原理和视差图、uv视差图，另外含有计算uv视差的代码。因为ppt里涉及到一些图和动画，本人不是ppt高手，做的很辛苦，所以象征性地收1个资源分~

根据左右相机拍摄的图片，先进行单目标定，再进行双目标定，之后通过立体校正和立体匹配得到视差图，计算深度

关于立体匹配的算法，配有测试的图片，通过插值的方法获得比较稠密的视差效果。

请引用这些论文： [1] S. Mukherjee和R. Guddeti，“使用加速框架在立体图像中基于深度的选择性模糊”，Springer-Verlag杂志“ 3D研究”，第1卷。 5，没有。 2014 年 3 月。 [2] S. Mukherjee 和 R. Guddeti，“基于立体视觉的稀疏视差估计的视差计算混合算法”，IEEE 第 10 届信号处理和通信国际会议 (SPCOM)，2014 年 7 月。 我的算法采用了一种快速的混合方法（基于块和区域的混合）从校正后的立体图像对进行立体视差估计。 对于来自 Middlebury 立体视觉数据集的三个标准基准图像（Tsukuba、Sawtooth 和 Venus），其错误率分别低至 7.8%、5.3% 和 4.7%，尺寸分别为 384x288、434x380 和 434x383 像素。 该算法在具有 Intel i7-2600 CPU

计算机立体视觉是从数字图像中提取 3D 信息。 在传统的立体视觉中，使用两个水平位移的相机以类似于人类视觉的方式获得场景的两个不同视图。 通过比较这两个图像，可以以视差的形式获得相对深度信息map，它对相应图像点的水平坐标差异进行编码。 该视差图中的值与相应像素位置的场景深度成反比。

立体匹配的标准图及其视差图sawtooth

标准图及其视差图poster

Kolmogorov and Zabih’s graph cuts stereo matching algorithm by Vladimir Kolmogorov and Pascal Monasse This software is linked to the IPOL article [1], which gives a detailed description of the algorithm.

内容我看了还行，大家分享一下吧，有的地方可能要该一下