一、非学习方法

二、学习方法

随着深度学习的发展，基于学习的点云配准方法得到广泛研究和深入发展。基于学习的点云配准方法大量借鉴了非学习的点云配准方法 的思想和深度学习方法在处理其他问题中的思想。

将深度学习用于点云是一个具有挑战性的问题，因为点云是非结构化的，点之间的关系不是明确的，点的分布密度也可能各不相同。

在点云上进行学习的方法分为3类，即基于体素的方法、基于多视图的方法和基于原始数据的方法。

基于体素的方法

基于体素的方法将点云转换为结构化的3D体素结构，并将其与3D卷积核进行卷积，用类似图像深度学习的方法卷积、池化和连接层进行学习（Maturana和Scherer，2015；Meng等，2019；Zhou和Tuzel，2018）。

缺点：尽管基于体素的方法表现出良好的性能，但由于大多数体素中都没有或者只有少量的点，这样的稀疏性会导致很高的无效内存消耗和计算量，从而导致无法将点云进行更加细致的体素划分。

基于多视图的方法

基于多视图，将3维非结构化的点云通过在多个方向上的投影转换为2维结构化的图像的集合，然后对其用图像深度学习方法处理并整合（Qi等，2016；Su等，2015；Kanezaki等，2018）。

不同于基于体素的方法，基于多视图的方法可以进行更加细致的划分，数据量不会太大即可包含丰富的纹理信息。多视图方法的限制在于视点的选择和不同视点的整合比较困难。

基于原始数据的方法

在点云上学习目前最流行、应用最广泛的方法是基于原始数据的方法。其中，PointNet是最为经典的一种基于原始数据的点云学习方法（Charles等，2017）。为了能够直接在点云上进行学习，引入可学习参数并且参数由每一层中的所有点共享的多层感知器（muti-layerperception，MLP）和为了使其输出与输入顺序无关的对称函数。在PointNet中，MLP层将点特征从3维转换为1024维，将maxpooling函数作为对称函数，获得与输入顺序无关的全局1024维特征。PointNet取得了很好的性能，结构图如图1所示。但是PointNet得到的是一个全局特征，而无法捕获本地特征，一些情况下其鲁棒性会下降。为此，研究者提出了许多能够捕获本地特征的方法。

Qi等人（2017）扩展了PointNet，提出了PointNet++，在局部区域分层应用PointNet，以适应性地组合来自多个尺度的特征，提供了本地特征。Wang等人（2019）提出DGCNN（dynamic graph convolutional nerual network），使用EdgeConv网络模块提取点云局部邻域的特征，可以通过堆叠EdgeConv模块获得更高层次的特征，所以能够提取到表示很大范围的特征，取得了很好的效果。

1.1 学习方法优势

① 相同配准性能下，计算速度更快，能学习到更高级的特征，从而达到更高的鲁棒性。

1.2 学习方法的分类

① 部分学习的方法：配准方法的结构是将非学习方法的一部分组件替换为基于学习的网络。

部分学习的方法优势在于灵活性，可以容易地用于其他点云任务如点云分类、分割和检测，也能够将其他任务中用到的网络直接用于点云的配准，这样比较简单的网络在一些应用中也更容易部署。

② 端到端的学习方法：配准方法的结构是完全由网络组成。

端到端重构旨在将输入数据直接映射到输出重构，绕过任何中间表示或特征。例如，在从图像进行的3D重建中，端到端重建将涉及使用深度神经网络将输入RGB图像直接映射到3D点云或网格，而无需首先从图像中提取任何中间特征。类似地，在语音或音频重建中，端到端方法将涉及直接将原始音频信号映射到重建的语音或音频输出，而不需要任何中间处理步骤，例如特征提取、去噪或压缩。

参考：

2022. 三维点云配准方法研究进展. 中国图象图形学报, 27(2): 349-367.

基于学习的点云配准方法