CVPR2022与点云相关的论文速读(一)
很想大概看一下与点云相关的基础性论文,去年都做了一些怎样工作。
这个系列的文章不对论文做精读,大概过一遍,知道论文的使用场景,创新点是什么?基本作用是什么?
后续如有必要,再详细分析某个创新点的原理和实现过程。
精读虽然更够了解的更详细,但是精读太考验能力和精力了,先做一遍粗读。
先看两篇用对抗思路来改进点云分析能力的论文
用形状不变的攻击算法改进点云分类器
形状不变的点云对抗算法:Shape-invariant 3D Adversarial Point Clouds
huang qigong
中科大,微软,西菲大
研究内容:
如何给点云添加噪声,使点云的识别分析模型失效。此类问题的研究可以反过来帮助点云分析模型找到自身弱点,从而弥补弱点。
创新点:
点云敏感图:Point-Cloud sensitivity Map
效果:
不仅提升了效率,而且使攻击扰动更加不可擦觉,更加有效。
粗读:
用形状不变的噪声去攻击识别模型,就可以看到识别模型所重点依赖的那些点,从而揭露识别模型的弱点,方便我们攻击。
这个形状不变的噪声,不再使用距离函数来约束,而是用沿着形状表面的一个确定的约束。具体的:
- 先对每一个点云点降维,具体使用一个可逆的坐标变换
- 然后获取每个点的最佳攻击方向,用白盒模型攻击测试得到。
- 最后给每个点一个非负的得分,表示形状敏感度。
这样,我们就得到所有点的形状敏感度,也就得到了点云敏感图,Point Cloud sensitivity Map。
下面是我们对几个模型进行分析,得到的点云敏感图:
采用点云敏感图的攻击办法如下算法1所示:
公式8是一个可逆的降维变换:
算法1中为了给当前点云点添加噪声,先把点降维,然后按照形状不变,但对识别结果比较敏感的方向去变化降维后的点,最后再把维度生回去。
注意到,算法1里,用了两次公式8,这两次,第一次降低维度是为了添加噪声信息,第二次升维,是为了得到最终的添加了噪声的点云点。这个点就可以用来迷惑识别模型。
用公式10可得到:对识别结果最敏感的方向
用公示13得到敏感图
论文:
https://arxiv.org/abs/2203.04041
代码:
https://github.com/shikiw/SI-Adv
用对抗旋转方法改进点云分类器
ART-Point: Improving Rotation Robustness of Point Cloud Classifiers via Adversarial Rotation
Wang robin
北大,京东
研究内容
:如何减少点云的旋转对分类结果的影响
创新点:
用预训练的模型找到分类模型在旋转上的弱点,然后生成新点云作为数据,去训练模型。附带给出了一个高效的训练办法。
效果:
粗读:
先利用已知模型目标函数对角度的变化率,来等效的找到模型在哪些角度上分类容易错,利用这个角度,生成新的点云去参与训练。此时训练容易发生过拟合,我们提出了旋转池化层和一次优化算法
算法1:生成攻击点云作为训练数据:
算法中,公式4计算出原模型的损失函数对旋转角度的梯度:
然后公示5:找到绕3个轴x,y,z中的哪个轴旋转,才能最大程度使模型分类错误。
之后公式7,对点云按照公式5的结果进行旋转,生成新攻击数据,即训练数据。
生成数据后,随后的训练采用了如下图所示的Rotation Pool和One Step方法:
论文:
https://arxiv.org/abs/2203.03888