一种静态权重引导的深度神经网络后门检测方法及系统

1.本发明属于人工智能和网络安全领域，涉及一种深度神经网络后门检测方法，具体涉及一种静态权重引导的深度神经网络后门检测方法。


背景技术：

2.近年来，深度神经网络在诸多领域取得了不错的表现，例如计算机视觉、恶意软件检测、自动驾驶等。由于构建和部署表现良好的神经网络模型需要大量的专家知识和计算开销，用户一般选择外包云计算或者下载预训练模型。
3.然而，现有研究已经证明神经网络很容易受到后门攻击，这导致从第三方获取的预训练模型可能存在严重的安全风险。在后门攻击中，攻击者定义一个后门触发器，并指定攻击的目标标签和受害标签。受害标签可能是除目标标签外的所有标签，也可能是攻击者特定的几个标签。攻击者在训练过程中为来自受害标签的数据加上触发器，并标记为目标标签，向模型植入后门。用户使用时，含后门的模型对于干净输入仍能正确分类，然而一旦受害标签的输入中含有攻击者定义的触发器，就会被分到攻击者指定的后门攻击目标标签。
4.对神经网络后门攻击的防御一直是研究热点。给定一个预训练模型，防御者需要判断模型中是否含有恶意的后门。防御者通常不能获取攻击者使用的训练集和触发器的样式，只拥有一小部分用于验证模型功能的干净样本。后门检测的主要困难在于识别攻击者指定的目标-受害标签对，并恢复触发器的样式。
5.传统检测方法通常是盲目尝试所有的标签对、或者给定一些干净输入样本进行标签预选，然后针对每组标签对通过逆向工程恢复触发器样式。另外，传统方法大多假设检测的后门触发器类型为像素补丁类型，而另一种使用基于图像变换的滤镜型触发器也是常见且容易实施的后门攻击类型。由于为每个标签对逆向工程计算开销大、输入样本质量和触发器类型存在不确定性，传统方法通常面临计算复杂度高、精度不稳定和缺乏可扩展性的问题。


技术实现要素：

6.本发明为了提高深度学习神经网络模型后门检测的效率、准确率和可扩展性，提供了一种静态权重引导的深度神经网络后门检测方法及系统，输入为一个待检测的深度神经网络模型，和一小部分用于验证模型功能的干净图像样本，输出为该神经网络模型是否含后门，如果含有后门，输出后门攻击的目标标签，受害标签，以及触发器的样式。
7.本发明的方法所采用的技术方案是：一种静态权重引导的深度神经网络后门检测方法，包括以下步骤：
8.步骤1：对深度神经网络进行静态权重分析，得到后门攻击的可疑目标标签和受害标签，组成目标-受害标签对；
9.步骤1的具体实现包括以下子步骤：
10.步骤1.1：提取深度神经网络最后一层与输出标签相连的所有权重，假设深度神经网络共有n个输出标签，将与每一个标签相连接的权重组织成向量，得到n个权重向量w1…
wn；
11.步骤1.2：对每一个权重向量，计算它和其他所有权重向量的差异度，将差异度由高到低排序，取差异度高的前kd个权重向量对应的目标标签集合d；对每一个权重向量，计算它包含所有权重的和，将权重和由高到低排序，取权重和高的前ks个权重向量对应的目标标签集合s；将d和s取并集得到最终的可疑目标标签集合t；
12.步骤1.3：将步骤1.2得到的最高差异度和次高差异度相减，所得到的差大于阈值θ，则认为受害标签是模型中的所有标签；否则，对t中的每一个可疑目标标签t，计算它和其他权重向量的相似度，将相似度由高到低排序，取相似度高的前kv个标签，作为可疑受害标签v
t
；
13.步骤1.4：将得到的可疑目标标签集合t和t中每一个目标标签t对应的受害标签v
t
，组成目标-受害标签对集合；
14.步骤2：利用步骤1得到的可疑目标标签和受害标签，和干净图像样本，进行触发器逆向工程，得到逆向触发器；
15.当所述触发器逆向工程为像素补丁型触发器逆向工程时，则判断得到的像素补丁型逆向触发器是否满足成功率和触发器大小预设条件，若满足预设条件，则执行下述步骤3；否则，输出检测结果为待检测深度神经网络不含有像素补丁型后门；
16.当所述触发器逆向工程为图像滤镜型触发器逆向工程时，则判断得到的图像滤镜型逆向触发器是否满足成功率预设条件，若满足预设条件，则输出检测结果为待检测深度神经网络含有图像滤镜型后门；否则，输出检测结果为待检测深度神经网络不含有图像滤镜型后门；
17.步骤3：分析步骤2得到的像素补丁型逆向触发器的形状属性，以及激活待检测深度神经网络内部神经元的分布，输出最终检测结果。
18.本发明的系统所采用的技术方案是：一种静态权重引导的深度神经网络后门检测系统，包括以下模块：
19.模块1，用于对深度神经网络进行静态权重分析，得到后门攻击的可疑目标标签和受害标签，组成目标-受害标签对；
20.模块1包括以下子模块：
21.模块1.1，用于提取深度神经网络最后一层与输出标签相连的所有权重，假设深度神经网络共有n个输出标签，将与每一个标签相连接的权重组织成向量，得到n个权重向量w1…
wn；
22.模块1.2，用于对每一个权重向量，计算它和其他所有权重向量的差异度，将差异度由高到低排序，取差异度高的前kd个权重向量对应的目标标签集合d；对每一个权重向量，计算它包含所有权重的和，将权重和由高到低排序，取权重和高的前ks个权重向量对应的目标标签集合s；将d和s取并集得到最终的可疑目标标签集合t；
23.模块1.3，用于将模块1.2得到的最高差异度和次高差异度相减，所得到的差大于阈值θ，则认为受害标签是模型中的所有标签；否则，对t中的每一个可疑目标标签t，计算它和其他权重向量的相似度，将相似度由高到低排序，取相似度高的前kv个标签，作为可疑受
害标签v
t
；
24.模块1.4，用于将得到的可疑目标标签集合t和t中每一个目标标签t对应的受害标签v
t
，组成目标-受害标签对集合；
25.模块2：用于利用模块1得到的可疑目标标签和受害标签，和干净图像样本，进行触发器逆向工程，得到逆向触发器；
26.当所述触发器逆向工程为像素补丁型触发器逆向工程时，则判断得到的像素补丁型逆向触发器是否满足成功率和触发器大小预设条件，若满足预设条件，则执行下述模块3；否则，输出检测结果为待检测深度神经网络不含有像素补丁型后门；
27.当所述触发器逆向工程为图像滤镜型触发器逆向工程时，则判断得到的图像滤镜型逆向触发器是否满足成功率预设条件，若满足预设条件，则输出检测结果为待检测深度神经网络含有图像滤镜型后门；否则，输出检测结果为待检测深度神经网络不含有图像滤镜型后门；
28.模块3，用于分析得到的像素补丁型触发器的形状属性，以及激活待检测深度神经网络内部神经元的分布，输出最终检测结果。
29.本发明的优点：
30.1.本发明创新性地采用静态权重分析来识别待检测模型中可疑的后门目标-受害标签对，能有效利用模型权重中的信息。对模型权重进行静态分析无需执行模型，计算复杂度低；无需输入样本，能有效克服输入样本数量、质量的影响，实现稳定的标签识别。而传统方法盲目尝试所有的目标-受害标签对，效率低，实际可用性差；或者给定一些干净输入样本进行标签预选，效果容易受到样本数量和质量的限制。
31.2.本发明利用静态权重分析不受触发器类型影响、可扩展性强的优点，在静态权重分析结果的引导下，对后门攻击触发器进行逆向工程，能检测和还原像素补丁类型触发器和图像滤镜类型触发器。而传统方法大多假设后门攻击使用像素补丁类型的触发器，难以扩展到图像滤镜类型触发器的检测和还原。
32.3.本发明对逆向工程得到的触发器进行形状属性分析和激活神经元分布分析，有效降低了误报率，使得所发明方法在有效检测含后门模型的同时保留正常的模型，实现高精度的深度神经网络模型后门检测。
附图说明
33.图1是本发明实施例的方法流程图。
34.图2是本发明实施例的静态权重分析流程图。
35.图3是本发明实施例的像素补丁型触发器逆向工程流程图。
36.图4是本发明实施例的图像滤镜型触发器逆向工程流程图。
37.图5是本发明实施例的像素补丁型触发器分析流程图。
具体实施方式
38.为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
39.传统检测方法通常是盲目尝试所有的目标-受害标签对、或者给定一些干净输入样本进行标签预选，然后针对每个标签对通过逆向工程恢复触发器样式。当需要尝试的标签对多、或者输入样本的质量差导致标签对选择不准确时，传统方法的效率、准确率会受到影响，并且传统方法大多只适用于像素补丁类型的触发器。
40.在训练过程中，神经网络通过更新权重参数来完成分类任务。对于训练完成的神经网络，权重参数是固定不变的，可以看作模型的一种静态属性。因为植入后门必须要篡改模型的权重参数，相比干净的模型，含后门的模型会不可避免地出现权重分布的异常，这种异常和触发器类型无关，可以用来识别攻击者指定的目标-受害标签对，从而引导后门检测过程，提高检测效率。
41.基于以上分析，本发明提出了一种静态权重分析引导的深度神经网络后门检测方法及系统。本发明致力于利用预训练神经网络中的权重分布异常来引导后门检测，发挥了静态权重分析计算开销小、不受输入样本质量影响、不受触发器类型影响的优势，研究和探索出了一种高效、稳定、可扩展的神经网络后门检测方法。
42.请见图1，本发明提供的一种静态权重引导的深度神经网络后门检测方法，包括以下步骤：
43.步骤1：对深度神经网络进行静态权重分析，得到后门攻击的可疑目标标签和受害标签，组成目标-受害标签对；
44.请见图2，本实施例中，步骤1的具体实现包括以下子步骤：
45.步骤1.1：提取深度神经网络最后一层与输出标签相连的所有权重，假设深度神经网络共有n个输出标签，将与每一个标签相连接的权重组织成向量，得到n个权重向量w1…
wn；
46.步骤1.2：对每一个权重向量，计算它和其他所有权重向量的差异度，将差异度由高到低排序，取差异度高的前kd个权重向量对应的目标标签集合d；对每一个权重向量，计算它包含所有权重的和，将权重和由高到低排序，取权重和高的前ks个权重向量对应的目标标签集合s；将d和s取并集得到最终的可疑目标标签集合t；
47.步骤1.3：为了识别受害标签，将步骤1.2得到的最高差异度和次高差异度相减，所得到的差大于阈值θ，则认为受害标签是模型中的所有标签；否则，对t中的每一个可疑目标标签t，计算它和其他权重向量的相似度，将相似度由高到低排序，取相似度高的前kv个标签，作为可疑受害标签v
t
；
48.步骤1.4：经过上面三步的处理，将得到的可疑目标标签集合t和t中每一个目标标签t对应的受害标签v
t
，组成目标-受害标签对集合；
49.在本实施例的实验过程中，取θ＝0.1，kd＝3，ks＝2，kv＝2(在具体实施时，也可由防御者视防御需求预设)，则集合d中包含元素个数为3，集合s中包含元素个数为2，集合t中包含元素个数为3-5。当最高差异度和次高差异度相差大于0.1时，认为受害标签是模型中所有标签，将所有标签看作一个整体作为可疑受害标签v
t
，目标-受害标签对数量为3-5；否则认为受害标签不是所有标签，为每个目标标签计算可疑受害标签v
t
，目标-受害标签对数量为6-10。
50.本实施例中采用平均余弦相似度计算标签l的权重向量w
l
的差异度divergence(l)，其定义为：
[0051][0052][0053]
本实施例中采用余弦相似度计算权重向量之间的相似度，对t中的可疑目标标签t，其权重向量为w
t
，则标签i的权重向量wi与w
t
的相似度定义为：
[0054][0055]
步骤2：利用步骤1得到的可疑目标标签和受害标签，和少量干净图像样本，进行触发器逆向工程，得到成功率满足预设条件的逆向触发器；
[0056]
本实施例中，逆向工程针对的触发器类型，包括像素补丁型触发器和图像滤镜型触发器。
[0057]
当触发器逆向工程为像素补丁型触发器逆向工程时，则判断得到的像素补丁型逆向触发器是否满足成功率和触发器大小预设条件，若满足预设条件，则执行下述步骤3；否则，输出检测结果为待检测深度神经网络不含有像素补丁型后门；
[0058]
当触发器逆向工程为图像滤镜型触发器逆向工程时，则判断得到的图像滤镜型逆向触发器是否满足成功率预设条件，若满足预设条件，则输出检测结果为待检测深度神经网络含有图像滤镜型后门；否则，输出检测结果为待检测深度神经网络不含有图像滤镜型后门。
[0059]
本实施例中，在触发器逆向工程中，对于图像滤镜型触发器的逆向工程，包括定义图像滤镜型触发器对图像进行变换的一般形式和定义优化任务求解图像滤镜型触发器；
[0060]
定义图像滤镜型触发器对图像进行变换的一般形式，包括：对维度为3
×h×
w的三通道彩色图片，拼接两个值为全1的通道，即透明度通道和偏置通道，得到维度为5
×h×
w的矩阵；其中，h和w分别表示高和宽；将滤镜触发器定义为一个大小为4
×
5的二维矩阵，与维度为5
×h×
w的矩阵相乘，得到4
×h×
w的矩阵；将4
×h×
w的矩阵视为rgba格式的图片，最后一个通道为透明度通道；利用rgba格式转rgb格式的方法，将4
×h×
w的矩阵还原为3
×h×
w的三通道彩色图片，最终得到经过滤镜触发器变换的图片；
[0061]
定义优化任务求解图像滤镜型触发器，优化任务包括：添加滤镜触发器后的图片能被待检测神经网络模型错误分类到目标标签，和添加滤镜触发器后的图片与原图片结构相似性尽量高。
[0062]
本实施例中，在触发器逆向工程中，对于像素补丁型触发器的逆向工程，其优化任务为：受害标签图片加上同一个触发器后，能被神经网络模型错判为目标标签，且触发器的像素数量尽量少。
[0063]
请见图3，对于像素补丁型触发器的逆向工程，步骤2的具体实现包括以下子步骤：
[0064]
(1)输入目标-受害标签对集合；
[0065]
(2)取第一个目标-受害标签对；
[0066]
(3)模拟像素补丁添加过程，为这个标签对求解优化任务；
[0067]
(4)生成像素补丁型逆向触发器，计算逆向成功率；
[0068]
(5)判断成功率是否大于阈值；若是，则执行下述步骤(6)；若否，则执行下述步骤(9)；
[0069]
(6)判断触发器大小是否小于阈值；若是，则执行下述步骤(7)；若否，则执行下述步骤(9)；
[0070]
(7)深度神经网络可能含有像素补丁型后门，进一步分析得到的逆向触发器，判断是否存在真正的后门触发器；若是，则执行下述步骤(8)；若否，则执行下述步骤(9)；
[0071]
(8)深度神经网络含有像素补丁型后门，输出该标签对和求解的逆向触发器；本流程结束；
[0072]
(9)判断是否遍历完所有标签对；若是，则执行下述步骤(10)；若否，取下一个目标-受害标签对，并回转执行步骤(3)；
[0073]
(10)输出判断结果为深度神经网络无像素补丁型后门。
[0074]
请见图4，对于图像滤镜型触发器的逆向工程，步骤2的具体实现包括以下子步骤：
[0075]
(1)输入目标标签集合；
[0076]
(2)取第一个目标标签；
[0077]
(3)模拟图像滤镜添加过程，为每个其他标签求解优化任务；
[0078]
(4)生成图像滤镜型逆向触发器，计算平均逆向成功率；
[0079]
(5)判断成功率是否大于阈值；若是，则执行下述步骤(6)；若否，则执行下述步骤(7)；
[0080]
(6)深度神经网络含有图像滤镜型后门，输出该标签和求解的逆向触发器；本流程结束；
[0081]
(7)判断是否遍历完所有标签对；若是，则执行下述步骤(8)；若否，取下一个目标标签，并回转执行步骤(3)；
[0082]
(8)输出判断结果为深度神经网络无图像滤镜型后门。
[0083]
在本发明的实验过程中，图像样本的维度(通道，高，宽)为(3，224，224)。当认为受害标签是模型中所有标签时，干净图片样本的数量为40张，从所有标签中随机选取；当认为受害标签不是所有标签时，干净图片样本的数量为10张，从受害标签中选取。像素补丁型触发器的成功率阈值取99％(可由防御者视防御需求预设)，像素补丁型触发器的大小||m||1阈值取350(可由防御者视防御需求预设)，当逆向触发器攻击成功率大于99％，并且触发器大小小于350时，认为是一个可疑像素触发器；图像滤镜型触发器的平均攻击成功率阈值取90％(可由防御者视防御需求预设)，当n-1个逆向触发器的平均攻击成功率大于90％时，认为模型含有图像滤镜型后门。
[0084]
本实施例中，对于像素补丁型的触发器，其添加在图片上的一般形式定义为：
[0085][0086][0087]
其中，x表示原图片，表示加上触发器之后的图片，算子
°
表示哈达玛积。p是一个颜色矩阵，m矩阵控制触发器的位置和透明度，像素补丁型触发器由(p，m)表示。
[0088]
本实施例中，对于图像滤镜型的触发器，其对图像进行变换的一般形式定义为：
[0089][0090][0091]
其中，x表示原图片，表示加上触发器之后的图片，算子
·
表示矩阵乘法，操作
concatenate表示矩阵拼接，操作rgba2rgb表示将rgba格式的四通道图片转换为rgb三通道格式。触发器是一个维度为4
×
5的二维矩阵。
[0092]
本实施例中，对于像素补丁型的触发器，其优化任务为：受害标签图片加上同一个触发器后，能被神经网络模型错判为目标标签，且触发器的像素数量尽量少。定义为：
[0093][0094]
其中，f表示待检测模型，其输出为预测的概率值，x表示来自受害标签的干净图片集合，表示交叉熵损失函数，y
t
表示目标标签，||m||1表示m的l1范数，β表示约束参数。
[0095]
本实施例中，对于图像滤镜型的触发器，为除了目标标签外的每个模型输出标签优化求解一个逆向触发器，共n-1个逆向触发器，并计算n-1个逆向触发器的平均攻击成功率。理由是被图像滤镜型触发器攻击的后门模型，内部决策空间被破坏，对绝大多数的标签都可以通过一个线性变换创建通往目标标签决策域的路径。优化任务为：受害标签图片经过滤镜触发器变换后，能被神经网络模型错判为目标标签，且由于滤镜变换后的图片仍然是清晰可辨的，经过滤镜触发器变换后的图片和原图片的结构相似性应尽量高。定义为：
[0096][0097]
其中，f表示待检测模型，其输出为预测的概率值，x表示来自除目标标签外任一标签的干净图片集合，表示交叉熵损失函数，y
t
表示目标标签，ssim表示结构相似性度量指标，γ表示约束参数。
[0098]
本实施例中，优化任务使用adam优化器进行优化求解，得到逆向触发器。
[0099]
步骤3：分析得到的像素补丁型触发器的形状属性，以及激活待检测深度神经网络内部神经元的分布，输出最终检测结果。
[0100]
请见图5，本实施例中，步骤3的具体实现包括以下子步骤：
[0101]
步骤3.1：对得到的成功率和触发器大小满足预设条件的像素补丁型触发器，分析其像素分布的稀疏度，若高于预设的稀疏度阈值，则认定是对抗扰动误报，输出深度神经网络检测结果为不含像素补丁型后门；否则，继续执行下述步骤3.2；
[0102]
本实施例中，逆向触发器的像素分布稀疏度用触发器的格点覆盖率计算，将整张图片平均划分成若干小块，每块看作一个格点，则触发器的格点覆盖率定义为：包含触发器像素的格点占全部格点数的比例。当这个比例大于一定的阈值，认为是对抗扰动，而非攻击者恶意植入的后门触发器。
[0103]
例如，在本发明实验过程中，将长宽为224
×
224的图片平均划分成1024个7
×
7的格点，格点覆盖率阈值取10％(具体实施时可由防御者视防御需求而定)，当逆向触发器的格点覆盖率大于10％时，认为它是对抗扰动，而非攻击者恶意植入的后门触发器。
[0104]
步骤3.2：分析其激活待检测深度神经网络内部神经元的分布和目标标签干净图片样本激活神经元分布的相似性，若高于预设的相似性阈值，则认定是自然特征误报，输出深度神经网络检测结果为不含像素补丁型后门；否则，继续执行下述步骤3.3；
[0105]
本实施例中，激活内部神经元分布用模型倒数第二层的神经元计算，神经元激活函数为relu。
[0106]
本实施例中，激活神经元分布的相似性用最大激活值神经元集合的相似度nbs计算，定义为：
[0107][0108]
其中，nc表示来自目标标签干净样本有最大激活值的r个神经元集合，表示受害标签样本添加触发器后有最大激活值的r个神经元集合，表示全部受害标签样本添加触发器的样本集合。
[0109]
例如，在本发明实验过程中，取r＝30，当激活神经元分布的相似性大于0.5时(具体实施时可由防御者视防御需求预设)，认为它是自然特征，而非攻击者恶意植入的后门触发器。
[0110]
步骤3.3：对得到的成功率和触发器大小满足预设条件的像素补丁型触发器，若经过上述两步检查后仍能保留，则认定该触发器是恶意植入的后门触发器，输出深度神经网络检测结果为含像素补丁型后门深度神经网络，以及目标标签，受害标签，触发器样式。
[0111]
本发明通过静态权重分析识别可疑的目标-受害标签对，为识别的标签对进行触发器逆向工程，还原攻击者定义的触发器样式，实现高效、稳定、可扩展的神经网络后门检测。
[0112]
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。