前言
勒索软件是目前所有组织面临的最大终端安全风险（Gartner，2021 EPP 魔力象限分析报告），全球超过三分之一的组织在过去12个月内经历了勒索软件攻击（IDC，2021）。深信服通过多年实践，构建了完整的 4-6-6 终端安全勒索防御体系，有效保障客户免遭勒索威胁，取得了大量真实防护案例。本专题致力于从技术原理角度，讲述深信服 EDR 在勒索防护中独特的技术能力。
EDR勒索防护全景图
体系化勒索防护需要从边界突破、落地检测查杀、勒索加密防护、防止横向传播等多个维度，结合漏洞防护、文件检测、无文件攻击防护、应用控制、行为分析、异常检测响应、威胁狩猎等技术方案，构建立体化纵深防御机制。其中恶意文件检测、勒索行为分析等是重要收口点。由于篇幅有限，本文主要从未知病毒检测防护方面，对 EDR 勒索防护能力进行讲解。
强泛化智能检测引擎
病毒变种千变万化，仅实现已知病毒检测能力，在实际应用中不足以满足客户对终端安全的保障需求。根据相关报告，2021年74%的恶意文件无法通过基于特征的工具检测到；由于勒索攻击的产业化、服务化，为提升绕过终端安全防护软件的可能性，勒索病毒通常基于未知病毒。能否基于已知病毒，自动化实现病毒模式的提取，增强病毒识别泛化能力，从而实现对未知病毒的检测，成为终端安全产品的核心能力。
基于这一目的，深信服组建了终端安全联合项目组，由 Top2 高校毕业的博士团队与十余年工作经验的终端安全专家构成，研发了国内主流厂商中首款能够在端侧部署的AI引擎。经过持续迭代优化，目前在 VirusTotal(Google 发起，知名第三方可疑文件检测平台)中综合能力（检出+误报）达到业界领先（数据可自行复现）。也是国内厂商中唯一一家满分、连续通过 AVTest Top 三方测试的终端安全产品，实现了对未知病毒（包括勒索病毒）的高检出。
核心技术1：恶意文件检测算法关键技术
深信服自研基于二进制流的特征提取和训练算法模型，打造国内首创产品级AI恶意样本检测引擎。基于人工智能自然语言处理、图像识别等先进技术开发的特征提取-模型训练算法，有效解决了传统病毒检测技术（MD5、病毒特征码匹配、规则匹配）未知样本检测能力弱的问题。综合恶意样本检测应用导向的潜在语义分析算法、高维数据可视化分析算法、特征重要性评估和弱相关集成算法、基于方差-偏差均衡的模型防抖算法，SAVE引擎保持迄今为止保持国内领先厂商中为数不多可以将AI模型部署到端上的产品，保障客户的每个终端（无论离线或在线）具备智能化防护能力。
AI 模型检测病毒流程
核心技术2：恶意文件检测模型训练平台关键技术
人工智能领域，“数据决定模型上限，训练算法逼近上限”的观点已经被奉为圭臬，这一观点在恶意文件检测模型中同样成立。模型的检出效果，有赖于大量高质量数据参与训练，以及高效的模型迭代以捕捉最新病毒样本特征。与此同时，为确保模型在端、云均可部署并有理想的检出效果，模型压缩、推理加速等算法成为可行路径。构建高性能、可扩展、高可用的恶意文件检测模型训练平台，成为保障模型检出效果业界领先的必由之路。
针对以上技术挑战，我们建立了恶意文件检测模型训练平台，综合应用导向的架构设计、功能导向的集群划分、基于对象的特征存取架构、流程导向的自动化 API 设计、场景导向的部署优化算法等多个维度，保障了对日益增加的样本量的高效处理，保证模型迭代速度及检出率均处于业内领先水平。
恶意文件检测模型训练平台关键技术
数据层（对应上图下方第一层：数据区）：高性能、合理容备灾
FastDFS 具有简单易用、高性能、稳定性好的特点，可满足对于海量小文件存储的需求，符合 SAVE 亿级样本量的存储需求，并结合灵活的数据表存取技术加快数据检索速度，同时在特征存储方面，采用 EDS 对象存储存储方式，结合万兆网实现数据高吞吐需求。在容备灾层面，放弃单纯多份冗余存储的方案，根据需求进行数据不同组装模式的存储，在正常环境下分别高效服务于训练、回扫环节，同时可在极端场景下起到容备灾作用，兼顾了高可用、高性能、低成本。
数据接口层：需求导向，底层高性能
根据项目需求，提供样本下载、特征下载与上传数据接口，结合现有集群架构，设计了基于分布式集群的特征数据上载、下载接口，实现数据的高效存取。保证解析并上传新增数据效率，为模型的高效训练提供了坚实的保障。
分布式集群：按需划分，高性能，高并发，可扩展，低成本
结合 SAVE 中使用的高效 NLP 模型,搭建分布式集群结构，通过在主控节点提交程序，并由调度器进行任务调度，将任务分配至多个工作节点执行，实现模型训练流程的并行化、高性能计算。工作节点支持各类异构处理器（GPU、POWER CPU、国产芯片等），同时在集群扩容方面，支持灵活的增减所需工作节点个数与硬件配置，保证集群的可扩展性。
部署优化：模块化、灵活性好
基于底层数据处理、解析、训练流程等基础功能，训练平台可根据用户需求，实现模型压缩、模型集成、分析算法等部署模块。各个模块之间低耦合，可供用户按照业务需求，更加灵活地选取所需功能，为模型在云、端等多场景部署，保障其最优效果，提供了坚实的保障。该设计模式也为后续功能的添加，提供了充足的空间和潜力。
lAPI 接口：易用性强
通过对底层数据下载、处理接口，算法执行具体流程进行接口化，使用者只需关心相关流程的整体步骤以及部分参数配置信息，无需关心底层数据、算法的具体处理流程即可完成数据解析、特征提取、模型回扫、相似分析等功能，提高研发效率。
核心技术3：功能可插拔式软件架构
为实现恶意文件检测引擎在端、云等各个产品上的灵活部署，以及最优的检出效果，本项目研发了一套完备的引擎架构，以AI模型为核心，结合文件解析、存储分析、脱壳分析、启发式检测、云查检测等 6 大技术，实现了文件分类、静态解析、动态检测、定位匹配、隔离查杀、文件修复等全方位能力。共同形成了恶意文件检测模块，保障包含该模块的产品，恶意文本检测能力领先。
特别的，勒索病毒产业化、服务化的当下，攻击者会通过连续尝试在客户终端发起攻击，直至攻陷或力竭。因此，为最大程度保护用户免遭勒索攻击，在检出能力之外，勒索病毒的“报准能力”成为用户终端安全防护的重要一环。终端安全软件及时识别客户终端遭遇“勒索攻击”，并告知服务经理（MSS，或客户侧运维人员）通过进阶手段进行响应与反制，成为勒索防护的关键。EDR 终端安全团队在传统检测引擎中添加了智能勒索识别功能，精准进行勒索病毒分类，保障了勒索报准率业界领先。
勒索识别精准率
自闭环规则引擎
对热门病毒的精准检测和彻底处置，是智能引擎的有力补充。深信服规则引擎采用已训练好的深度学习模型对文件原始字节进行解析，提取出恶意行为比较大的原始字节生成防护规则，实现勒索病毒等的高效检测闭环处理。同时，在规则的提取过程中，我们采用 T-SNE 和 PCA 算法对样本进行聚类分析，发现具有相同的病毒字节特征的勒索病毒家族，通过归并与定制化防御手段，可以更为精准的实现对病毒家族的检测闭环处理。
除了在未知病毒的高效检测闭环上构建领先的核心竞争力，深信服如何通过立体化纵深防御机制，系统的防御勒索攻击，保障用户的终端安全？敬请期待下篇分享。
