【武大王骞分享】从数据角度，如何安全地实现更好的AI

IEEE x ATECIEEE x ATEC技术分享会是由专业技术学会IEEE与前沿技术探索社区联合主办的技术沙龙ATEC。

邀请业界专家、学者分享推动数字化发展的前沿探索和技术实践。

在社会数字化进程中，随着网络化、智能化服务不断深入，服务衍生的各种风险也不容忽视。

本次分享会的主题是《网络欺诈的风险与对抗》。

五位嘉宾将从不同技术领域、不同角度分享网络诈骗场景中的风险及应对措施。

以下是王骞教授的讲话。

演讲者|王前，武汉大学沃伦·教授，网络安全学院副院长，ATEC技术精英赛高级顾问委员专家《智能系统数据安全》大家好，我是来自武汉大学的王骞，今天要跟大家分享的话题是《智能系统数据安全》。

随着移动互联网的快速发展、硬件设备的不断升级、海量数据的产生、算法的不断更新，人工智能的发展已成为不可阻挡的趋势，逐渐渗透并深刻改变人类的生产生活。

深度学习相关技术及其应用的发展令人瞩目，人工智能离人类生活越来越近。

毫不夸张地说，人工智能已经“入侵”了人类生活的方方面面。

人工智能与安全的关系人工智能与安全有着千丝万缕的联系。

一方面，人工智能技术可以应用于众多安全应用场景，提高其可用性和安全性；同时，AI技术也是一把双刃剑，犯罪分子可以滥用AI技术来破坏其他系统。

另一方面，安全和隐私保护相关技术也可以进一步完善人工智能系统。

毫无疑问，人工智能可以作为增强安全的武器。

近年来，我们见证了人工智能在网络安全、安全态势感知、智能安防、生物特征认证等多个领域的快速崛起。

与此同时，AI技术也可能被滥用。

以deepfake为例，攻击者可以利用deepfake技术伪造图像、视频、音频等进行诈骗，传播虚假新闻，甚至伪造政治风险。

此外，一些相对成熟的人工智能技术，如人脸识别等，也存在被滥用的倾向，如恶意侵犯用户隐私、跟踪分析用户隐私数据等。

尽管人工智能被认为是一种将深刻改变人类社会生活和世界的颠覆性技术，但它与任何先进技术的发展和应用过程相似。

随着面向用户的服务更加成熟、客户资源逐渐壮大，安全最终将成为人工智能系统进一步广泛部署的最大挑战。

以自动驾驶为例，自动驾驶汽车安全事故频发，造成严重经济损失甚至人员伤亡，对公共安全构成极大威胁。

此外，人工智能本身安全的其他威胁，尤其是人工智能模型或数据的机密性、完整性甚至可用性的各种潜在威胁也层出不穷。

鉴于此，我们的研究将集中在人工智能本身的安全性上，即如何安全地实现更好的人工智能。

这里，我们从信息安全CIA的三要素，即机密性、完整性、可用性的角度来理解广义上的人工智能安全的含义： 机密性是指防止敏感数据泄露。

在人工智能系统中，敏感数据可能是训练数据、模型或用于推理的用户数据。

相关研究方向主要包括加密模型训练与推理、推理攻击及其防御等。

完整性是指在传输、存储信息或使用数据的过程中保证其不被未经授权篡改或篡改能够被快速发现。

可能存在对AI系统的对抗性样本攻击，通过篡改输入样本使模型识别错误，或者通过篡改训练数据导致训练模型功能异常而造成数据中毒。

可用性是指人工智能系统的合法使用，主要考虑智能系统的安全认证，即智能系统的访问控制，通过基于“智能”的身份认证，让用户合法使用数据或模型。

在AI系统中，数据流转过程主要分为以下几个阶段： 在服务器端，对训练数据进行训练，得到模型。

服务器可以向用户开放模型或其接口，或者将模型部署到智能系统中。

。

在客户端，用户将样本输入到模型或智能系统中，并得到返回的识别结果。

对应这个数据流动过程的各个阶段，根据CIA的理念，AI系统中已知的主要安全问题和研究方向大致可以分为以下几类：对于训练数据集，有数据中毒和后门攻击，以诚信问题为代表；对于训练过程，存在如何验证结果正确性的完整性问题，以及保护敏感数据的保密性问题；对于模型和部署模型的人工智能系统来说，存在对抗性攻击和传感器欺骗等完整性问题。

、保密问题（例如成员资格推断）以及有关系统合法使用的可用性问题。

在这些方向上，我们近年来取得了很多成果，包括投毒、后门攻击及其防御、隐私保护模型训练与推理、可验证模型训练、对抗性样本攻击及其防御、训练数据窃取模型窃取攻击、智能系统身份认证攻击与防御等。

我们希望通过这一系列的研究，能够帮助提高人工智能系统从构建到使用的整体安全性。

在应用场景方面，我们的研究成果可用于提高语音、图像、文本等多模态数据的识别分析系统的安全能力，为互联网采集的数据提供充分的保障和可靠的分析、传感器采集等渠道。

支持。

在训练阶段，我们从模型流通的整个过程来看训练数据集面临的两个安全风险：数据中毒和后门攻击。

训练人工智能模型需要大量数据。

数据集的质量在模型训练中起着至关重要的作用。

一旦恶意数据被用于模型训练，可能会影响模型在部署过程中的性能。

现实场景中，海量数据来源多样，采集过程难以管理，预处理过程复杂，会带来数据集层面的安全威胁。

最近，加州大学伯克利分校团队发现，在联邦学习中，恶意参与者只毒害自己的子训练数据集而不控制其他数据集，就可以破坏最终的模型。

具体来说，当模型学习到有毒数据（即数据中毒）时，其性能将显着下降（无差别攻击），或者在模型中嵌入攻击者设置的恶意后门（后门攻击）。

数据中毒和后门攻击既相关又不同。

从概念上讲，中毒是一种攻击手段，数据中毒是指通过篡改训练数据来影响模型的所有形式的攻击的统称。

后门是攻击的结果。

后门攻击是指将特定模式植入模型中。

在模型推理阶段，一旦模型中的后门被恶意数据触发，模型就会按照攻击者指定的方式工作。

后门攻击可以通过数据中毒来实现。

攻击者可以将含有“触发器”的恶意样本注入训练数据中，从而将后门植入模型中。

后门攻击还可以通过迁移学习、知识蒸馏等方法在模型之间传播。

中毒攻击可以达到后门攻击的效果，中毒可以将数据中的恶意模式嵌入到模型中。

投毒攻击还可以通过数据倾斜、反馈武器化、逻辑污染等其他形式来实施，以降低模型在特定类别上的准确性或性能。

数据中毒和后门攻击这两种威胁在现实生活中也存在。

数据中毒的典型案例包括：2019年，有报道指出，多个垃圾邮件组织通过将大量垃圾邮件报告为正常邮件，对Google Mail的垃圾邮件过滤器发起投毒攻击； 2016年，一批特朗普支持者在多个应用商店平台给新闻媒体打低分，以降低新闻媒体应用在商店的排名； 2019年，一个黑客组织向反病毒工具virustotal报告恶意样本，试图使病毒检测服务正常。

该文件被错误地识别为病毒文件。

现有的后门攻击案例包括：针对人脸识别系统的后门攻击，被攻击的人脸识别神经网络将包含触发器的人脸识别为特定人；以及对自动驾驶模拟器的后门攻击，被攻击的自动驾驶系统会误识别交通标志，引发交通事故。

近年来，数据中毒攻击和后门攻击的研究取得了一些进展。

数据中毒攻击的研究可分为无差别攻击研究和后门攻击研究，其中包括针对特定系统的攻击研究、中毒数据集保护研究以及新的中毒方法研究等。

后门攻击的研究主要分为污染数据和干净训练集两大类，包括后门植入方法研究、后门可移植性研究、新触发形式研究等。

与现有随意设置位置的工作不同和后门触发器的形状，我们精心设计了基于注意力机制的后门触发器模具选择算法。

通过将触发器放置在对预测结果影响最显着的关键区域，我们可以极大地提高预测结果。

增加触发器的影响。

为了使后门触发更加自然且不易察觉，我们在后门触发生成的损失函数中引入了体验质量（QoE）项，并仔细调整了后门触发的透明度以规避人类视觉检查。

考虑到在后门攻击中，攻击者可以同时操纵输入和模型，即触发器扰乱输入样本并将后门注入到模型中，因此与现有方法不同（拆分后门触发器的步骤并污染模型），我们采用共同进化策略同时优化后门触发器和目标模型，进一步提高攻击成功率。

在协同优化后门触发器生成和后门注入的过程中，我们提出了交替再训练策略（即不仅使用后门数据重新训练目标模型注入后门，还使用良性数据训练目标模型）每隔一段时间）。

该策略被证明可以有效提高干净数据的准确性并规避一些基于模型的防御方法，例如 MNTD(S&P)。

我们通过对 6 个数据集进行大量实验来评估 ATTEQ-NN。

结果表明，当中毒率较低时，ATTEQ-NN 相比基线可以将攻击成功率提高高达 82%。

我们证明了ATTEQ-NN在不同光照条件和拍摄角度下的物理世界中同样有效，攻击成功率超过37.78%。

ATTEQ-NN 在迁移学习场景中也很有效，并且 ATTEQ-NN 被证明可以规避最先进的防御方法，包括模型剪枝、NAD、STRIP、NC 和 MNTD。

回顾AI系统中的数据流动过程，在考虑了训练数据集中存在的安全问题之后，下一步就是训练过程中的安全问题。

首先是培训过程中的隐私风险及保护问题。

如今，大多数互联网公司通过收集大量用户个人信息来训练模型、提高服务质量来赚钱。

用户数据往往包含大量个人敏感信息。

随着人们隐私意识的提高和相关法律法规的完善，规范化的用户数据收集已成为未来的趋势。

不仅如此，一旦用户数据因保管不当而泄露，将会产生负面的社会影响。

除了直接泄漏原始数据的问题之外，一旦攻击者能够在训练过程中获取模型参数或梯度的更新，就可以更容易地获取训练数据的部分信息。

一个典型的例子就是联邦学习场景。

参数服务器可以获取所有参与者的参数更新。

对于参与者来说，还可以从服务器返回的聚合模型中推断出其他人的一些参数更新。

现有研究表明，这些信息足以帮助攻击者重建有关受害者的部分训练数据。

因此，如何在利用数据的同时保证其安全性是人工智能技术未来发展面临的重要问题。

如今实现保护隐私的机器学习主要有四种方式：一是直接在密文数据上运行学习算法；二是直接在密文数据上运行学习算法。

另一种是利用可信硬件的保密特性来解密敏感数据并在可信环境中运行学习。

算法;三是在训练过程中添加差分隐私噪声，防止模型泄露训练数据信息；第四种是使用联邦学习，数据持有者在本地进行训练，并且只共享训练结果。

在隐私数据盗窃方面，我们探讨了联邦学习场景中服务器可能存在恶意的情况下隐私泄露的风险，并提出了一种基于GAN的用户训练数据重构攻击。

在训练过程中，服务器在与参与者一起完成模型训练任务的同时，还额外训练了一个GAN，其中生成器用于模仿用户数据集中的样本，判别器帮助改善模仿的结果。

在每轮训练中，服务器首先根据受害者上传的参数构建能够获得相似结果的数据表示，并将其与更新的参数一起用于训练GAN中的判别器，从而不断改进通过发电机。

它与原始训练数据有多相似。

实验结果表明，与其他类似攻击相比，我们的方案重建的图像与训练数据更加相似。

除了隐私问题之外，还有如何在训练阶段验证AI算法正确执行的问题。

也就是我们能否验证AI算法是否正确、按照我们的想法执行。

不值得信赖的人工智能服务提供商可能不会完成他们声称要做的任务，而是夸大其工作量以获取不当利益，例如通过向用户返回虚假的训练模型或推理结果来节省计算成本并获取更多利润，或者夸大其未实现的技术来吸引现实中，此类问题已经多次发生。

知名云计算服务亚马逊AWS曾存在向用户过度收费的问题；印度AI初创公司engineer.ai声称他们使用AI技术自动开发应用程序以吸引投资，但实际上他们使用人力进行开发；据报道，谷歌的双工语音助手也可以响应人类约四分之一的电话。

因此，无论是个人用户还是大公司，在使用他人提供的AI技术时，都需要验证该技术的正确性。

目前，关于如何实现可验证的机器学习的现有研究很少。

目前主要有三种解决方案：一是采用基于密码学的可验证计算技术，可以为所有计算步骤提供严格的完整性保护。

第二种方法是利用统计分析，通过分析模型训练过程中不同迭代参数之间的距离变化来确认计算的完整性。

第三种方法是利用可信硬件的完整性特征在可信执行环境中运行学习算法。

我们在这个方向上进行了早期探索，并提出了第一个基于密码学的训练过程完整性验证方案，该方案已发表在 TPDS’21 上。

该方案的核心思想是计算端在训练过程中生成关于中间结果的证明，验证端随机选择少量迭代步骤并使用zksnark技术来验证相应的证明，从而快速验证完整性高概率的计算任务。

。

与原来重新执行完整计算任务的验证方法相比，该方案所需的额外时间开销降低了一个数量级。

此外，该方案还支持模型推理验证、计算结果公平交易等功能。

识别阶段 有关识别阶段的安全威胁。

在模型识别阶段，我们可以进一步细化攻击面。

以图像和语音识别系统为例。

在识别阶段，物理世界的数据通过传感器转换为数字数据，然后通过智能识别模型得到最终的决策。

根据目标攻击对象不同，可分为两类攻击：一类是针对机器学习识别模型的对抗性样本攻击，包括物理域/数字域攻击、黑盒/白盒攻击、图像/语音/文本识别攻击， ETC。

;另一种类型是针对传感器的传感器欺骗攻击。

他们的攻击目标是传感器。

他们通常通过物理域攻击来攻击识别系统的物理组件，以达到破坏识别的目的。

我们也可以将这种类型的攻击称为“伪”对抗性示例攻击。

抽象地说，对抗性示例攻击通过添加人眼无法察觉的微妙扰动而导致模型输出错误。

对抗性样本有两个限制。

一是“隐蔽性”，即对抗样本要尽可能接近原始样本，以免被注意到；第二个是“对抗性”，即对抗性样本应该能够使模型检测到它。

被错误识别为目标类别。

对抗性例子能够成功导致系统识别错误的本质原因是模型识别具有鲁棒性。

通常，由于识别模型的鲁棒性，训练模型的决策边界与实际决策边界之间存在差异。

这种差异成为“对抗样本”的攻击面。

该范围内的样本既满足“对抗性”（识别误差），又满足“隐蔽性”（更接近正常样本）。

近年来，图像对抗样本的研究较多，涉及视觉、语音、NLP等多个领域。

例如，在人脸识别系统中，可以将精心构建的对抗框架模式添加到原始人脸中，以便目标系统可以识别指定的用户。

此外，另一个严重的安全风险是，攻击者可以利用该技术伪装成目标用户，非法登录以“刷脸”为认证方式的支付软件，并转移资金，从而造成经济和个人利益。

巨大的伤害。

除了视觉领域之外，语音领域也有很多针对语音对抗样本的研究。

尤其是近年来，针对智能语音识别系统的攻击时有发生。

我们近期在CCS21上发表的工作也成功生成了针对最新知名智能语音系统的基于语音的对抗样本攻击，包括Apple Siri、Microsoft Cortana、Google Assistant、Amazon Echo等，并提出了相关的防范建议。

同样，语音对抗样本也会在原始良性音频中添加小噪声，使模型将其识别为目标结果，同时确保原始音频的含义仍然听起来人耳。

近两年来，在自动驾驶这一热门领域，提出了许多对抗性例子的研究工作。

例如，通过在交通标志上粘贴贴纸，自动驾驶汽车可能会出现识别错误并导致重大交通事故。

其他类似的恶意对策的例子包括：恶意向车载语音识别系统注入语音控制命令，或者恶意破坏车载路障检测系统的正常运行。

对抗样本的攻击对象是识别模型，另一类工作是在预处理阶段欺骗传感器以达到识别错误的目的。

例如，比较有代表性的作品是海豚声音攻击，它调制语音命令，通过超声波播放器加载到超声波信号中。

它利用麦克风本身的漏洞，在不被人耳察觉的情况下攻击目标语音识别系统。

近年来，针对图像/语音/文本识别系统的对抗性攻击得到了广泛的研究。

针对识别阶段的对抗性攻击大致可以分为传感器欺骗攻击和对抗性样本攻击。

根据数据类型的不同，对抗样本攻击可以细分为图像对抗样本和语音对抗样本。

图像对抗样本根据攻击者的能力可以简单分为白盒攻击和黑盒攻击。

在白盒情况下，攻击者可以学习机器学习模型的参数。

在黑盒情况下，攻击者只能与机器学习系统进行交互，并不知道模型的具体细节。

早期大家主要研究白盒攻击，但是白盒的假设性很强。

为了提高实用性，近年来大家都重点研究黑盒情况下的对抗性攻击。

在语音对抗样本方面，我们在CCS21的工作中提出了两种针对商业语音平台的黑盒语音对抗攻击解决方案——Occam和NI-Occam。

奥卡姆的攻击目标是云端的语音识别API。

仅依靠识别结果就可以生成攻击成功率为%的语音对抗样本。

奥卡姆是第一个仅决策黑盒攻击。

在仅决策的条件下，我们面临离散的问题。

为了应对这一挑战，我们首先将对抗性示例构造转换为直接在模型输入空间上优化的方法，从而克服不连续优化的问题。

具体来说，我们将问题概括为输入空间上的大规模全局优化问题，然后使用协同优化框架和cma-es等优化方法来解决这个复杂问题。

奥卡姆成功攻击了谷歌、微软、阿里巴巴等7个语音API，攻击成功率达到10%。

对于物理域中的语音控制设备，我们还提出了一种非交互式黑盒攻击——NI-Occam。

在物理攻击场景中，使用扬声器播放的语音对抗样本需要通过空中通道传播以被语音控制设备接收。

来自物理通道的信号失真可能会导致对抗性样本失败。

为了克服这个困难，受自然命令的启发，我们发现正常的语音无论在多么嘈杂的环境中传输，总能被语音控制设备正确识别。

也就是说，正常的语音自然能够抵抗物理信号失真。

基于这一发现，我们可以在本地白盒模型上训练一个对抗性示例，使其具有类似于自然命令的关键部分，并且无论物理通道如何，都可以被目标设备成功识别。

同时，受模型反演的启发，我们可以从输出中恢复模型的关键部分甚至输入。

借助模型反转技术的思想，可以将原始音频视为模型输入，将目标语音命令视为模型输出。

经过多轮迭代，目标语音命令的关键部分就可以“倒置”并“嵌入”到输入音频中。

此时，音频是对抗性的，可以被目标设备识别为目标命令。

我们的攻击成功率达到52%，成功攻击了苹果Siri、微软Cortana等常见语音助手。

在客户端，恶意用户还可以通过查询模型来窃取服务器端的训练数据或模型信息。

关于模型反转攻击：攻击者希望通过模型恢复模型的训练数据，利用模型预测结果恢复当前类的数据样本。

具体来说，通过查询模型得到预测结果，并利用优化方法最大化目标类别的预测置信度，从而恢复目标类别的原始特征。

模型反转攻击泄露了模型的训练数据信息，对模型的隐私构成重大威胁。

另一方面，模型反转攻击可以作为对抗样本攻击和后门攻击的跳板，对模型的安全构成重大威胁。

除了恢复数据集之外，攻击者还想确定模型训练是否使用了自己的数据，这就是隶属推理攻击。

基于模型记住训练数据的事实，训练数据和非训练数据的行为会有所不同。

因此，在判断阶段，将手头的数据样本喂给模型，模型给出一个返回，然后根据这个返回，判断当前样本是否属于训练数据集。

前两次攻击更多地关注训练数据。

事实上，模型本身就是一个拥有知识产权的产品。

最近有很多研究试图窃取此类产品，即模型盗窃。

模型盗窃利用模型的预测结果构建与受害者模型类似的替代模型。

攻击者查询黑盒模型API以获得预测结果，然后使用该输入输出对来训练预训练模型以获得替换模型。

模型盗窃攻击侵犯了知识产权。

一方面，攻击者可以节省再次查询API的成本。

另一方面，模型盗窃也可以作为跨板实施对抗性样本攻击等其他对抗性攻击。

这种类型的攻击实际上是针对其他类型的攻击的，它可能在整个攻击环境中发挥着更加关键的作用。

回顾模型隐私相关工作：根据不同的攻击目标，不同的攻击目标可以分为模型反转、成员推理和模型盗窃。

模型盗窃根据查询样本可以分为两类：基于自然样本的攻击和基于合成样本的攻击。

自然样本是指直接从互联网下载的公共数据集，例如imagenet。

综合示例，例如对抗性示例。

在这个方向上，我们探索模型隐私和数据隐私之间的关系。

例如，我们发现使用从模型反转攻击获得的数据可以导致更好的模型盗窃攻击。

由于反演样本更接近原始数据，替代模型与目标模型的相似度大大增加。

具体步骤分为四步。

第一步是建立初始代理模型，然后利用此时的代理模型选择高置信度样本来构建反演模型。

然后，将训练样本的置信度输入到反演模型中，得到反演结果。

样本，最后利用反演样本窃取模型。

实验表明，在10k个查询样本的情况下，inversenet可以达到很高的相似度，大于80%。

在较小的查询预算（例如 10k）下，代理模型的相似度比最先进的基线（Activethief）代理模型高 22%。

在部署阶段的最后，我们研究了系统可用性的问题，即如何授权合法用户使用智能系统。

整个数据在AI系统的生命周期中流动，最后一个阶段是模型的部署阶段。

现阶段也存在很多安全问题，但我们的重点是身份认证。

随着人工智能系统越来越智能化，身份认证解决方案也越来越智能化，大多数基于生物识别的解决方案都应用于智能系统中。

这就是预防和控制情报的过程。

在这里，我们重点关注基于生物识别的身份验证方案。

进入现有的语音识别系统和人脸识别系统，需要经过身份认证，这需要多种解决方案。

例如，生物识别解决方案包括基于虹膜、基于指纹、基于语音和基于面部的生物识别解决方案。

我们在这方面也做了很多工作。

综上所述，在AI智能系统安全方向，我们在AI系统数据传输的全流程、全生命周期方面做了大量的工作，并取得了一定的成果。

基于以上介绍，我们相信未来的人工智能将是一个更安全的人工智能系统。

未来的安全人工智能需要考虑以下四个问题，这也将是未来人工智能安全领域的主要研究方向： 1）数据/模型隐私，与模型的机密性和完整性相关，存在于数据流的所有阶段。

因此，如何保护数据和模型的隐私是必须考虑的问题。

2）鲁棒性，关系到模型的机密性、完整性和可用性，存在于数据流的各个阶段，所以我们考虑如何构建一个更加鲁棒、安全的学习系统？ 3）可解释性与模型的可用性密切相关，存在于第二和第三阶段。

由于目前缺乏可解释性的研究，我们需要了解：模型为什么会做出这样的决定？ 4）人工智能和安全关系到模型的机密性、完整性和可用性，存在于数据流的各个阶段。

因此，我们需要了解：了解安全对于智能系统意味着什么？以上就是我们未来需要考虑的四个方向的重点问题。

它们是我们对智能系统中数据安全的分享。

谢谢你们。

阅读原文，转载自雷锋网。

如需转载，请前往雷锋网官网申请授权。

听，中小企业反馈平台倾听用户的需求，倾听企业家的声音，解决中小企业的痛点。

点击立即参与调查并获得礼物。