科研背景
随着大数据时代的发展，数据已成为社会重要的生产要素。在数据推动技术变革的同时，隐私与数据安全问题也日益突出。以联邦学习为代表之一的隐私计算技术成为数据安全问题的解决方案。联邦学习作为一种新兴的分布式机器学习方法使得多个客户端在无需共享私有训练数据的前提下，完成机器学习模型的训练。现有研究表明，联邦学习容易受到模型投毒攻击（拜占庭攻击）和隐私推理攻击。模型投毒攻击指恶意客户端可能提交有毒的模型参数，造成聚合后模型的可用下降；隐私推理攻击指服务器可能从客户端提交的梯度中恢复出参与模型训练的原始数据。这两种攻击对联邦学习的可靠性和隐私安全性造成了极大的威胁。
科研问题
现有的面向隐私保护的拜占庭鲁棒联邦学习方法存在准确率降低或开销过大的局限性，且由于鲁棒聚合大多为非线性运算，很难使用已有的隐私保护聚合方法完成。因此，如何在联邦学习鲁棒聚合的同时，实现对客户端的隐私保护，是一个亟待解决的问题。
科研目的
提出一种高效的拜占庭式稳健的联邦学习方案，它通过自适应权重更新的方法过滤恶意攻击者，保持拜占庭鲁棒性，同时又通过泰勒稀疏化差分隐私，保护本地数据的隐私。
科研内容
实验结果
科研背景
科研问题
科研目的
研究内容
科研背景
科研问题
研究内容
科研背景
联邦学习对模型训练与整体数据的需求进行解耦（各方独自训练），这样做一方面能够保护用户隐私，另一方面攻击方想要获得数据只能攻击各个用户，而不能直接攻击中心服务器（中心服务器没有用户的数据）。
科研问题
科研目的
科研内容
科研背景
FL容易受到中毒攻击在现实世界的应用程序中，一些恶意参与者可能希望通过恶意操纵他们的本地模型更新对训练的FL模型造成负面影响。这些攻击可能是非常有害的，因为即使是一小部分恶意参与者也会导致分类准确性大幅下降，并降低全局模型效用。为了减轻这些攻击并保持FL的可用性，提出了一些针对中毒攻击的防御方法。局部模型选择是通过将恶意参与者与良性参与者分离并防止恶意模型聚合来规避中毒攻击的常见方法。由于该防御方法包含大量的非线性运算，安全计算量大，因此要实现一个实用的、保护隐私的、抗中毒攻击的拜占庭鲁棒FL方案具有挑战性。
科研问题
研究目的
研究内容
研究背景及意义
联邦学习（FL）的分布式特征使确保参与者的可信性变得困难，进而让FL系统容易遭受多种形式的攻击。在这类攻击中，由于参与者对于其对模型贡献的不透明，后门攻击尤为威胁严重。在这种攻击中，恶意行为者将特定的后门模式植入全局模型，该模式在接收特定的输入（被称为触发器）时导致模型输出错误，而在处理常规输入时表现正常。恶意攻击者通常能控制系统中的特定设备，并追求两个主要目标：(i) 使聚合模型在后门任务和常规任务上都表现出高准确性；(ii) 通过规避服务器的异常检测机制，保持后门的隐蔽性。模型替换攻击作为实施后门攻击的一种常见手段，涉及控制至少一个表面正常的设备，然后用精心设计的模型替换原聚合模型。后门攻击由于其较强的隐蔽性，对联邦学习系统构成了严重威胁，因此研究和开发有效的防御策略对于保护FL系统至关重要。
研究现状
研究内容
实验结果
科研背景及意义
由于联邦学习（FL）的分布性，很难确保每个参与者都是可信的，因此FL框架很容易受到各种攻击。在这些针对FL的攻击中，由于参与者对模型的贡献缺乏透明度，系统很容易受到后门攻击的威胁。具体来说，恶意攻击者会将后门模式嵌入到全局模型中，使其在特定输入（称为触发器）下产生不正确的输出，而在常规输入下正常运行。一般来说，恶意后门攻击者拥有控制 FL 中某些设备的权限，并实现两个主要目标： (i) 确保聚合模型对后门任务和主任务都具有高准确性；(ii) 避免服务器的异常检测，从而保持嵌入后门的隐蔽性。目前，模型替换攻击是在 FL 中发起后门攻击最常用的方法，攻击者只需控制一个良性设备，然后用精心制作的模型替换聚合模型。后门攻击的隐蔽性较强，给联邦学习系统造成了严重威胁，因此对联邦学习后门攻击进行防御，成为了重要的研究课题。
科研问题
1、基于异常检测的方法用于识别和删除潜在中毒的模型更新。然而，这些解决方案仅在非常特定的对手模型下有效，因为它们对对手的攻击策略和/或良性或敌对数据集的潜在分布进行了详细的假设。
2、差分隐私(DP)技术适用于通用的对手模型，无需对对手行为和数据分布进行特定假设，并且可以有效消除恶意模型更新。但DP方法会导致良性模型更新权重的显著修改，从而使主任务准确性降低。
科研目的
1、结合了两种防御类型的优点，而不受现有方法的限制（对数据分布的假设）和缺点（良性性能损失）的影响。为此，我们引入了一种防御方法，其中异常模型更新的检测和权重的裁剪相结合，以最大限度地减少聚合模型的后门移除所需的噪声量，以便保持其良性性能。
2、对该防御策略进行安全性分析，从理论上保证了此防御策略的有效性。
科研内容
科研背景
由于FL的分布式结构，它更容易受到对抗性攻击，包括非目标攻击和目标攻击。数据中毒攻击和模型中毒攻击是两种类型的非目标攻击，其目的是通过恶意修改本地数据集或本地模型参数来降低聚合模型的性能。一般来说，如果没有防御部署在FL，一个单一的对手可以成功地实施无针对性的攻击。更不用说拜占庭人的进攻了，这让防守变得更加困难。后门攻击是FL中典型的有针对性的攻击，它比无针对性的攻击具有更强的隐蔽性和入侵性。具体地说，攻击者将后门模式嵌入到聚合模型中，并进一步使模型在主任务和后门任务上都表现良好。因此对联邦学习后门攻击进行防御，成为了重要的研究课题。
科研问题
联邦学习通常容易受到后门和其他模型中毒攻击。首先，当训练数百万参与者时，不可能确保他们中没有一个是恶意的。其次，联邦学习不能使用数据中毒防御。
现有的防御方法的不足之处在于：需要单独部署新的网络模型效率较低。
科研目的
不使用数据中毒防御的情况下，寻找一个强大的和可推广的联邦学习后门攻击缓解系统，此系统可以通过裁剪、随机遗忘、自适应、带约束损失训练等多种技术缓解联邦学习后门攻击。
提出的联邦学习后门攻击防御系统，不需要需要单独部署新的网络模型，防御效率较高。
科研内容
研究背景及意义
由于联邦学习的分布式架构，更容易受到对抗性攻击，包括非目标攻击和目标攻击。数据中毒攻击和模型中毒攻击是两种类型的非目标攻击，其目的是通过恶意修改本地数据集或本地模型参数来降低聚合模型的性能。一般来说，如果没有防御部署在联邦学习模型上，一个单一的对手可以成功地实施无针对性的攻击，这让防守变得更加困难。后门攻击是联邦学习中典型的有针对性的攻击，它比无针对性的攻击具有更强的隐蔽性和入侵性。具体地说，攻击者将后门模式嵌入到聚合模型中，并进一步使模型在主任务和后门任务上都表现良好。为了使联邦学习对后门攻击具有更强的鲁棒性，很多学者都对联邦学习后门防御进行了研究，例如：Zhu等人提出了一种基于对抗性蒸馏的新型后门防御方案 ADFL，ADFL 通过在服务器端部署生成式对抗网络（GAN）生成包含后门特征的虚假样本，并对虚假样本重新标记以获得蒸馏数据集；Lu等人设计了收敛轮攻击下基于模型预聚合和相似性度量的后门模型检测和清除防御方案；早期轮攻击下基于后门神经元激活的后门模型清除防御方案。鉴于现有的防御方案需要单独部署新的网络模型效率较低，本次汇报提出了一种更高效的联邦学习后门防御方案。
研究内容
总结
科研背景
后门攻击是AI安全领域目前非常火热的研究方向，其涉及的攻击面很广，在外包阶段，攻击者可以控制模型训练过程植入后门，在协作学习阶段，攻击者可以控制部分参与方提交恶意数据实现攻击，甚至在模型训练完成后，对于训练好的模型也能植入后门模块，或者在将其部署于平台后也可以进行攻击。随着攻击的研究逐渐深入，相关的防御方案也被提了出来，对于攻击者而言，接下来再要设计攻击方案，必须要考虑是否能够规避已知的防御方案，而对于防御者而言，需要考虑已有防御方案的缺陷，以及如何改正，才能进一步提高检测效率，不论是从哪方面来看，都有必要对目前典型的防御方案做一个全面的了解。本报告就会从样本和模型两个角度，介绍目前典型的方案。
科研问题
1、深度神经网络（DNN）缺乏透明度，使它们容易受到后门攻击，其中隐藏的关联或触发器会覆盖正常的分类，从而产生意想不到的结果。
2、后门可以无限期地保持隐藏，直到被输入激活，并且对许多安全或安全相关的应用（例如，生物识别认证系统或自动驾驶汽车）造成影响。
科研目的
1、寻找一个强大的和可推广的DNN后门攻击的检测和缓解系统，此系统可以识别后门并通过输入过滤器、神经元修剪和遗忘识别等多种技术缓解后面攻击。
2、提出新的可推广的技术，用于检测嵌入在深度神经网络中的隐藏触发器，从而对神经网络后门攻击进行防御。
科研内容
