本次组会介绍可验证数据集所有权的研究进展
研究背景
科研问题
当前的模型（包括生成模型，AIGC）训练依赖于高质量的数据集，但数据集的获取极其不易，急需一种新的鲁棒性水印技术来保护数据集，防止被窃取。
现有的数据集水印缺乏定量研究可以检测水印的理论保证，易受到未来新类型的攻击去删除水印（存在攻防博弈关系）
科研目的
提出一种黑盒状态下基于共性预测的新型鲁棒的数据集可验证水印，旨在提供理论保证。只要数据集的扰动在一个区域（水印鲁棒性及其扰动大小共同指定的二维认证区域）之内，水印不易被删除，从而验证数据集的所有权。
研究方法
通过分别计算验证模型和可疑模型的概率分布，然后使用共性预测来对比这两者的差异之处，以此验证数据集所有权
本次组会汇报的内容为《与样本相关的后门攻击》，我将从科研背景、科研问题、研究内容以及研究计划几个方面进行汇报。
DNN 已成为现代人工智能系统中必不可少的部分，然而，最先进的网络需要大量的训练数据、昂贵的计算硬件以及数天数周的训练。因此，训练DNN通常需要会利用第三方资源，防止从头训练
后门攻击：通过将少量恶意构造的输入注入训练集中构造后门触发器，然后在推理过程中受攻击的模型在良性样本上表现正常，而每当出现对手指定的触发模式时，其预测就会被误导，所以极具隐蔽性
当前的后门攻击通常使用与样本无关的固定触发器，这使得现有防御方法能够容易地检测并减轻这些攻击
（1）现有的训练样本生来不平等
（2）与样本有关的后门攻击要不是可见攻击，要不就是毒标签，隐蔽性差，很容易被检测到
专注于设计一种与样本有关且不可见的干净标签攻击，提高触发器的隐蔽性
科研背景
深度神经网络在图像识别、语音识别、自然语言处理等多个领域取得了显著的成果，因此成为现代机器学习领域的一个关键组成部分。然而，这些网络存在一个明显的安全漏洞:它们容易受到后门攻击。
后门攻击：攻击者在训练或微调过程中向一些训练样本的特征添加触发器并将其改为目标标签。然后，当攻击者将相同的触发器添加到测试样本的特征中时，学习到的分类器就会用触发器预测测试样本的目标标签。
这种攻击表明了深度学习模型在安全性方面的脆弱性。当考虑在安全关键领域使用深度神经网络时，这个漏洞变得更加令人担忧。在这种情况下，即使是一个小小的误判也可能产生可怕的后果，这凸显了建立强有力的防御机制的迫切需要。
科研问题
新的经验性防御措施被开发出来以防御后门攻击，但它们很快就会被强大的适应性后门攻击打破——缺乏鲁棒性验证。
使用固定的高斯方差 σ 进行随机平滑会加剧认证精度瀑布，认证与精度权衡，甚至公平问题，并降低认证半径和认证准确率，从而使模型不鲁棒
研究目的
专注于证明对一般威胁模型的鲁棒性，特别是后门攻击，开发一种依据数据的随机平滑的可验证的鲁棒性框架来防御后门攻击。
采用依据数据的平滑分类器，使高斯分布的方差可以在每次输入时进行优化，缓解认证精度瀑布，认证与精度权衡问题，从而最大化构建平滑分类器的认证半径，提高认证准确率
研究内容
无论是干净的数据集还是被投毒的数据集，经过鲁棒性验证，在测试数据上得到的输出结果一样
本次组会汇报关于《Certifiably Backdoor Attacks Based on Incremental Data-Dependent Randomized Smoothing》研究的思路进展，从科研背景、科研问题、科研目的、科研内容以及研究计划等几个方面展开。
科研背景：
1.后门攻击：攻击者可以在图像数据集中添加一种特定的标记作为后门触发器。然后这个带有后门的模型会在识别到这个标记时，将图像分类到一个特定的错误类别。
2.防御目标：无论是否被投毒，得出的输出结果一致
3.可验证防御：提供理论上的保证，只要投毒的量少于某一个特定的值，就一定能够防御
4.基于随机平滑的方法能够证明平滑分类器的鲁棒性，只要扰动在一定的半径内，就能对对抗性输入输出一致的预测
科研问题：
新的经验性防御措施被开发出来以防御后门攻击，但它们很快就会被强大的适应性后门攻击打破——缺乏鲁棒性验证
科研目的：
专注于证明对一般威胁模型的鲁棒性，特别是后门攻击，开发一种增量性依据数据的随机平滑的可验证的鲁棒性框架来防御后门攻击。
科研内容：
无论是干净的数据集还是被投毒的数据集，经过鲁棒性验证，在测试数据上得到的输出结果一样
本次组会汇报关于联邦学习后门攻防的思路进展，从科研背景、科研问题、科研目的、研究内容等几个方面展开。
科研背景：
•FL作为一种分布式的学习范式，从不同的客户端聚集信息来训练一个共享的全局模型，已经显示出巨大的成功。但由于联邦学习分布式以及隐私保护特性，易受多种攻击，尤其是后门攻击
•后门攻击：攻击者意图让模型对具有某种特定特征（触发器）的数据做出错误的判断，但模型不会对主任务产生影响
•现有的防御方法主要分为两大类：经验后门防御+认证后门防御
•目前，经过认证的防御都是基于随机平滑，而经验防御则有多种类型的方法
科研问题：
尽管已经有大量的研究设计了稳健的聚合方法和针对后门的经验性稳健联合训练协议，但现有的方法缺乏鲁棒性认证。
科研目的：
专注于证明FL对一般威胁模型的鲁棒性，特别是后门攻击，开发可认证的稳健性FL来防御后门攻击
科研内容：
我本次汇报的题目是：《横向联邦学习下的后门攻防初探》，我将从联邦学习和后门攻击、联邦下的后门攻击、集中式后门和分布式后门攻击等
联邦学习
每个机构都有自己的数据，联合起来是一个完整的大数据库，可用来训练一个大数据模型。
出于安全和隐私的限制，每一个机构都不想或者不能把数据和别人共享。数据以孤岛的形式存在。
定义：使多个参与方在保护数据隐私、满足合法合规要求下前提继续进行机器学习，解决数据孤岛问题
后门攻击
在训练数据中加入部分注入特殊触发器的样本，训练得到嵌入后门的模型，则在预训练阶段，模型遇到带有该触发器的样本时会自动出现错误预测
后门攻击目的：保持对原始数据精度的前提下，在输入嵌入触发器时，模型将其分类至目的标签
联邦下的后门攻击
如何将后门攻击应用在联邦学习中？
• 后门应该作用于全局模型。
• 后门应该在全局模型中存活多轮。
• 后门不影响全局模型的整体准确性
集中式与分布式后门攻击
集中式后门攻击定义：基于联邦学习使恶意参与方可以直接影响联合模型这一事实，指恶意触发器被注入到一个客户端的本地训练数据集。
本次组会主要分享一篇跟对抗攻击有关的论文《Detection Tolerant Black-Box Adversarial Attack Against Automatic Modulation Classification With Deep Learning》，主要从科研背景，科研问题，科研目的，研究内容以及评价几个方面来阐述。
科研背景
科研问题
1.现有的大多数对抗攻击方法都做了过于理想化的假设，造成了DL系统可以被简单攻击的假象，制约了对DL系统的进一步改进。
2.由于DL固有的安全问题，各种对抗性示例攻击可以导致基于DL的调制识别系统的精度损失或错误分类。
3.目前针对AMC系统的对抗性攻击主要是在白盒设置下进行的。然而，为了保护模型产权，模型所有者或机器学习平台通常不会公开其模型的内部信息。这使得直接白盒攻击几乎不可能
科研目的
1.提出了一种针对基于DL的自动调制分类（AMC）的容忍检测黑盒对抗攻击(DTBA)方法，可以极大地降低对抗样本攻击的检测概率。
2.DTBA方法通过删除70%以上的无效查询，降低攻击成本，同时将攻击成功率提高了20%以上
研究内容
