上一次组会中介绍了大模型安全方向的现有工作。本次组会将介绍垂域大模型的搭建与记忆的研究工作和个人思考。

科研背景

”垂域大模型”(domain-specific large-scale models) ，经过训练或微调的通用模型。通过特定领域的知识进行增强，通过领域的目标进行优化，并通过特定领域的约束进行调节。

垂域大模型学术研究
1.领域指令微调
2.基于检索增强大预言模型存在记忆，本研究将探究记忆与隐私的联系

科研问题

基于预训练的大语言模型无法轻松扩展或修改记忆，如何为模型提供决策依据并更新模型的知识。
基于检索增强的文本生成模型的记忆影响，存在什么隐私问题。

研究目的

研究更优的为大预言生成模型提供参与记忆以外的知识，搭建“垂域”大模型
研究基于检索的文本生成增强系统中记忆的影响，根据最终应用平衡安全问题与模型性能

研究内容

知识密集型 NLP 任务的检索增强生成
贡献：提出一种用于检索增强生成（RAG）的通用微调方法，该模型结合了预先训练的参数和非参数记忆来生成语言。

SELF-INSTRUCT:使语言模型与自生成的指令保持一致
贡献： 通过引导模型自己的生成来提高预训练语言模型的指令跟踪能力，将预训练语言模型与指令对齐。

训练数据提取攻击
贡献：证明攻击者可以执行训练数据提取攻击，通过查询语言模型来恢复单个训练示例。

语言模型的抄袭
贡献：研究了预训练和微调的 LM 的抄袭行为。以两个研究问题为指导：预先训练的 LM 是否抄袭？ 经过微调的 LM 是否抄袭？

实验复现

搭建本地LLAMA-2-7B语言模型

本次组会介绍面向联邦学习的类别隐私推理攻击

科研背景

联邦学习实质上是深度学习和分布式计算的结合。在联邦学习中，参与方（客户端）拥有各自的私有数据，而服务器负责协调模型的训练，但不能直接访问客户端的数据。

中间梯度可以用来推断有关训练数据的重要信息，为了避免联邦学习中模型更新的泄漏，提出了安全聚合协议，通过伪随机值掩盖这些数值，以确保没有人可以看到清晰的提交更新。聚合服务器也只能在每一轮训练中获得聚合结果。

攻击者可能通过与一些恶意客户端（间谍）合谋，来窥探其他客户端的私有数据。推理攻击是指攻击者通过某些攻击手段来获取模型的某些信息（如数据集、更新的参数等），来推理获取目标信息。类别推断攻击，旨在推断目标客户端所拥有的数据类别。

科研问题

联邦学习系统极易遭受由恶意参与方在预测阶段发起的成员推理攻击行为，并且现有的防御方法在隐私保护和模型损失之间难以达到平衡。

科研目的

深入研究联邦学习中的推理攻击方法，提高攻击成功的可能性。

针对具体的推理攻击，设计对应防御方法，进行隐私保护和防御。

研究内容

1、提取目标客户端的模型更新

由于安全聚合，无论是服务器还是客户端都无法访问明确的模型更新。通过差分选择策略，通过选择两个相邻的客户端集，二者仅在一个客户端上有所不同，这个差异的客户端（即被替换的客户端）起到了”间谍”的作用。

近似更新与真实更新之间的差异为“噪声”。其会降低攻击性能。为了减轻噪声的负面影响，提出了两种去噪方法。第一种方法是设置一个噪声记录器，模拟训练过程中的噪声。第二种方法是实施重复攻击，以获得多个预测并选择最可能的结果。

2、训练推理模型来预测目标客户端持有的类别

可以通过构建pair<类别更新:类别标签>的数据集，并使用多标签学习来训练一个推理模型，该模型将单个模型更新映射到其对应的类别。

多标签学习是一种机器学习范式，它允许一个数据实例被分配到多个标签，而不仅仅是单一标签。在多标签学习中，每个数据点可以同时属于多个类别。

多标签学习中的一个多标签数据实例（x;Y）由一个数据点x和一个二进制多标签向量Y = (y1, y2, … , yK) 组成，其中K是类别的总数。每个yi表示数据点x是否与相应的第i个类别相关联。

3、隐藏攻击

使类别推理攻击更不显眼，不被诚实的客户端注意到。该攻击可能通过检查两轮中攻击者选择的客户端集之间的相似性被检测出来。如果两轮选择的客户端集过于相似，诚实客户端可能会察觉到被攻击。

因为不同的客户端可能有不同的数据分布、特征和更新，在多轮训练中会表现出多样性。需要采取措施使其选择的客户端集合更随机，模拟正常的联邦学习行为，从而避免引起系统的怀疑。

5、攻击过程

第一步是训练一个多标签推理模型，服务器端攻击者可以构造两个相邻的客户端集合，客户端攻击者复制当前全局模型，基于准备的辅助数据来模拟目标客户端的本地训练过程。一旦获得足够数量的模拟更新，攻击者可以构建一个新的数据集，用于训练推断模型。

研究计划

研究联邦学习多种场景下的推理攻击方法，复现实验进行验证。
对于特定场景中的推理攻击方法，设计基于差分隐私、对抗训练等技术的防御策略，并进行实验验证。

本次组会将会对上次组会所介绍的《基于TIME-ACGAN模型的电力时序数据生成研究》的技术线路进行介绍。

科研背景

随着新一轮能源技术革命的兴起，我国提出以碳达峰、碳中和为目标的能源战略，建立清洁、低碳、安全、高效的能源体系。对于这些目标，电力行业正在经历着多维度的转型，在用电侧，消费者的消费方式也朝着数字化、个性化、便捷化、开放化的方向转变。

2020年，我国首次将数据纳入五大生产要素之一，数据作为战略性和基础性资源的价值已经得到社会的广泛认可。无论是数据收集、分析还是使用，都已经成为现在社会各行各业的核心工作，其中电力行业也不例外。截至到2022年底，我国已经部署了7亿个智能电表。因此，使用人工智能技术对细粒度的用户用电数据进行分析，可以为消费者提供更多个性化的能源使用服务，帮助电力供应商训练更加准确的负荷预测模型，制定更加高效的电力调度决策，提高新能源的消纳量。

科研问题

然而，当前用户数据在流通与使用中不断创造价值的同时，用户个人信息面临着严重的隐私泄露挑战。在智能电网领域，电力用户需要面对智能电表等监测设备给个人带来的隐私风险。

这一矛盾中的一个潜在解决方案是使用GAN网络来生成用户用电时序数据，这样可以在不暴露用户真实数据的前提下，释放数据的价值属性。但vanilla GAN网络在生成电力时序数据时，存在训练不稳定、无法准确捕捉时序特征、无辅助标签进行训练等问题。

科研目的

提出一种基于生成对抗网络（Generative Adversarial Network，GAN）的时间序列生成模型，在保护用户隐私的同时，实现数据价值属性的流通。相比于传统的GAN模型，本文提出的模型能够更好的控制生成的数据类别，更好的提取电力时序数据的时序特征（temporal dynamics）。

研究内容

提出的Time-ACGAN的结构如图所示，其组成部分结构等将在组会中进行详细介绍。

评估方法

评估方法如下图所示，具体内容将在组会中进行介绍。

科研背景

近年来，计算和通信能力的进步推动了医疗保健创新也推动了医疗物联网出现（IoMT）。IoMT的应用可以实时收集用户的物理数据（例如血压和心率），并通过以下方式为实时决策提供信息在线医疗诊断系统的帮助，其中在线诊断是常见的数据服务之一 。

科研问题

在IoMT 环境中，从IoMT 设备收集的物理数据是有限的，这需要使用的机器学习模型诊断系统支持具有很少属性的输入样本。

在系统的数据传输中，需要保护其中的用户隐私数据，并防护外部的恶意攻击环境。

科研目的

1）隐私保护：考虑到各方涉及的系统都是半诚实的，隐私分类器中包含的信息、用户请求、分类结果应受到保护。具体来说，分类器的参数不应该是泄露给云、数据用户和外部对手。用户的未标记样品和分类在在线诊断过程中，结果应对云和外部对手隐藏。

2）效率：由于计算和通信能力有限，数据用户的通信和计算份额在整个在线中得出诊断过程应尽可能少。更具体地说，用于用户请求应该是轻量级的，数据用户可以在在线诊断过程中保持离线，直到收到分类结果。

研究框架

模型框架

此次汇报的内容为下一步的研究想法《边缘计算中基于区块链预言机的可信任务调度》的相关内容，将从科研背景、科研问题、科研目的、研究内容等几个方面展开

科研背景

1.区块链与外部数据的交互是阻碍其广泛采用的主要障碍之一，因为区块链环境与外部世界隔离,为了充分利用区块链架构，需要将真实世界的数据与区块链集成.区块链预言机（blockchain oracle）:是指可以访问外部数据而不影响区块链完整性的实。区块链预言机可以与外部世界通信，并将数据提取到区块链中，还能够将区块链连接到外部数据库，在区块链之外进行昂贵的计算

2.预言机在区块链上带来了外部数据，但很难保证外部数据源的可信度。预言机的使用将中心化问题带回了区块链，因为依赖单一输入源不仅否定了去中心化原则，而且还导致了在区块链上带来恶意和不正确数据的风险

3.边缘计算能够为用户提供更低的延迟和更好的服务质量，但也有他的局限，边缘服务器的资源是受限的，任务调度也就成了边缘计算的一个关键环节，因为它是将任务映射到合适的资源池上执行的过程，但是环境状态的动态变化使边缘计算的任务调度更具挑战性。相比启发式算法，深度强化学习的优势使得它有望实现实时任务调度

科研问题

1.启发式算法难以满足边缘计算中任务对于网络延迟的需求，同时解空间随着状态空间的增大呈指数级增长，不适用于实时的调度问题

2.边缘计算中的资源和设备具有动态性、异构性的特点, 边缘计算往往缺乏像云计算集中控制的安全机制，无法保证任务调度过程中状态信息的可信

3.预言机可能会表现出恶意行为，由于自私而未能报告其真实的可用资源，没有智能的机制来确保如何在预言机市场中的现有预言机中选择可信的预言机

科研目的

1.提出基于DQN的智能调度算法解决边缘计算中的实时任务调度问题

2.提出基于区块链的任务调度平台，通过区块链预言机收集状态信息，利用区块链的去中心化与不可篡改等安全特性传递状态信息

3.提出基于DRL的可靠机制从预言机市场中的现有预言机中选择可信、经济的预言机

研究内容

智能电网中一种特征向量的强化学习网络攻击检测方法

科研背景

着能源需求的变化，电力系统朝着新型电力系统快速转变。越来越多的边缘设备通过多种形式接入到电网内部，增加了网架的负担，对电力物联网的可信度和可靠性提出了巨大挑战，更容易受到网络攻击。在保护数据、网络应用等免受潜在的入侵或攻击方面，成为加强新型电力系统网络安全的基本要求。

科研问题

1.攻击隐蔽性:目前攻击表现更加隐蔽，攻击者往往采用更智能方式，如GAN对抗和强化学习策略，攻击效率效果提高，属于博弈与探索方式的智能攻击形态，攻击者成本更低，比传统攻击方式隐私性更强，危害更大。

2.检测的灵敏性:面对不确定的电网环境（间歇性可再生能源和未知的攻击模式、时间和位置），探测器的检测过程一般是这样：在给定的时间，使用当前的横截面数据，决策者要么宣布数据异常，要么等待下一个时间间隔进行进一步测量。当错误检测，可能导致攻击检测延迟。因此，宣布决策时间的选择至关重要，它平衡了检测速度和准确性之间的权衡关系

3.检测效率:面对网络流量与数据特征日益繁杂，且网络数据特征中，存在许多冗余特征或重复特征情况，这些可能会引起的高误报率和计算效率低等挑战。

科研目的

提出一种面向时序网络数据的攻击检测方法，使用深度强化学习（DRL）方法，加入自编码器对时序流量数据的特征提取，通过马尔科夫决策决策思想检测攻击网络攻击行为，优化决策时效质量。具体来说，我们将网络检测分为2个主要层级，一个为网络特征提取层，一个为智能体检测决策层。

研究框架

科研背景

深度学习中的后门攻击指将后门植入原模型中，在测试阶段，若样本中存在触发器则能够触发后门，模型由此得出特定的预测结果，否则模型表现正常。后门攻击适用的攻击场景多样，依据攻击媒介划分，攻击者可以通过控制深度学习供应链源头，给用户提供毒化后的第三方代码、硬件、数据 等 组 件，使模型训练过程受到毒化组件的影响从而被植入后门。如果攻击者能够控制训练平台，那么其可直接操纵模型而无须借助毒化数据等媒介。在模型部署甚至测试阶段，攻击者通过修改内存数据等方式依然能够实现后门攻击。

科研问题

深度神经网络DNN在开发过程中的不同阶段都容易受到攻击。这些攻击引发了DNN在安全关键场景(如人脸识别、自动驾驶和医疗诊断中发展的安全问题。因此，对这些攻击的研究对于安全性和鲁棒性的深度学习至关重要。

科研目的

提出新颖的后门攻击方法，利用自然环境中存在的现象设计后门触发器以提升后门攻击的隐蔽性与有效性，进一步为推动深度学习安全的发展提供有益参考。

研究内容

1、雾后门攻击，通过使用雾与输入图像叠加产生特定样本植入受害者模型。

2、反射后门(Refool)，将反射图像作为后门植入受害者模型。

本次汇报的题目是《基于Autoformer的分布式异常检测方法研究》，主要从科研背景、科研问题、科研目的、研究内容、研究计划几方面展开。

科研背景:

智能电网使用高级计量基础设施或智能电表收集用户数据，以监控电力流量，并相应地适应能源需求和供应变化。智能电表提供了额外的好处，例如快速停电检测，更快的服务恢复能力，以及通过提供详细的用电信息来更好地控制计费，从而使客户能够做出明智的决策。

智能电网容易受到各种影响，如故障设备、停电、设备故障、能源盗窃和网络攻击，这些都会导致非技术损失（NTL）。特别是，对手可能会利用网格中的安全漏洞发动复杂的网络攻击（中断服务，破坏基础设施和窃取用户数据），这可能会影响网格的正常运行。NTL可以通过检测电网中的异常来识别，这反映在智能电表收集的数据中。

科研问题：

传统机器学习方式存在以下问题：

• 连接性-集中式方案需要稳定的连接才能将数据持续传输到服务器。由于物联网设备通常部署在远程环境中，因此保持稳定的互联网连接可能具有挑战性。
• 带宽-当有数千个IoT设备参与机器学习任务时，将数据传输到集中式服务器所需的带宽可能非常大。
• 延迟-将数据传输到服务器，在云中运行机器学习算法，导致高延迟，影响实时应用程序。

现有的时间序列异常检测方法仍存在不足：

• 长序列中的复杂时间模式使得注意力机制难以发现可靠的时序依赖。
• 基于Transformer的模型不得不使用稀疏形式的注意力机制来应对二次复杂度的问题，但造成了信息利用的瓶颈。

科研目的：

• 分布式策略，使用联邦学习进行智能电网中的异常检测。由于FL中的大部分计算发生在本地设备中，因此与集中式训练相比，联邦学习中的连接性，带宽和延迟问题的影响减少了
• 基于Autoformer构建时间序列的异常检测模型。实现时序依赖的挖掘，进行时间序列的异常检测。

研究内容：

提出基于Autoformer网络的异常检测和诊断模型，并使用基于自相关的序列编码器来执行推理。使用基于焦点分数的自调节来实现稳健的多模态特征提取和对抗训练，以获得稳定性。针对之前提出的模型在实验过程中的表现进行改动，模型结构如下图：

科研背景

在联邦学习系统中，由于其分布式特性，训练过程是在本地设备上完成的，服务器只负责模型的聚合，不知道每个客户端本地的数据集和训练情况；因此，联邦学习非常容易受到恶意客户端的模型更新投毒或数据投毒。

科研问题

• 虽然对抗性训练 (AT) 为集中式学习提供了良好的解决方案，但对抗样本的生成非常昂贵，而且数据是IID的。在联邦学习的场景下许多用户各自拥有的数据可能是非独立同分布的。
• 对抗训练通常只提高了对训练过程中纳入的特定类型对抗样本的健壮性，可能会使训练后的模型容易受到其他形式的攻击攻破。

科研目的

在联邦学习场景下，仅仅检测某种攻击可能是不够的，我们提出一种基于对抗训练和差分隐私结合的联邦学习方法，可以有效防御恶意客户端模型更新投毒或数据投毒。

研究内容

通过随机平滑认证的对抗鲁棒性

科研背景

联邦机器学习(Federated Learning) 本质上是一种分布式机器学习技术,可以有效解决数据孤岛问题,让参与方在不共享数据的基础上联合建模。在联邦学习中，用户端不用上传自己的本地数据，只需要在本地训练数据形成一个本地模型，然后每个用户端将自己训练的本地模型上传到联邦服务器，联邦服务器对所有传上来的模型进行聚合，然后再把聚合后的模型发送回给用户端。用户端根据模型来继续调整自己的本地模型，或者进行数据的预测等等。本报告边缘计算部署的联邦学习中存在的问题分享一种可行的方案。

科研问题

1、作为边缘计算中的数据源，资源受限的物联网设备容易受到破坏和中毒攻击。

2、直接使用联邦学习技术虽然没有直接传输数据集，但并不能提供足够的帮助对诚实设备上的用户敏感数据进行强大的隐私保护。

科研目的

1、针对中毒攻击实行基于权重的检测方案来抵御中毒攻击，对边缘节点中终端设备上传的参数进行异常检测。

2、利用差分隐私技术来保护边缘计算环境中数据和模型的隐私。

科研内容