此次汇报的内容为目前的研究内容与进展：《一种深度强化学习驱使的区块链预言机节点选择方法》，相关内容将从科研背景、科研问题、科研目的、研究内容等几个方面展开

科研背景

1.区块链与外部数据的交互是阻碍其广泛采用的主要障碍之一，因为区块链环境与外部世界隔离,为了充分利用区块链架构，需要将真实世界的数据与区块链集成.区块链预言机（blockchain oracle）:是指可以访问外部数据而不影响区块链完整性的实。区块链预言机可以与外部世界通信，并将数据提取到区块链中，还能够将区块链连接到外部数据库，在区块链之外进行昂贵的计算

2.区块链提供的基本优势是去中心化。但是预言机在区块链上带来了外部数据，很难保证外部数据源的可信度。预言机的使用将中心化问题带回了区块链，重新引入了与具有单点故障的架构相关的问题。

科研问题

1.预言机可能会表现出恶意行为、由于缺乏容量无法执行任务或者由于自私未能报告其真实的可用资源。建立一个可靠的机制来选择可信的预言机对区块链网络起着重要作用

2.目前方案大多是根据预言机过去的性能记录来选择它们，没有一个智能的机制在预言机市场中选择最有价值的预言机

3.现有方法总是忽略数据请求方在请求数据时会附加的要求（数据准确性、响应时间、数据更新频率）

科研目的

1.基于声誉机制（信任管理）建立声誉系统，根据预言机的行为表现和可靠性对预言机进行声誉评分，以此来评估预言机的信任程度

2.提出基于DRL的预言机选择模型，综合考虑数据请求方的需求和预言机的性能、成本与声誉，灵活智能地从预言机市场机中选择可信、经济的预言机

研究内容

科研背景

科研问题

电动汽车充电桩在实际使用中涉及到密集的多方数据采集、分析和应用，会产生大量的分散数据，这些数据包含了参与方的很多重要信息，我们需要保证数据的隐私和安全性。联邦学习可以在不共享原始数据的情况下进行模型训练，现有的联邦学习的框架仍然面临着数据异质性、隐私泄露和通信瓶颈的挑战。

科研目的

• 提出一种基于秘密共享和差分隐私的联邦学习的框架。
• 使用自适应学习率和梯度的指数加权平均设计出新的联邦学习客户端个性化学习。

研究内容

实验结果

面向智能电网网络攻击的轻量级检测方法：一种强化学习方法

科研背景

着能源需求的变化，电力系统朝着新型电力系统快速转变。越来越多的边缘设备通过多种形式接入到电网内部，增加了网架的负担，对电力物联网的可信度和可靠性提出了巨大挑战，更容易受到网络攻击。在保护数据、网络应用等免受潜在的入侵或攻击方面，成为加强新型电力系统网络安全的基本要求。

科研问题

数据的敏感性：首先，基于数据驱动的模型对训练数据集非常敏感。在真实环境中，正向和负向数据集之间的不平衡非常严重，这导致学习模型在识别某些入侵行为方面表现较差。并且建立一个好的模型是比较困难的，它需要参数数量巨大，训练耗时，比如深度学习模型。

检测的灵敏性：数据依赖的检测模型在处理具有不断变化的网络拓扑的系统时，可能无法保证其检测效果。比如，当电网网络拓扑发生变化时，相应测量数据的分布和模式也会发生变化，这对于已训练好的模型可能无法适应新的环境。另外，智能电网相比其他物联网应用更加敏感，需要一个简单且快速的检测模型。

科研目的

针对能够训练出简单、快速、高效的检测模型，采用基于无监督的强化学习（RL）方法。提出一种基于RL框架的轻量级网络攻击检测算法，使用深度强化学习（DRL）方法，其中加入自注意力机制对时序流量数据的时空信息特别“关注”，通过马尔科夫决策决(MDP )策思想检测网络攻击行为，优化决策时效质量。具体来说，我们将网络检测分为2个主要层级，一个为环境体构建层，一个为智能体检测决策层。

研究框架

科研背景

后门攻击是利用深度神经网络的过拟合能力， 通过训练、调参等方法使其学习触发器的特征，在触发器和目标标签之间建立潜在的联系。

后门攻击的场景

使用第三方数据集：攻击者可以修改训练数据集；防御者可以修改任何东西，包括模型结构、训练集等。
使用第三方训练平台：攻击者可以修改除了模型数据以外的任何东西；防御者则无法访问实际的训练集和训练模式，只能访问良性测试集。
使用第三方模型：攻击者可以修改任何东西，包括模型结构，训练集等；防御者则无法访问训练集和训练模式，只能访问良性测试集。

后门攻击的分类

科研问题

在大多数这些工作中，触发模式是基于补丁扰动或图像混合。然而，这些后门触发是不自然的，很容易被人类发现。现有的不可见的触发后门攻击在物理世界中表现不佳。

研究目的

设计一种在物理世界表现良好且隐蔽的后门攻击

研究内容1-基于翘曲的后门攻击

研究内容2-基于转换触发器的后门攻击

研究内容3-使用RGB过滤器的后门攻击

总结

科研背景

为了解决传统数据处理方式下时延高、数据实时分析能力匮乏等弊端，边缘计算技术应运而生。边缘计算技术是在靠近物或数据源头的网络边缘侧，通过融合网络、计算、存储、应用核心能力的分布式开放平台，就近提供边缘智能服务。简单点讲，边缘计算是将从终端采集到的数据，直接在靠近数据产生的本地设备或网络中进行分析，无需再将数据传输至云端数据处理中心。以往对电网数据安全的研究主要是针对虚假数据注入攻击，而对边缘计算环境中机器学习模型的攻击相关研究较少。投毒攻击是一种关于机器学习安全对抗研究的重要方向，攻击者在训练机器学习模型之前，向训练数据集中添加精心构造的毒样本数据，此时通过学习算法得到的目标模型将受到影响。

科研问题

作为边缘计算中的数据源，资源受限的物联网设备可能会遭受到对抗性样本的投毒攻击。

针对边缘计算中基于GAN投毒攻击的防御技术相关研究较少，需要对其进行研究。

科研目的

基于对抗性样本的中毒攻击和边缘计算中抵御中毒攻击的差分隐私联邦学习模型进行结合研究基于边缘计算环境的对抗投毒攻击与防御技术。并考虑结合智能电网的边缘环境，使用电力相关数据进行对抗投毒攻击与防御。

科研内容

科研背景

由于FL的分布式结构，它更容易受到对抗性攻击，包括非目标攻击和目标攻击。数据中毒攻击和模型中毒攻击是两种类型的非目标攻击，其目的是通过恶意修改本地数据集或本地模型参数来降低聚合模型的性能。一般来说，如果没有防御部署在FL，一个单一的对手可以成功地实施无针对性的攻击。更不用说拜占庭人的进攻了，这让防守变得更加困难。后门攻击是FL中典型的有针对性的攻击，它比无针对性的攻击具有更强的隐蔽性和入侵性。具体地说，攻击者将后门模式嵌入到聚合模型中，并进一步使模型在主任务和后门任务上都表现良好。因此对联邦学习后门攻击进行防御，成为了重要的研究课题。

科研问题

联邦学习通常容易受到后门和其他模型中毒攻击。首先，当训练数百万参与者时，不可能确保他们中没有一个是恶意的。其次，联邦学习不能使用数据中毒防御。

现有的防御方法的不足之处在于：需要单独部署新的网络模型效率较低。

科研目的

不使用数据中毒防御的情况下，寻找一个强大的和可推广的联邦学习后门攻击缓解系统，此系统可以通过裁剪、随机遗忘、自适应、带约束损失训练等多种技术缓解联邦学习后门攻击。

提出的联邦学习后门攻击防御系统，不需要需要单独部署新的网络模型，防御效率较高。

科研内容

科研背景

随着储能技术进步和成本降低以及需求侧的演化发展，分布式储能在电力系统中的广泛应用是未来电网发展的必然趋势，也是突破传统配电网规划运营方式的重要途径。分布式储能安装地点灵活，与集中式储能比较，减少了集中储能电站的线路损耗和投资压力，但相对于大电网的传统运行模式，目前的分布式储能接入及出力具有分散布局、可控性差等特点。

电池储能系统（Battery Energy Storage System，简称BESS）是一个利用采锂电池/铅电池作为能量储存载体，一定时间内存储电能和一定时间内供应电能的系统，而且提供的电能具有平滑过渡、削峰填谷、调频调压等功能。受滥用、外部环境和操作条件的耐受性差的影响，电池系统可能会发生各种故障，导致电池加速退化，甚至发生安全事故，如热失控（TR）、火灾和爆炸。

科研问题

电池故障问题：现有的数据驱动的方法已经能够进行传感器数据故障识别，但这些方法所需的学习过程具有相当高的计算负担。此外，现有的方法，无论是基于模型的方法或数据驱动的方法，多是根据电压、电流等特征之间的相关性来判断电池是否故障，未考虑电池充电过程的时序变化。

隐私保护问题：在对电动汽车进行故障检测时，不可避免地会收集到电动汽车的隐私信息，传统方式是通过充电桩进行数据收集上传到云端，由此电动汽车会面临隐私泄露问题。

科研目的

提出一种基于Autoformer的故障检测方案， 序列分解模块负责分解充放电序列数据，可以有效提取趋势变化和周期变化。采用对抗训练的方式最大化重构序列与原始序列之间的差距，并使用动态选择阈值方法实现故障检测。

设计一个联邦学习故障检测方案。考虑车辆充电数据上传过程中的隐私问题，设置智能充电桩作为客户端以在本地训练数据，通过中间参数的方式和中央服务器进行交互。可以根据车辆充电过程的变化识别电池故障，并保护车辆隐私数据。

研究内容

Ø实时性（Real-time nature）：现实世界场景中电池故障，有可能产生强烈的热量，或是触发TR更会导致灾难性后果。尤其是在充电过程中过充电时锂金属枝晶有可能会穿透电池引起电池故障。电动汽车在运行过程中可能遭受浸水、碰撞变形和电线故障。这都要求着我们在充电阶段就对电动汽车告警。

Ø可用性（ Usability ）：采用数据驱动的故障检测方式，能够更加准确地衡量算法在现实应用过程中的效果，但与此同时也面临着数据集中的故障原因各异、电池结构不同等情况，这对我们算法的可用性提出了要求。

Ø分布式（Distributed）：由数据驱动的故障检测不可避免地会收集到隐私信息，让数据留在本地能够有效保护电动汽车、储能电池的敏感信息。

科研背景

非侵入式负载监测： 是智能用电和节能技术的重要部分。通过单一传感器有效准确地监测住宅单个电器设备的能源消耗。它的应用价值有降低电费, 节能减排；实现更高的产能和经济效益。

为了提高非侵入性负荷分解的准确性和泛化能力,近年来研究者将注意力转向了新出现的深度学习领域。随着研究的不断深入，研究者发现深度神经网络在恶意制造的对抗样本面前表现出了极大的脆弱性。

科研问题

现有的研究主要集中在传统的对抗性攻击方法在时间序列数据分析任务上的迁移和应用，特别是针对图像处理提出的攻击方法。
现有的针对时间序列数据学习任务对抗性攻击研究并没有针对最先进的深度学习模型，因此不能反映其鲁棒性。
与人眼在图像处理区域的不可感知性不同，对于人眼来说，时间序列数据比图像数据对对抗性扰动更敏感。因此，对于时间序列数据分析，对抗性扰动的程度应该有更严格的要求。

科研目的

面向非侵入式负载监测：
针对具有代表性的时间序列分类深度学习方法，提出一种对抗性攻击方法
研究面向非侵入式负载监测的对抗性攻击缓解策略

研究内容

1、非侵入式负载监测负荷特征

2、对抗攻击产生原因

3、时序数据分类的对抗攻击问题定义

4、方法

本次组会介绍面向联邦学习的类别隐私推理攻击

科研背景

联邦学习实质上是深度学习和分布式计算的结合。在联邦学习中，参与方（客户端）拥有各自的私有数据，而服务器负责协调模型的训练，但不能直接访问客户端的数据。

中间梯度可以用来推断有关训练数据的重要信息，为了避免联邦学习中模型更新的泄漏，提出了安全聚合协议，通过伪随机值掩盖这些数值，以确保没有人可以看到清晰的提交更新。聚合服务器也只能在每一轮训练中获得聚合结果。

攻击者可能通过与一些恶意客户端（间谍）合谋，来窥探其他客户端的私有数据。推理攻击是指攻击者通过某些攻击手段来获取模型的某些信息（如数据集、更新的参数等），来推理获取目标信息。类别推断攻击，旨在推断目标客户端所拥有的数据类别。

科研问题

联邦学习系统极易遭受由恶意参与方在预测阶段发起的成员推理攻击行为，并且现有的防御方法在隐私保护和模型损失之间难以达到平衡。

科研目的

深入研究联邦学习中的推理攻击方法，提高攻击成功的可能性。

针对具体的推理攻击，设计对应防御方法，进行隐私保护和防御。

研究内容

1、提取目标客户端的模型更新

由于安全聚合，无论是服务器还是客户端都无法访问明确的模型更新。通过差分选择策略，通过选择两个相邻的客户端集，二者仅在一个客户端上有所不同，这个差异的客户端（即被替换的客户端）起到了”间谍”的作用。

近似更新与真实更新之间的差异为“噪声”。其会降低攻击性能。为了减轻噪声的负面影响，提出了两种去噪方法。第一种方法是设置一个噪声记录器，模拟训练过程中的噪声。第二种方法是实施重复攻击，以获得多个预测并选择最可能的结果。

2、训练推理模型来预测目标客户端持有的类别

可以通过构建pair<类别更新:类别标签>的数据集，并使用多标签学习来训练一个推理模型，该模型将单个模型更新映射到其对应的类别。

多标签学习是一种机器学习范式，它允许一个数据实例被分配到多个标签，而不仅仅是单一标签。在多标签学习中，每个数据点可以同时属于多个类别。

多标签学习中的一个多标签数据实例（x;Y）由一个数据点x和一个二进制多标签向量Y = (y1, y2, … , yK) 组成，其中K是类别的总数。每个yi表示数据点x是否与相应的第i个类别相关联。

3、隐藏攻击

使类别推理攻击更不显眼，不被诚实的客户端注意到。该攻击可能通过检查两轮中攻击者选择的客户端集之间的相似性被检测出来。如果两轮选择的客户端集过于相似，诚实客户端可能会察觉到被攻击。

因为不同的客户端可能有不同的数据分布、特征和更新，在多轮训练中会表现出多样性。需要采取措施使其选择的客户端集合更随机，模拟正常的联邦学习行为，从而避免引起系统的怀疑。

5、攻击过程

第一步是训练一个多标签推理模型，服务器端攻击者可以构造两个相邻的客户端集合，客户端攻击者复制当前全局模型，基于准备的辅助数据来模拟目标客户端的本地训练过程。一旦获得足够数量的模拟更新，攻击者可以构建一个新的数据集，用于训练推断模型。

研究计划

研究联邦学习多种场景下的推理攻击方法，复现实验进行验证。
对于特定场景中的推理攻击方法，设计基于差分隐私、对抗训练等技术的防御策略，并进行实验验证。

本次组会汇报的内容为《使用机器学习分类器进行梯度提升特征选择并用于电网上的入侵检测》。

科研背景

电网的设计目的是以高效和及时的方式发电和配电，而不是关注系统关键基础设施的安全方面。然而，互联和远程访问的增加使电网面临内部和外部攻击的风险。实时网络攻击可以破坏整个电网。SCADA(Supervisory Control And Data Acquisition)系统，即数据采集与监视控制系统，容易受到网络攻击威胁。

研究内容

本节介绍了入侵检测系统的拟议框架，该系统通过分析电网上的SCADA流量来区分正常和恶意事件。建议的框架分为三个阶段，即，预处理数据，特征选择和异常检测使用分类方法。

WFI评估模型算法概述

Ø1.将所有特征随机划分为不相交的子集，每个子集包含30个特征2（任何剩余特征将直接移动到下一轮）。

Ø2.用每个特征子集训练提升树模型。

Ø3.每一轮中删除一定百分比的特征（称为“特征消除率”），这控制了搜索的持续时间。

Ø4.从每个子集中删除的特征数量由其NDCG@5分数确定：分数越高，从该子集中删除的特征越少。从每个子集的特征重要性列表的底部移除特征。5.将所有剩余的特征合并在一起。重复步骤1到4，直到剩余的特征数不超过30

与其他方案的比较

思考是否可以与前一篇组会报告论文中利用具有少量特征的医疗领域环境，进行的隐私保护的过程相互结合，利用对大量特征的电力网络数据环境中使用特征提取的方法，进行对电力网络攻击行为检测模型的隐私保护过程。