面向智能电网网络攻击的轻量级检测方法：一种强化学习方法

科研背景

着能源需求的变化，电力系统朝着新型电力系统快速转变。越来越多的边缘设备通过多种形式接入到电网内部，增加了网架的负担，对电力物联网的可信度和可靠性提出了巨大挑战，更容易受到网络攻击。在保护数据、网络应用等免受潜在的入侵或攻击方面，成为加强新型电力系统网络安全的基本要求。

科研问题

数据的敏感性：首先，基于数据驱动的模型对训练数据集非常敏感。在真实环境中，正向和负向数据集之间的不平衡非常严重，这导致学习模型在识别某些入侵行为方面表现较差。并且建立一个好的模型是比较困难的，它需要参数数量巨大，训练耗时，比如深度学习模型。

检测的灵敏性：数据依赖的检测模型在处理具有不断变化的网络拓扑的系统时，可能无法保证其检测效果。比如，当电网网络拓扑发生变化时，相应测量数据的分布和模式也会发生变化，这对于已训练好的模型可能无法适应新的环境。另外，智能电网相比其他物联网应用更加敏感，需要一个简单且快速的检测模型。

科研目的

针对能够训练出简单、快速、高效的检测模型，采用基于无监督的强化学习（RL）方法。提出一种基于RL框架的轻量级网络攻击检测算法，使用深度强化学习（DRL）方法，其中加入自注意力机制对时序流量数据的时空信息特别“关注”，通过马尔科夫决策决(MDP )策思想检测网络攻击行为，优化决策时效质量。具体来说，我们将网络检测分为2个主要层级，一个为环境体构建层，一个为智能体检测决策层。

研究框架

智能电网中一种基于强化学习的时序网络攻击检测方法

科研背景

着能源需求的变化，电力系统朝着新型电力系统快速转变。越来越多的边缘设备通过多种形式接入到电网内部，增加了网架的负担，对电力物联网的可信度和可靠性提出了巨大挑战，更容易受到网络攻击。在保护数据、网络应用等免受潜在的入侵或攻击方面，成为加强新型电力系统网络安全的基本要求。

科研问题

1.攻击隐蔽性:目前攻击表现更加隐蔽，攻击者往往采用更智能方式，如GAN对抗和强化学习策略，攻击效率效果提高，属于博弈与探索方式的智能攻击形态，攻击者成本更低，比传统攻击方式隐私性更强，危害更大。

2.检测的灵敏性:面对不确定的电网环境（间歇性可再生能源和未知的攻击模式、时间和位置），探测器的检测过程一般是这样：在给定的时间，使用当前的横截面数据，决策者要么宣布数据异常，要么等待下一个时间间隔进行进一步测量。当错误检测，可能导致攻击检测延迟。因此，宣布决策时间的选择至关重要，它平衡了检测速度和准确性之间的权衡关系。

科研目的

提出一种面向时序网络数据的攻击检测方法，使用深度强化学习（DRL）方法，加入自编码器对时序流量数据的特征提取，通过马尔科夫决策决策思想检测攻击网络攻击行为，优化决策时效质量。具体来说，我们将网络检测分为2个主要层级，一个为网络特征提取层，一个为智能体检测决策层。

研究框架

智能电网中一种特征向量的强化学习网络攻击检测方法

科研背景

着能源需求的变化，电力系统朝着新型电力系统快速转变。越来越多的边缘设备通过多种形式接入到电网内部，增加了网架的负担，对电力物联网的可信度和可靠性提出了巨大挑战，更容易受到网络攻击。在保护数据、网络应用等免受潜在的入侵或攻击方面，成为加强新型电力系统网络安全的基本要求。

科研问题

1.攻击隐蔽性:目前攻击表现更加隐蔽，攻击者往往采用更智能方式，如GAN对抗和强化学习策略，攻击效率效果提高，属于博弈与探索方式的智能攻击形态，攻击者成本更低，比传统攻击方式隐私性更强，危害更大。

2.检测的灵敏性:面对不确定的电网环境（间歇性可再生能源和未知的攻击模式、时间和位置），探测器的检测过程一般是这样：在给定的时间，使用当前的横截面数据，决策者要么宣布数据异常，要么等待下一个时间间隔进行进一步测量。当错误检测，可能导致攻击检测延迟。因此，宣布决策时间的选择至关重要，它平衡了检测速度和准确性之间的权衡关系

3.检测效率:面对网络流量与数据特征日益繁杂，且网络数据特征中，存在许多冗余特征或重复特征情况，这些可能会引起的高误报率和计算效率低等挑战。

科研目的

提出一种面向时序网络数据的攻击检测方法，使用深度强化学习（DRL）方法，加入自编码器对时序流量数据的特征提取，通过马尔科夫决策决策思想检测攻击网络攻击行为，优化决策时效质量。具体来说，我们将网络检测分为2个主要层级，一个为网络特征提取层，一个为智能体检测决策层。

研究框架

智能电网中一种联邦双强化学习网络攻击检测方法

科研背景

随着能源需求的变化，电力系统朝着新型电力系统快速转变。越来越多的边缘设备通过多种形式接入到电网内部，增加了网架的负担，对电力物联网的可信度和可靠性提出了巨大挑战，更容易受到网络攻击。在保护数据、网络应用等免受潜在的入侵或攻击方面，成为加强新型电力系统网络安全的基本要求。

科研问题

1.攻击智能化。目前攻击表现更加隐蔽，攻击者往往采用更智能方式，如GAN对抗和强化学习策略，攻击效率效果提高，属于博弈与探索方式的智能攻击形态，比传统攻击方式隐私性更强。继而在传统检测方式上，对此类隐蔽方式效果不佳。

2.数据传输的不可信。现代通信技术用于智能电网的不同领域，例如IEC 61850，但这些通信技术和协议本身包含各种传统和新的漏洞，当原始数据传出过程中可能存在数据泄密或篡改的风险。

3.集中任务模式的变化。随着传统IT架构向着云-雾-边结构演变，和目前时刻产生的海量数据，与任务时效的高要求，过去集中式的调度任务，难于胜任目前分布式的计算需求，逐渐由需要集中的复杂任务转变为卸载到雾边节点就可以完成的简单任务。

4.FL数据的非平衡分布。在分布式架构朴素联邦学习策略中，试图以IID 通过跨客户端加权聚合深度学习模型来实现。然而，在实际场景下，本地数据在不同边缘设备（客户端）之间是不均匀分布的，导致模型训练缓慢，联邦学习的准确性降低。

科研目地

它集成了深度强化学习（DRL）算法，根据攻击前后的隐藏状态特性，把变化检测问题表述为部分可观察的马尔可夫决策过程 (POMDP) 问题 ，用于电网中中网络攻击的检测模型。
集成了一种分布式联邦方案，该方案结合了联邦学习和强化学习(FedDRL)，实现分布式的数据模型聚合。
它采用强化学习来自适应动态确定每个客户端的影响因子（将用作聚合过程中的权重），实现联邦框架对每个客户端自动聚合计算。

Fed2DRL研究框架

科研背景

随着能源需求的变化，电力系统朝着新型电力系统快速转变。越来越多的边缘设备通过多种形式接入到电网内部，增加了网架的负担，对电力物联网的可信度和可靠性提出了巨大挑战，更容易受到网络攻击。在保护数据、网络应用等免受潜在的入侵 或攻击方面，成为加强新型电力 系统网络安全的基本 要求。

目前电网(Cyber-Physical Systems，CPS)的攻击形式多样化，攻击事件呈现频繁的状态，如： 2022年内乌克兰能源公司被软件后门攻击、2021美国德克萨斯州二月冬季风暴使该州能源市场失灵、2020年韩国一家能源供应商被网络 勒索、2019 年美国电网被 DoS 攻击等。

科研问题

1.系统的复杂性。基于各种移动边缘电力电子设备的增加，如电动汽车和无人机等，和对需求响应和本地储能提高，也增加了系统的复杂性和动态性，对网络安全提出极大挑战。

2.通信的脆弱性。现代通信技术用于智能电网的不同领域，例如IEC 61850，但这些通信技术和协议本身包含各种传统和新的漏洞，缺乏足够的安全设计来保证可信的数据通信。

3.攻击的智能性。目前攻击表现更加隐蔽，攻击者往往采用更智能方式，如GAN对抗和强化学习策略，攻击效率效果提高，属于博弈与探索方式的智能攻击形态，攻击者成本更低，比传统攻击方式隐私性更强，危害更大。

4.FL的安全与隐私性。传统IT架构向着云-雾-边结构演变，过去需要集中的任务只需中心调度卸载到雾边节点就行，适合分布式架构的任务。该场景的FL框架在该模式下具有极大的优势，同时也面临数据隐私可能泄漏的问题。

科研目地

提出了一个 联邦信任框架（称为 Fed-Trust），联邦框架与区块链协调合作、边缘聚合，联邦利用区块链和边缘计算的优势来实现边缘节点本地更新的隐私保护和分布式聚合。它集成了深度强化学习（DRL）算法，根据攻击前后的隐藏状态特性，把变化检测问题表述为部分可观察的马尔可夫决策过程 (POMDP) 问题 ，用于电网中中网络攻击的检测模型。

Fed-Trust研究框架

我本次汇报的是我的研究课题《考虑数据隐私保护的BTM光伏发电预测：一种联邦深度强化学习方法》，我将从科研背景、科研问题、科研方法、研究计划、参考文献五个方面进行汇报。

科研背景

“表后”的术语（behind the meter,BTM）是指位于单个实体拥有的单个建筑物或多个设施中的可再生能源系统.通常与分布式发电和存储单元一起运行，以满足最终用户的全部或部分能源需求，BTM 系统的关键部分是通过有效的优化和调度算法来协调负载。

主要特点：1位置（区分behind-the-meter (BTM) and front-of-meter systems ?能源系统相对电表的位置） 2.现场生成（用户资产上产生任何能源的都视为表后，包括pv，小型风力涡轮机，甚至燃气发电机等） 3.现场发电使用 4.现场储能 5.不可见（对于服务商，没有记录，没有监测）

按照尺寸分类一般可分为二类：智能家居、微电网

好处：经济效益、减少温室气体、延期电网投资、提高电网弹性和电能质量、能源独立和安全

BTM系统可能的影响

电力系统变化：大量的BTM光伏系统，on-site发电量的增加导致了电力系统的运行和规划的变化，特别是在一天中的关键时刻，负载预测发生了变化
改变区域负荷：大量BTM光伏系统会显著改变区域净负荷曲线的形状，并带来平衡和可靠性挑战，如中午高峰显著下降，而后夜升高
电力公司难以观测：电力公司只能获得用户累积的净负载数据，BTM光伏系统情况下，难以将光伏与实际负载分开观测
负荷预测退化：大量BTM渗透，对负载预测质量下降，阻碍可靠和高效的网络

科研问题

对比btm的影响来说，有减轻甚至避免的方法，核心就是对BTM光伏系统的容量和未来发电量提前预测。

表后预测光伏问题：精度、安全、隐私和适配

科研目的

1.提出了一种深度强化学习（DRL）中的深度确定性策略梯度（DDPG）算法作为BTM光伏发电预测的基本预测模型，与传统预测方法相比，可以提高预测精度。
2.为了处理数据的隐私性和开放性、资源开销等，提出了一种分布式联邦预测方案，该方案结合了联邦学习和DRL(FedDRL)，用于多区域的BTM发电预测。

研究内容

联邦学习主要由一个联合服务器和多个客户端组成。大多数训练过程都是在每个客户端的边缘设备上本地完成的。原始数据彼此之间不共享，通过共享参数的方式，适用于解决数据隐私和分布式场景的问题。
DDPG作为一种深度强化学习算法，在解决连续动作空间问题方面具有高效稳定的能力。并且它是基于Actor-Critic(演员—评论家)框架的算法，该框架有四个神经网络。Actor(演员)和Critic(评论家)各包含一个主网络和一个目标网络。

具体研究内容将会在组会详细介绍。

这次组会主要介绍《电动汽车协调充电调度研究》，从科研背景、科研问题、科研目的、研究内容等几个方面展开。

科研背景：

电动汽车的发展：随着温室气体排放、化石能源枯竭和价格上涨导致的全球气候变暖加剧，交通电气化是减少碳排放、实现可持续发展的关键解决方案。电动汽车因其使用环境友好型能源、维护成本低、能源利用效率高等优点，将占据交通运输的核心地位。
电网的影响：电动汽车是电网中重要的负荷形式，大规模电动汽车的无序充电会增加电网负荷曲线的峰值负荷和负荷方差。这些影响包括加剧峰值负荷的负担、影响电压和频率、增加功率损耗、降低稳定性、对输电线路造成压力等。不协调充电的不良影响将威胁电网运行的稳定性和安全性

科研问题：

根据调度目标的情况，一般可分为单目标调度模型和多目标调度模型。其中多为经济指标与电网稳定指标，但目标其优化目标多为侧重考虑一个目标，比如降低成本，增加收益或提高电网稳定性，或将其一方视为约束，难以同时满足。
电动汽车与电网（vehicle-to-grid,V2G）网络之间的数据交换包含敏感数据，大多数通信体系结构缺乏匿名性和隐私性，没有考虑用户隐私。他们通常以提供个性化服务的名义，在未经许可的情况下提供电动汽车车主的信息。缺乏从电动汽车调度到完成财务结算的一整套流程。

科研目的：

根据匿名性和隐私性，设计一种从电动汽车调度到结算的安全和隐私保护的方案。
考虑电网负荷波动和电动汽车用户的充电成本，根据充电需求的差异性，提出了一种新的集中式协调充电调度模型。

研究内容：

1.基于联盟区块链构建安全隐私优化电动汽车充放电交易方案

2.根据紧急需求在不同充电模式下的电动汽车充电调度方案

具体内容在组会ppt中展示。

实验结果：

在组会ppt中展示。

后续研究计划：

在组会ppt中展示。

本次组会将会分享我看的一项新的研究，题目:VulnerGAN: a backdoor attack through vulnerability amplification against machine learning-based network intrusion detection systems（VulnerGAN:针对基于机器学习网络入侵检测系统的漏洞放大后门攻击）。

本次报告将会从六个方面进行介绍，包括研究背景，科研现状，研究目标，算法设计，拟实验结果 研究总结几个方面。

研究背景

随着人工智能技术的发展，近年来互联网设备的防御方法得到了升级，基于机器学习算法（ML-NIDS）的网络入侵检测系统已经出现。
机器学习在增强NIDS识别能力的同时，也增加了NIDS在AI安全方面的风险。ML-NIDS的主要AI威胁是数据中毒和对抗样本。
数据中毒。数据中毒是一种攻击，它通过诱导机器学习算法在模型训练阶段学习错误知识来影响模型训练。对抗样本。对抗样本是一种利用机器学习算法缺陷在模型预
测阶段影响模型预测的攻击。

同时，在人工智能在检测领域也有针对AI风险的加强。然而攻击者如果单独使用投毒或对抗性攻击，可能攻击效果不明显，不会网络系统构成严重的较大安全威胁，大概率被ML-NIDS识别。

科研现状

目前AI攻击主要分两类：数据中毒和对抗样本。其中又分白盒与黑盒。

在目前攻击生成攻击的研究中，往往只偏重某一方面，一是侧重攻击性，而被系统检测的概率太高；而对逃逸性的研究中，其攻击性又显的不足，对网络的攻击威胁不足，还有对生成样本攻击的时间也有很大的提升空间。

研究目标

综上，由于ML – NIDS的后门攻击现有的攻击方法在隐蔽性、攻击性和及时性的不足。
基于上述的需求，提出通过针对黑盒在线ML-NIDS的漏洞放大后，进行后门攻击。该方法可以使传统的网络攻击流量逃离ML – NIDS而进入目标主机或服务器。

1.假设攻击者同时使用本文提出的中毒样本和对抗样本生成器( VulnerGAN-A & B )。
2.将恶意流量转化为相应的中毒样本和对抗样本。
3.将中毒样本放入在线机器学习模型中，放大后门漏洞。最后，所有基于恶意流量生成的对抗样本逃离ML – NIDS，进入主机或服务器而不触发警报。

算法设计

模型假设

针对黑盒在线ML – NIDS的完整后门攻击。
受害者描述：1.在线ML-NIDS系统 2.不存储数据 3.时实调整模型能力 4.概念飘移现象
攻击者描述：1.攻击者不知道内部信息 2.攻击者能收集网络数据或嗅探主主机相关信息 3.可以构造并对目标发送

黑盒模型提取

目的：
1.将一个黑箱问题变成一个白箱问题。
2.它可以避免对目标ML-NIDS的频繁访问，简化目标模型架构，降低敏感度。
3.加快VulnerGAN的收敛速度。

模糊测试

目的：模糊测试旨在获取目标模型的漏洞，并帮助计算中毒和对抗样本。
步骤：
1.流量攻击分类
2.记录预测标签
3.收集与实际不匹配的数据，添加脆弱性集合Svul

中毒和对抗样本的生成算法

本文提出了两种改进的GAN模型：VulnerGAN-A和VulnerGAN-B。
VulnerGAN-A生成中毒样本以扩展模型漏洞并构建特定攻击后门。VulnerGAN-B生成对抗样本以绕过模型检测并实施有效的网络攻击。

算法整体步骤

1.合并流量示例集Strain
2.构造阴影数据集S′train
3.形成漏洞数据库Svul
4.S′train->阴影模型f′
将阴影模型S和漏洞数据库Svul
加载到VulnerGAN中。
5.转换为中毒样本和对抗样本
6.样本投毒。
7.上传对抗样本

实验结果

实验采用简化模型的方式，源ML-NIDS模型简化，采用流行的机器学习算法，如MLP,DNN,RNN,LSTM,GRU等，而阴影模型也是采用这些模型。数据集采用公开的CICIDS（2017 ）数据集。

实验1-源模型与最佳阴影模型的选择比较

结果可以看出，在源模型为GRU，阴影模型为DNN的组成中，准确率最高；而对于任意的源模型中，DNN的阴影模型效果最好，其原因是对未知的模型提取再重构中，DNN发挥的其优势，其结构为未有专门针对唯一的问题结构，可以全连接调节参数获得最佳网络结构。

实验结果 2——模糊测试与模型脆弱性数据库构建

实验结果，PortScan几乎具有90 %以上的准确率，但Botnet的识别准确率均低于84 %。其说明对端口扫描较为简单，特征明显，识别率及高，而对僵尸网络所有识别率低,，一方面的是其数据样本的较少，最者其特征复杂，不易发觉。

实验结果 3——后门攻击和对抗攻击的比较

该实验主要是对算法实现后的数据比较，可以看出在不同的源模型中，初始样本流量的攻击逃逸率非常低，而对于单纯的对抗攻击和数据中毒加对抗一起攻击率几乎达到100%。说明该攻击算法的可性扩极高。

实验结果 4——与相关算法的比较

在横向对比其他生成攻击算法的攻击性，隐秘性和及时性，该方法都是具有较强的优势。

研究总结

1.意义：首先从攻击的角度研究安全方向，这是非常值的研究的方向，而且在国家政策和近年国家护网行动的趋势下，从攻击的角度检验系统的安全性是非常有必要的。

2.从实验设计上，从算法结构上符合逻辑，从实验结果上，实验结果非常优秀，需要考虑导致结果明显的根本原因。是因为源模型的过于简化吗？从现实角度看，一款NIDS系统其中检测框架应该非常复杂。从数据上看，采用2017年的公开数据，随着AI的发展网络攻击者的行为也呈现会有更多的新的变化，是否对现在模型也有些影响。

3.未来研究方向上：可以从源模型的复杂角度