科研背景

随着分布式能源 (Distributed Energy Resource,DER) 单元的不断接入,传统配电网的单向电力传输方式正逐渐向主动配电网的双向电力传输方式转变,这种转变对配电网的感知、控制和协调能力提出了更高的要求。
单个DER额定容量很少，但是其渗透性在不断提高。为减小风电和太阳能光伏等DER单元间隙性发电对用户侧电能质量的影响,配电网给众多馈线支路安装大量的智能电子设备 (IED)和远程终端单元(RTU) 对DER运行状况进行实时监测感知。一旦攻击者入侵至配电网通信网络,并利用恶意漏洞控制DER 单元,可能造成发电节点失效和大规模停电事件,产生不可估量的经济损失,甚至对人员造成伤亡.

科研问题

1.基于模型的检测方法,易被攻击者识破：基于模型的被动式方法十分依赖于准确的模型知识如配电网网络拓扑和线路参数等。一旦攻击者了解了防护方法的工作原理,且得到了这些静态信息,将极有可能使得基于模型的被动式方法失效

2.基于数据的检测方法,忽略了电气系统的物理拓扑结构。电力系统的不规则拓扑结构已被建模为图形，每个网格总线和分支分别直观地抽象为顶点（节点）和边。而在数据驱动的检测方法中，往往忽略这种拓扑结构，利用这种利用电网的底层图结构来提高检测性能是可行的。

科研目的

1.根据DERs系统物理结构信息，我们提出一个图表示学习方法，这种方法能够捕获新的结构状态信息，从而提高检测效率。
2.根据物理—信息这种复杂动态系统，采用马尔可夫决策流程 （MDP） 来有效地对网络攻击行为进行建模，并通过与从少量观察到的数据中得出的最佳奖励，自主探索内在的攻击意图，提高检测效果。

科研背景

随着分布式能源 (Distributed Energy Resource,DER) 单元的不断接入,传统配电网的单向电力传输方式正逐渐向主动配电网的双向电力传输方式转变,这种转变对配电网的感知、控制和协调能力提出了更高的要求。
单个DER额定容量很少，但是其渗透性在不断提高。为减小风电和太阳能光伏等DER单元间隙性发电对用户侧电能质量的影响,配电网给众多馈线支路安装大量的智能电子设备 (IED)和远程终端单元(RTU) 对DER运行状况进行实时监测感知。一旦攻击者入侵至配电网通信网络,并利用恶意漏洞控制DER 单元,可能造成发电节点失效和大规模停电事件,产生不可估量的经济损失,甚至对人员造成伤亡.

科研问题

1.基于模型的检测方法,易被攻击者识破：基于模型的被动式方法十分依赖于准确的模型知识如配电网网络拓扑和线路参数等。一旦攻击者了解了防护方法的工作原理,且得到了这些静态信息,将极有可能使得基于模型的被动式方法失效

2.基于数据的检测方法,忽略了电气系统的物理拓扑结构。电力系统的不规则拓扑结构已被建模为图形，每个网格总线和分支分别直观地抽象为顶点（节点）和边。而在数据驱动的检测方法中，往往忽略这种拓扑结构，利用这种利用电网的底层图结构来提高检测性能是可行的。

科研目的

1.根据DERs系统物理结构信息，我们提出一个图表示学习方法，这种方法能够捕获新的结构状态信息，从而提高检测效率。
2.根据物理—信息这种复杂动态系统，采用马尔可夫决策流程 （MDP） 来有效地对网络攻击行为进行建模，并通过与从少量观察到的数据中得出的最佳奖励，自主探索内在的攻击意图，提高检测效果。

科研背景

随着分布式能源 (Distributed Energy Resource,DER) 单元的不断接入,传统配电网的单向电力传输方式正逐渐向主动配电网的双向电力传输方式转变,这种转变对配电网的感知、控制和协调能力提出了更高的要求。单个DER额定容量很少，但是其渗透性在不断提高。为减小风电和太阳能光伏等DER单元间隙性发电对用户侧电能质量的影响,配电网给众多馈线支路安装大量的智能电子设备 (IED)和远程终端单元(RTU) 对DER运行状况进行实时监测感知。一旦攻击者入侵至配电网通信网络,并利用恶意漏洞控制DER 单元,可能造成发电节点失效和大规模停电事件,产生不可估量的经济损失,甚至对人员造成伤亡.

基于DER智能逆变器的电网级架构

攻击模型

科研问题

1.基于模型的检测方法,易被攻击者识破：基于模型的被动式方法十分依赖于准确的模型知识如配电网网络拓扑和线路参数等。这些模型知识在配电网运行时变化很小, 因此可被当作静态信息。但是，一旦攻击者了解了防护方法的工作原理,且得到了这些静态信息,将极有可能使得基于模型的被动式方法失效

2.基于数据的检测方法,忽略了电气系统的物理拓扑结构。电力系统的不规则拓扑结构已被建模为图形，每个网格总线和分支分别直观地抽象为顶点（节点）和边。每个节点的邻域是相邻节点的集合，其中包括节点本身和通过边连接到它的节点。而在数据驱动的检测方法中，往往忽略这种拓扑结构，利用这种利用电网的底层图结构来提高检测性能是可行的。

研究目的

1.根据DERs系统物理结构信息，我们提出一个图表示学习方法，这种方法能够捕获新的结构状态信息，从而提高检测效率。
2.根据物理—信息这种复杂动态系统，采用马尔可夫决策流程 （MDP） 来有效地对网络攻击行为进行建模，并通过与从少量观察到的数据中得出的最佳奖励，自主探索内在的攻击意图，提高检测效果。

研究内容

面向智能电网网络攻击的轻量级检测方法：一种强化学习方法

科研背景

着能源需求的变化，电力系统朝着新型电力系统快速转变。越来越多的边缘设备通过多种形式接入到电网内部，增加了网架的负担，对电力物联网的可信度和可靠性提出了巨大挑战，更容易受到网络攻击。在保护数据、网络应用等免受潜在的入侵或攻击方面，成为加强新型电力系统网络安全的基本要求。

科研问题

数据的敏感性：首先，基于数据驱动的模型对训练数据集非常敏感。在真实环境中，正向和负向数据集之间的不平衡非常严重，这导致学习模型在识别某些入侵行为方面表现较差。并且建立一个好的模型是比较困难的，它需要参数数量巨大，训练耗时，比如深度学习模型。

检测的灵敏性：数据依赖的检测模型在处理具有不断变化的网络拓扑的系统时，可能无法保证其检测效果。比如，当电网网络拓扑发生变化时，相应测量数据的分布和模式也会发生变化，这对于已训练好的模型可能无法适应新的环境。另外，智能电网相比其他物联网应用更加敏感，需要一个简单且快速的检测模型。

科研目的

针对能够训练出简单、快速、高效的检测模型，采用基于无监督的强化学习（RL）方法。提出一种基于RL框架的轻量级网络攻击检测算法，使用深度强化学习（DRL）方法，其中加入自注意力机制对时序流量数据的时空信息特别“关注”，通过马尔科夫决策决(MDP )策思想检测网络攻击行为，优化决策时效质量。具体来说，我们将网络检测分为2个主要层级，一个为环境体构建层，一个为智能体检测决策层。

研究框架

智能电网中一种基于强化学习的时序网络攻击检测方法

科研背景

着能源需求的变化，电力系统朝着新型电力系统快速转变。越来越多的边缘设备通过多种形式接入到电网内部，增加了网架的负担，对电力物联网的可信度和可靠性提出了巨大挑战，更容易受到网络攻击。在保护数据、网络应用等免受潜在的入侵或攻击方面，成为加强新型电力系统网络安全的基本要求。

科研问题

1.攻击隐蔽性:目前攻击表现更加隐蔽，攻击者往往采用更智能方式，如GAN对抗和强化学习策略，攻击效率效果提高，属于博弈与探索方式的智能攻击形态，攻击者成本更低，比传统攻击方式隐私性更强，危害更大。

2.检测的灵敏性:面对不确定的电网环境（间歇性可再生能源和未知的攻击模式、时间和位置），探测器的检测过程一般是这样：在给定的时间，使用当前的横截面数据，决策者要么宣布数据异常，要么等待下一个时间间隔进行进一步测量。当错误检测，可能导致攻击检测延迟。因此，宣布决策时间的选择至关重要，它平衡了检测速度和准确性之间的权衡关系。

科研目的

提出一种面向时序网络数据的攻击检测方法，使用深度强化学习（DRL）方法，加入自编码器对时序流量数据的特征提取，通过马尔科夫决策决策思想检测攻击网络攻击行为，优化决策时效质量。具体来说，我们将网络检测分为2个主要层级，一个为网络特征提取层，一个为智能体检测决策层。

研究框架

智能电网中一种特征向量的强化学习网络攻击检测方法

科研背景

着能源需求的变化，电力系统朝着新型电力系统快速转变。越来越多的边缘设备通过多种形式接入到电网内部，增加了网架的负担，对电力物联网的可信度和可靠性提出了巨大挑战，更容易受到网络攻击。在保护数据、网络应用等免受潜在的入侵或攻击方面，成为加强新型电力系统网络安全的基本要求。

科研问题

1.攻击隐蔽性:目前攻击表现更加隐蔽，攻击者往往采用更智能方式，如GAN对抗和强化学习策略，攻击效率效果提高，属于博弈与探索方式的智能攻击形态，攻击者成本更低，比传统攻击方式隐私性更强，危害更大。

2.检测的灵敏性:面对不确定的电网环境（间歇性可再生能源和未知的攻击模式、时间和位置），探测器的检测过程一般是这样：在给定的时间，使用当前的横截面数据，决策者要么宣布数据异常，要么等待下一个时间间隔进行进一步测量。当错误检测，可能导致攻击检测延迟。因此，宣布决策时间的选择至关重要，它平衡了检测速度和准确性之间的权衡关系

3.检测效率:面对网络流量与数据特征日益繁杂，且网络数据特征中，存在许多冗余特征或重复特征情况，这些可能会引起的高误报率和计算效率低等挑战。

科研目的

提出一种面向时序网络数据的攻击检测方法，使用深度强化学习（DRL）方法，加入自编码器对时序流量数据的特征提取，通过马尔科夫决策决策思想检测攻击网络攻击行为，优化决策时效质量。具体来说，我们将网络检测分为2个主要层级，一个为网络特征提取层，一个为智能体检测决策层。

研究框架

智能电网中一种联邦双强化学习网络攻击检测方法

科研背景

随着能源需求的变化，电力系统朝着新型电力系统快速转变。越来越多的边缘设备通过多种形式接入到电网内部，增加了网架的负担，对电力物联网的可信度和可靠性提出了巨大挑战，更容易受到网络攻击。在保护数据、网络应用等免受潜在的入侵或攻击方面，成为加强新型电力系统网络安全的基本要求。

科研问题

1.攻击智能化。目前攻击表现更加隐蔽，攻击者往往采用更智能方式，如GAN对抗和强化学习策略，攻击效率效果提高，属于博弈与探索方式的智能攻击形态，比传统攻击方式隐私性更强。继而在传统检测方式上，对此类隐蔽方式效果不佳。

2.数据传输的不可信。现代通信技术用于智能电网的不同领域，例如IEC 61850，但这些通信技术和协议本身包含各种传统和新的漏洞，当原始数据传出过程中可能存在数据泄密或篡改的风险。

3.集中任务模式的变化。随着传统IT架构向着云-雾-边结构演变，和目前时刻产生的海量数据，与任务时效的高要求，过去集中式的调度任务，难于胜任目前分布式的计算需求，逐渐由需要集中的复杂任务转变为卸载到雾边节点就可以完成的简单任务。

4.FL数据的非平衡分布。在分布式架构朴素联邦学习策略中，试图以IID 通过跨客户端加权聚合深度学习模型来实现。然而，在实际场景下，本地数据在不同边缘设备（客户端）之间是不均匀分布的，导致模型训练缓慢，联邦学习的准确性降低。

科研目地

它集成了深度强化学习（DRL）算法，根据攻击前后的隐藏状态特性，把变化检测问题表述为部分可观察的马尔可夫决策过程 (POMDP) 问题 ，用于电网中中网络攻击的检测模型。
集成了一种分布式联邦方案，该方案结合了联邦学习和强化学习(FedDRL)，实现分布式的数据模型聚合。
它采用强化学习来自适应动态确定每个客户端的影响因子（将用作聚合过程中的权重），实现联邦框架对每个客户端自动聚合计算。

Fed2DRL研究框架

科研背景

随着能源需求的变化，电力系统朝着新型电力系统快速转变。越来越多的边缘设备通过多种形式接入到电网内部，增加了网架的负担，对电力物联网的可信度和可靠性提出了巨大挑战，更容易受到网络攻击。在保护数据、网络应用等免受潜在的入侵 或攻击方面，成为加强新型电力 系统网络安全的基本 要求。

目前电网(Cyber-Physical Systems，CPS)的攻击形式多样化，攻击事件呈现频繁的状态，如： 2022年内乌克兰能源公司被软件后门攻击、2021美国德克萨斯州二月冬季风暴使该州能源市场失灵、2020年韩国一家能源供应商被网络 勒索、2019 年美国电网被 DoS 攻击等。

科研问题

1.系统的复杂性。基于各种移动边缘电力电子设备的增加，如电动汽车和无人机等，和对需求响应和本地储能提高，也增加了系统的复杂性和动态性，对网络安全提出极大挑战。

2.通信的脆弱性。现代通信技术用于智能电网的不同领域，例如IEC 61850，但这些通信技术和协议本身包含各种传统和新的漏洞，缺乏足够的安全设计来保证可信的数据通信。

3.攻击的智能性。目前攻击表现更加隐蔽，攻击者往往采用更智能方式，如GAN对抗和强化学习策略，攻击效率效果提高，属于博弈与探索方式的智能攻击形态，攻击者成本更低，比传统攻击方式隐私性更强，危害更大。

4.FL的安全与隐私性。传统IT架构向着云-雾-边结构演变，过去需要集中的任务只需中心调度卸载到雾边节点就行，适合分布式架构的任务。该场景的FL框架在该模式下具有极大的优势，同时也面临数据隐私可能泄漏的问题。

科研目地

提出了一个 联邦信任框架（称为 Fed-Trust），联邦框架与区块链协调合作、边缘聚合，联邦利用区块链和边缘计算的优势来实现边缘节点本地更新的隐私保护和分布式聚合。它集成了深度强化学习（DRL）算法，根据攻击前后的隐藏状态特性，把变化检测问题表述为部分可观察的马尔可夫决策过程 (POMDP) 问题 ，用于电网中中网络攻击的检测模型。

Fed-Trust研究框架

我本次汇报的是我的研究课题《考虑数据隐私保护的BTM光伏发电预测：一种联邦深度强化学习方法》，我将从科研背景、科研问题、科研方法、研究计划、参考文献五个方面进行汇报。

科研背景

“表后”的术语（behind the meter,BTM）是指位于单个实体拥有的单个建筑物或多个设施中的可再生能源系统.通常与分布式发电和存储单元一起运行，以满足最终用户的全部或部分能源需求，BTM 系统的关键部分是通过有效的优化和调度算法来协调负载。

主要特点：1位置（区分behind-the-meter (BTM) and front-of-meter systems ?能源系统相对电表的位置） 2.现场生成（用户资产上产生任何能源的都视为表后，包括pv，小型风力涡轮机，甚至燃气发电机等） 3.现场发电使用 4.现场储能 5.不可见（对于服务商，没有记录，没有监测）

按照尺寸分类一般可分为二类：智能家居、微电网

好处：经济效益、减少温室气体、延期电网投资、提高电网弹性和电能质量、能源独立和安全

BTM系统可能的影响

电力系统变化：大量的BTM光伏系统，on-site发电量的增加导致了电力系统的运行和规划的变化，特别是在一天中的关键时刻，负载预测发生了变化
改变区域负荷：大量BTM光伏系统会显著改变区域净负荷曲线的形状，并带来平衡和可靠性挑战，如中午高峰显著下降，而后夜升高
电力公司难以观测：电力公司只能获得用户累积的净负载数据，BTM光伏系统情况下，难以将光伏与实际负载分开观测
负荷预测退化：大量BTM渗透，对负载预测质量下降，阻碍可靠和高效的网络

科研问题

对比btm的影响来说，有减轻甚至避免的方法，核心就是对BTM光伏系统的容量和未来发电量提前预测。

表后预测光伏问题：精度、安全、隐私和适配

科研目的

1.提出了一种深度强化学习（DRL）中的深度确定性策略梯度（DDPG）算法作为BTM光伏发电预测的基本预测模型，与传统预测方法相比，可以提高预测精度。
2.为了处理数据的隐私性和开放性、资源开销等，提出了一种分布式联邦预测方案，该方案结合了联邦学习和DRL(FedDRL)，用于多区域的BTM发电预测。

研究内容

联邦学习主要由一个联合服务器和多个客户端组成。大多数训练过程都是在每个客户端的边缘设备上本地完成的。原始数据彼此之间不共享，通过共享参数的方式，适用于解决数据隐私和分布式场景的问题。
DDPG作为一种深度强化学习算法，在解决连续动作空间问题方面具有高效稳定的能力。并且它是基于Actor-Critic(演员—评论家)框架的算法，该框架有四个神经网络。Actor(演员)和Critic(评论家)各包含一个主网络和一个目标网络。

具体研究内容将会在组会详细介绍。

这次组会主要介绍《电动汽车协调充电调度研究》，从科研背景、科研问题、科研目的、研究内容等几个方面展开。

科研背景：

电动汽车的发展：随着温室气体排放、化石能源枯竭和价格上涨导致的全球气候变暖加剧，交通电气化是减少碳排放、实现可持续发展的关键解决方案。电动汽车因其使用环境友好型能源、维护成本低、能源利用效率高等优点，将占据交通运输的核心地位。
电网的影响：电动汽车是电网中重要的负荷形式，大规模电动汽车的无序充电会增加电网负荷曲线的峰值负荷和负荷方差。这些影响包括加剧峰值负荷的负担、影响电压和频率、增加功率损耗、降低稳定性、对输电线路造成压力等。不协调充电的不良影响将威胁电网运行的稳定性和安全性

科研问题：

根据调度目标的情况，一般可分为单目标调度模型和多目标调度模型。其中多为经济指标与电网稳定指标，但目标其优化目标多为侧重考虑一个目标，比如降低成本，增加收益或提高电网稳定性，或将其一方视为约束，难以同时满足。
电动汽车与电网（vehicle-to-grid,V2G）网络之间的数据交换包含敏感数据，大多数通信体系结构缺乏匿名性和隐私性，没有考虑用户隐私。他们通常以提供个性化服务的名义，在未经许可的情况下提供电动汽车车主的信息。缺乏从电动汽车调度到完成财务结算的一整套流程。

科研目的：

根据匿名性和隐私性，设计一种从电动汽车调度到结算的安全和隐私保护的方案。
考虑电网负荷波动和电动汽车用户的充电成本，根据充电需求的差异性，提出了一种新的集中式协调充电调度模型。

研究内容：

1.基于联盟区块链构建安全隐私优化电动汽车充放电交易方案

2.根据紧急需求在不同充电模式下的电动汽车充电调度方案

具体内容在组会ppt中展示。

实验结果：

在组会ppt中展示。

后续研究计划：

在组会ppt中展示。