智能电网中一种联邦双强化学习网络攻击检测方法

科研背景

随着能源需求的变化，电力系统朝着新型电力系统快速转变。越来越多的边缘设备通过多种形式接入到电网内部，增加了网架的负担，对电力物联网的可信度和可靠性提出了巨大挑战，更容易受到网络攻击。在保护数据、网络应用等免受潜在的入侵或攻击方面，成为加强新型电力系统网络安全的基本要求。

科研问题

1.攻击智能化。目前攻击表现更加隐蔽，攻击者往往采用更智能方式，如GAN对抗和强化学习策略，攻击效率效果提高，属于博弈与探索方式的智能攻击形态，比传统攻击方式隐私性更强。继而在传统检测方式上，对此类隐蔽方式效果不佳。

2.数据传输的不可信。现代通信技术用于智能电网的不同领域，例如IEC 61850，但这些通信技术和协议本身包含各种传统和新的漏洞，当原始数据传出过程中可能存在数据泄密或篡改的风险。

3.集中任务模式的变化。随着传统IT架构向着云-雾-边结构演变，和目前时刻产生的海量数据，与任务时效的高要求，过去集中式的调度任务，难于胜任目前分布式的计算需求，逐渐由需要集中的复杂任务转变为卸载到雾边节点就可以完成的简单任务。

4.FL数据的非平衡分布。在分布式架构朴素联邦学习策略中，试图以IID 通过跨客户端加权聚合深度学习模型来实现。然而，在实际场景下，本地数据在不同边缘设备（客户端）之间是不均匀分布的，导致模型训练缓慢，联邦学习的准确性降低。

科研目地

它集成了深度强化学习（DRL）算法，根据攻击前后的隐藏状态特性，把变化检测问题表述为部分可观察的马尔可夫决策过程 (POMDP) 问题 ，用于电网中中网络攻击的检测模型。
集成了一种分布式联邦方案，该方案结合了联邦学习和强化学习(FedDRL)，实现分布式的数据模型聚合。
它采用强化学习来自适应动态确定每个客户端的影响因子（将用作聚合过程中的权重），实现联邦框架对每个客户端自动聚合计算。

Fed2DRL研究框架