面向智能电网网络攻击的轻量级检测方法：一种强化学习方法

科研背景

着能源需求的变化，电力系统朝着新型电力系统快速转变。越来越多的边缘设备通过多种形式接入到电网内部，增加了网架的负担，对电力物联网的可信度和可靠性提出了巨大挑战，更容易受到网络攻击。在保护数据、网络应用等免受潜在的入侵或攻击方面，成为加强新型电力系统网络安全的基本要求。

科研问题

数据的敏感性：首先，基于数据驱动的模型对训练数据集非常敏感。在真实环境中，正向和负向数据集之间的不平衡非常严重，这导致学习模型在识别某些入侵行为方面表现较差。并且建立一个好的模型是比较困难的，它需要参数数量巨大，训练耗时，比如深度学习模型。

检测的灵敏性：数据依赖的检测模型在处理具有不断变化的网络拓扑的系统时，可能无法保证其检测效果。比如，当电网网络拓扑发生变化时，相应测量数据的分布和模式也会发生变化，这对于已训练好的模型可能无法适应新的环境。另外，智能电网相比其他物联网应用更加敏感，需要一个简单且快速的检测模型。

科研目的

针对能够训练出简单、快速、高效的检测模型，采用基于无监督的强化学习（RL）方法。提出一种基于RL框架的轻量级网络攻击检测算法，使用深度强化学习（DRL）方法，其中加入自注意力机制对时序流量数据的时空信息特别“关注”，通过马尔科夫决策决(MDP )策思想检测网络攻击行为，优化决策时效质量。具体来说，我们将网络检测分为2个主要层级，一个为环境体构建层，一个为智能体检测决策层。

研究框架