本次组会我将汇报一篇文献《Intrusion Detection for Cybersecurity of Smart Meters》，这篇文献来源于IEEE Transactions on Smart Grid。在本次组会中，我将从以下几个方面对本文献进行介绍，分别是：科研背景、科研问题、科研目的、方法、仿真结果与分析、结论、将来的工作、个人总结与思考。

科研背景：

• 信息与通信技术(ICT)的融合使智能电表能够实时通信，参与电力系统的运行。提高了电力系统的可靠性、安全性和效率。
• 计量基础设施在电力供应端和需求端之间起着重要作用。智能电能表配备了双向通信模块，以在客户和电力公司之间交换数据。为了提高服务质量和提供新的服务，许多公用事业公司采用AMI组件。

科研目的：

本文想研究一个入侵检测系统用于识别由人为驱动的恶意行为。相比现有的检测系统中，可以处理不同的入侵类型，而不是只关注特定的入侵类型。

方法：

第一阶段采用支持向量机分类器作为异常行为检测机制。一旦发现可疑行为，第二阶段阶段入侵检测进程被激活。模式识别算法根据基于TFPG技术的预定义攻击路由，计算出相似性指数，表明入侵事件发生的可能性和攻击类型。

结论：

（1）开发了一种考虑智能电表有限计算能力的IDS方法。提出了一种具有两阶段协同检测流程的智能电表检测系统。

（2）开发了一个AMI测试平台。它用于验证和评估AMI网络、网络攻击的影响和IDS的性能。它还能够为基于svm的检测算法生成训练数据。

（3）仿真结果表明，该分类器对特定类别的核函数具有良好的分类性能。与神经网络算法相比，支持向量机具有训练时间短的优点。该特性允许所提出的支持向量机模型频繁更新，以保持高水平的检测精度。

本次组会我将汇报近期学习的论文：面向云数据共享的属性基代理重加密方案，主要从以下几个方面展开：

1.科研背景：

云计算强大的存储和计算能力，让它成为了一种信息基础设施。企业也更倾向于使用云服务进行数据存储和资源共享，云服务为用户提供了一个在云上外包数据的机会，而无需担心数据管理问题。通常由第三方提供，如亚马逊云服务和阿里巴巴云。虽然云服务使用起来很方便，但数据安全和隐私，尤其是共享数据的访问控制，成了一个令人担忧的问题。

2.科研问题：

问题一是共享用户无法确保返回的重新加密密文是原始密文的正确重新加密密文本。云服务器可能会返回错误的重新加密密文，以节省计算成本。不正确的数据可能会给研究结果带来灾难。另一问题是共享用户可能会指责云服务返回错误的重新加密密文，即使重新加密的密文是正确的。这样做，共享用户可能会拒绝为云服务付费，这是商业云服务系统的一个关键问题。

3.科研目的：

实现细粒度加密数据共享，同时保持底层数据的机密性；使共享用户能够验证从云服务器返回的重新加密密文的正确性；保护云服务器，使其在返回正确的重新加密密文后免受恶意指控。

4.问题解决：

论文提出了基于属性的可验证公平密文策略代理重加密概念：介绍了云环境下基于属性的数据共享的可验证性和公平性安全要求；基于属性的可验证公平密文策略代理重加密（VF-CP-ABPRE）的概念；证明了该方案下重加密密文的语义安全性、可验证性和公平性。

5.模型评价:

模型的比较和评价将在ppt及组会报告中讲解展示。

本次组会我将汇报研究课题：基于深度强化学习的微电网电能调度优化的工作进展，主要从以下几个方面展开

1.科研背景：

随着人们对气候变化和全球变暖的日益关注，减少碳排放成为人类社会许多方面的重要课题，而用电需求的快速增长，发电模式日趋多样化以及新能源应用的高速发展，使得微电网成为新兴的发电模式之一，考虑在微电网中利用分布式能源为用户电能需求进行电能调度。

2.科研问题：

开发可再生能源、构建可持续能源系统成为能源行业发展的必然趋势，如何更好的利用微电网中的各种清洁能源来满足用户的电力需求？

3.科研目的：

在微电网调度中心供电侧，提出一种基于深度强化学习(DRL)的作业调度方法，使得用户能够在可以接受的响应时间内，尽可能使用清洁能源并减少用电成本。

4.问题建模：

针对该科研问题，建立的模型、MDP过程在组会中详细介绍。

5.实验设置及结果:

实验设置及结果在ppt中展示。

本次组会将会分享我看的一项新的研究，题目:VulnerGAN: a backdoor attack through vulnerability amplification against machine learning-based network intrusion detection systems（VulnerGAN:针对基于机器学习网络入侵检测系统的漏洞放大后门攻击）。

本次报告将会从六个方面进行介绍，包括研究背景，科研现状，研究目标，算法设计，拟实验结果 研究总结几个方面。

研究背景

随着人工智能技术的发展，近年来互联网设备的防御方法得到了升级，基于机器学习算法（ML-NIDS）的网络入侵检测系统已经出现。
机器学习在增强NIDS识别能力的同时，也增加了NIDS在AI安全方面的风险。ML-NIDS的主要AI威胁是数据中毒和对抗样本。
数据中毒。数据中毒是一种攻击，它通过诱导机器学习算法在模型训练阶段学习错误知识来影响模型训练。对抗样本。对抗样本是一种利用机器学习算法缺陷在模型预
测阶段影响模型预测的攻击。

同时，在人工智能在检测领域也有针对AI风险的加强。然而攻击者如果单独使用投毒或对抗性攻击，可能攻击效果不明显，不会网络系统构成严重的较大安全威胁，大概率被ML-NIDS识别。

科研现状

目前AI攻击主要分两类：数据中毒和对抗样本。其中又分白盒与黑盒。

在目前攻击生成攻击的研究中，往往只偏重某一方面，一是侧重攻击性，而被系统检测的概率太高；而对逃逸性的研究中，其攻击性又显的不足，对网络的攻击威胁不足，还有对生成样本攻击的时间也有很大的提升空间。

研究目标

综上，由于ML – NIDS的后门攻击现有的攻击方法在隐蔽性、攻击性和及时性的不足。
基于上述的需求，提出通过针对黑盒在线ML-NIDS的漏洞放大后，进行后门攻击。该方法可以使传统的网络攻击流量逃离ML – NIDS而进入目标主机或服务器。

1.假设攻击者同时使用本文提出的中毒样本和对抗样本生成器( VulnerGAN-A & B )。
2.将恶意流量转化为相应的中毒样本和对抗样本。
3.将中毒样本放入在线机器学习模型中，放大后门漏洞。最后，所有基于恶意流量生成的对抗样本逃离ML – NIDS，进入主机或服务器而不触发警报。

算法设计

模型假设

针对黑盒在线ML – NIDS的完整后门攻击。
受害者描述：1.在线ML-NIDS系统 2.不存储数据 3.时实调整模型能力 4.概念飘移现象
攻击者描述：1.攻击者不知道内部信息 2.攻击者能收集网络数据或嗅探主主机相关信息 3.可以构造并对目标发送

黑盒模型提取

目的：
1.将一个黑箱问题变成一个白箱问题。
2.它可以避免对目标ML-NIDS的频繁访问，简化目标模型架构，降低敏感度。
3.加快VulnerGAN的收敛速度。

模糊测试

目的：模糊测试旨在获取目标模型的漏洞，并帮助计算中毒和对抗样本。
步骤：
1.流量攻击分类
2.记录预测标签
3.收集与实际不匹配的数据，添加脆弱性集合Svul

中毒和对抗样本的生成算法

本文提出了两种改进的GAN模型：VulnerGAN-A和VulnerGAN-B。
VulnerGAN-A生成中毒样本以扩展模型漏洞并构建特定攻击后门。VulnerGAN-B生成对抗样本以绕过模型检测并实施有效的网络攻击。

算法整体步骤

1.合并流量示例集Strain
2.构造阴影数据集S′train
3.形成漏洞数据库Svul
4.S′train->阴影模型f′
将阴影模型S和漏洞数据库Svul
加载到VulnerGAN中。
5.转换为中毒样本和对抗样本
6.样本投毒。
7.上传对抗样本

实验结果

实验采用简化模型的方式，源ML-NIDS模型简化，采用流行的机器学习算法，如MLP,DNN,RNN,LSTM,GRU等，而阴影模型也是采用这些模型。数据集采用公开的CICIDS（2017 ）数据集。

实验1-源模型与最佳阴影模型的选择比较

结果可以看出，在源模型为GRU，阴影模型为DNN的组成中，准确率最高；而对于任意的源模型中，DNN的阴影模型效果最好，其原因是对未知的模型提取再重构中，DNN发挥的其优势，其结构为未有专门针对唯一的问题结构，可以全连接调节参数获得最佳网络结构。

实验结果 2——模糊测试与模型脆弱性数据库构建

实验结果，PortScan几乎具有90 %以上的准确率，但Botnet的识别准确率均低于84 %。其说明对端口扫描较为简单，特征明显，识别率及高，而对僵尸网络所有识别率低,，一方面的是其数据样本的较少，最者其特征复杂，不易发觉。

实验结果 3——后门攻击和对抗攻击的比较

该实验主要是对算法实现后的数据比较，可以看出在不同的源模型中，初始样本流量的攻击逃逸率非常低，而对于单纯的对抗攻击和数据中毒加对抗一起攻击率几乎达到100%。说明该攻击算法的可性扩极高。

实验结果 4——与相关算法的比较

在横向对比其他生成攻击算法的攻击性，隐秘性和及时性，该方法都是具有较强的优势。

研究总结

1.意义：首先从攻击的角度研究安全方向，这是非常值的研究的方向，而且在国家政策和近年国家护网行动的趋势下，从攻击的角度检验系统的安全性是非常有必要的。

2.从实验设计上，从算法结构上符合逻辑，从实验结果上，实验结果非常优秀，需要考虑导致结果明显的根本原因。是因为源模型的过于简化吗？从现实角度看，一款NIDS系统其中检测框架应该非常复杂。从数据上看，采用2017年的公开数据，随着AI的发展网络攻击者的行为也呈现会有更多的新的变化，是否对现在模型也有些影响。

3.未来研究方向上：可以从源模型的复杂角度

本次组会我将汇报研究题目：基于深度强化学习的电动汽车充电作业调度优化 的工作进展，主要从以下几个方面展开

1.科研背景：

随着“碳中和”目标的提出，新能源汽车得到迅速发展。然而与传统作业调度不同，充电作业在实际场景中具有动态性和复杂性。同时，分时电价也给充电策略的制定带来了不确定性。因此电动汽车数量持续增长的主要挑战之一，就是如何在动态环境下为充电站设计一个可靠的充电控制策略。

2.科研问题:

在实际的充电环境中，无法预知随机的用户行为（如汽车到达离开、充电量、是否支持快充)，也无法准确的预知每个充电桩将来的状态（如充电桩未来t时段的工作状态，后续车辆排队)。因此目前充电站大多还是采用传统的调度方法，即单一实行先到先充电，有空位就充电的策略，没有充分满足用户的实际需求，同时充电类型不匹配的问题会导致电能损耗较大。

3.科研目的：

提出一种基于强化深度学习(DRL)的作业调度方法，在尽可能满足充电用户QoS要求的同时，根据充电作业类型和分时电价，降低充电开销成本。

4.问题建模

针对该科研问题，设计的DRL状态空间、动作空间，奖励函数等，将在组会中进行详细介绍。

5.实验设置及结果

具体实验设置，及实验结果图示将在组会中进行展示。

本次组会汇报的内容是我的研究课题：基于深度强化学习的客服服务调度问题的研究。我将从科研背景、 科研问题、科研方法、实验结果、研究计划、参考文献等方面进行汇报。

1.科研背景

呼叫中心（Call Centers）是客户联系企业或组织进行咨询、投诉、建议等的重要平台，呼叫中心为企业的客户提供基于电话的服务。随着大数据、人工智能等技术的不断发展和趋于成熟，机器人等先进技术的成本下降和能力提高，越来越多的工作将实现自动化，呼叫中心正向智能化方向发展。在呼叫中心加入智能客服的优势是非常明显的，如：节省企业客服成本，提高人工效率等。尽管智能机器人客服的优势很吸引人，但是在应用上还是存在诸多问题，认可度逊色于人工客服，其应用并不成熟。所以我们认为未来呼叫中心不是从人工客服到智能机器人客服的根本性转变，而是两者的结合及相辅相成。

2.科研问题

具有人工和智能机器人两种类型座席的呼叫中心中，呼叫的路由调度也会变得更加复杂，同时我们考虑了老年用户更希望被人工客服服务。采用何种调度算法会使得客户具有更低的平均响应时间、更高的调度成功率以及更高的老年用户被人工客服服务的比例，成为了一个值得研究的课题。

3.科研方法

（1）DRL中的DQN算法 （2） 基于深度强化学习DQN算法解决客服服务调度问题的建模

4.实验结果

实验结果在组会ppt中展示。

5.后续研究计划

（1）继续优化客服服务调度问题的解决思路；（2）读DQN算法解决调度问题的相关论文，熟悉此类论文的写作思路。

科研背景
推进政务信息化发展的重要领域之一就是电子政务，它直接影响国家在世界各国心目中的竞争力和影响力。
如果政府的信息安全稍有不慎出现泄漏，都有可能威胁到整个国家的安全。在信息化高度发展的今天，信息安全充当的是国家安全的核心角色。
必须将电子政务信息安全问题放在首位。基于角色的访问控制模型不能直接用于复杂电子政务系统中，面临复杂政务领域的是授权管理问题，基于组织的四层访问控制模(Organization Based 4 Level Access Control,OB4LAC)应运而生。

科研问题
本文结合现实问题以及相关研究，以 OB4LAC 模型为基础提出基于时间和环境约束的四层访问控制模型，然后对模型的各个部分进行详细描述，再给出模型的访问控制策略和算法流程，实现模型根据时间和环境的变化动态地为用户分配权限。
管理模型的概述。根据模型的管理任务，提出该模型的管理模型，对元素之间的指派关系进行管理，使授权过程变得简单明了，方便人们更好的利用系统服务大众，从而更好的解决时间和环境约束下的访问控制问题。
TEB4LAC 模型在复杂电子政务系统中的应用。分析并设计基于时间和环境约束的访问控制模型的总体设计结构，并详细地概述系统的各个模块。根据系统实际运行结果，对比原模型给出 TEB4LAC 模型的优势。

方法–基于时间和环境约束的四层访问控制模型
改进的访问控制模型具有以下优势：
(1) 从静态授权到动态授权的转变：引入行为的概念，由原来的用户-岗位-角色-权限的授权形式改变为用户-岗位行为-角色行为-权限的形式，其中行为是个三元组，包括岗位（角色）、时态和环境信息。根据行为的状态，系统由原来的静态授权方式，转变成有时间和环境约束的动态授权形式。
(2) 提高授权的安全性：模型增添并融合了时间和环境约束，满足了系统中一些对时间和环境敏感的工作任务的访问控制需求。不仅使授权变得更加灵活，增加了动态性，同时也增加了系统的安全性，从而更好的应对复杂政务系统面临新环境下的挑战。

本次组会汇报近期看的一个模型。2017 年，Google 在论文 Attention is All you need 中提出了 Transformer 模型，其使用 Self-Attention 结构取代了在 NLP 任务中常用的 RNN 网络结构。我会从Transformer整体结构的入手开始汇报。

以上内容都会在组会中详细介绍

本次组会将会分享我的一项新的研究，题目暂定为Application of Deep Reinforcement Learning to Dynamic Role-Based Access Control Policy: a Case Study in Smart Grid，即深度强化学习在动态角色访问控制策略中的应用——以智能电网为例。

本次报告将会从四个方面进行介绍，包括研究背景，研究目标，拟采用方案，以及研究计划。

研究背景

随着信息和通讯技术的发展，基于角色的访问控制（RBAC）已经广泛的应用于身份验证，成为大型组织为建立访问控制的一种解决方案，然而，在一些场景下可能会导致传统的RBAC模型失效，例如：

1.凭证（credential）的丢失或被盗取。[El Kalam et al., 2018]

2.来自内部的恶意威胁。[Fragkos et al., 2021]

3.错误的设置了RBAC的策略。[Fragkos et al., 2021]

上述的问题可能会使未经获得授权的人浏览到敏感的信息，或使信息遭到恶意破坏。

其中，RBAC的结构图如图1所示。

研究目的

因此，鉴于传统的RBAC在上述场景下存在缺陷，我们希望设计一种动态的RBAC模型，能够基于授权用户的行为属性，自动的对用户-角色的分配进行更新。

基于上述的需求，我们以智能电网为例，使用深度强化学习设计了一种动态的RBAC模型，从而应对凭证泄露后，来自内部已经得到授权的用户所带来的威胁。

拟采用方案

图片2展示了我们的混合RBAC模型的操作流程，当用户请求一个角色后，首先会检测其是否拥有角色（role），如果拥有角色的话，接下来就会使用DRL中的最优策略函数，对用户的可信度等级进行评估，从而决定是否对用户进行授权，给予其申请的角色。

其中，深度强化学习的状态空间，动作空间，奖励等设置问题将会在组会中进行详细的介绍。

本次组会将按照博士开题报告要求介绍如下一些内容：

一、选题背景及其意义（包括理论意义和学术价值）；
二、国内外研究现状及发展动态分析
三、课题研究内容、目标以及拟解决关键问题；课题研究内容
四、拟采取的研究方案及可行性分析（包括有关方法、技术路线、实验手段、关键技术等说明）研究方案及难点
五、预期成果和可能的创新点
六、论文工作计划

一，研究背景

2. 研究问题：

3.研究目标

为了能够使用个体供应商电力数据的同时保证数据的隐私，我们提出了一种受差分隐私约束的联邦学习与数据生成模型相结合的框架，实现分布的隐私数据共享。

4.研究的内容

为实现研究目标，我们需要研究如下几个问题

a.数据生成技术研究发展已久，但考虑到电力数据的时序性、高维度等特点，哪种生成技术最为适合我们的研究目标？

b. 考虑实际的电力系统中，用户的用电数据是分散在各个供应商手中，联邦学习虽然已经应用到许多电力系统的监督学习模型中，但无监督学习的生成模型与联邦学习相结合的研究目前还比较少。尤其是对于GAN这种生成模型中没有直接优化目标函数的模型，联邦学习如何组织各个供应商手中的数据稳定、快速、训练高质量的生成模型仍是一个难点。

c. 为提供生成数据可证明的隐私性保障，方案打算通过2006年提出的差分隐私技术实现。但对于所用的深度学习模型，需要具体考虑差分隐私的噪声如何加入到我们的数据中，是模型训练前，训练后还是训练中？噪声应该加入多少才能保证可用性和隐私性？数据的敏感度是如何度量的?

d. 生成数据是为了能够取代真实数据进行发布的，但如何度量生成数据的相似性，可用性，隐私性是一个开放性的问题，涉及到高维度的时间序列数据，生成数据的评估方案计算量和可行性也是一个需要考虑的内容。

5. 拟采用方案

针对研究的内容，我们采用的方案如下：

a:比较了主流的数据生成技术，我们选用目前最好的数据生成模型GAN

b：考虑到实际的数据分布情况，我们将联邦学习与GAN结合，并将模型的结构进行了适当的改进，采用了中心节点一个生成器的结构，加速模型训练。为了稳定模型训练过程，我们使用了WGAN-GP对数据的梯度进行了约束。为了能够充分提取出电力数据的时序特征，我们在GAN中构建了多层的卷积网络。

c. 经过梳理与分析，我们的方案采用模型训练过程中加入噪声的方式实现差分隐私，即2016年提出的DP-SGD方案，具体而言，我们在GAN中的生成器模型中最后一层激活函数中加入高斯差分隐私。对于敏感度的测量，我们采用2018年提出的瑞丽（Renyi）散度进行计算。

d. 为了能够更好的评估生成的数据的相似性，可用性和隐私性，我们对现有的众多评估指标进行了梳理。对于生成数据的隐私性评估方案这一难题，我们提出了自己的方案，简单来说，是找到真实数据集与生成数据集中最相似的点，同时去除这些记录来构造相邻数据集，实现对隐私损失的计算。