本次组会汇报的内容是我的研究课题：基于深度强化学习的客服服务调度问题的研究。我将从科研背景、 科研问题、科研方法、实验结果、研究计划、参考文献等方面进行汇报。

1.科研背景

呼叫中心（Call Centers）是客户联系企业或组织进行咨询、投诉、建议等的重要平台，呼叫中心为企业的客户提供基于电话的服务。随着大数据、人工智能等技术的不断发展和趋于成熟，机器人等先进技术的成本下降和能力提高，越来越多的工作将实现自动化，呼叫中心正向智能化方向发展。在呼叫中心加入智能客服的优势是非常明显的，如：节省企业客服成本，提高人工效率等。尽管智能机器人客服的优势很吸引人，但是在应用上还是存在诸多问题，认可度逊色于人工客服，其应用并不成熟。所以我们认为未来呼叫中心不是从人工客服到智能机器人客服的根本性转变，而是两者的结合及相辅相成。

2.科研问题

具有人工和智能机器人两种类型座席的呼叫中心中，呼叫的路由调度也会变得更加复杂，同时我们考虑了老年用户更希望被人工客服服务。采用何种调度算法会使得客户具有更低的平均响应时间、更高的调度成功率以及更高的老年用户被人工客服服务的比例，成为了一个值得研究的课题。

3.科研方法

（1）DRL中的DQN算法 （2） 基于深度强化学习DQN算法解决客服服务调度问题的建模

4.实验结果

实验结果在组会ppt中展示。

5.后续研究计划

（1）继续优化客服服务调度问题的解决思路；（2）读DQN算法解决调度问题的相关论文，熟悉此类论文的写作思路。

科研背景
推进政务信息化发展的重要领域之一就是电子政务，它直接影响国家在世界各国心目中的竞争力和影响力。
如果政府的信息安全稍有不慎出现泄漏，都有可能威胁到整个国家的安全。在信息化高度发展的今天，信息安全充当的是国家安全的核心角色。
必须将电子政务信息安全问题放在首位。基于角色的访问控制模型不能直接用于复杂电子政务系统中，面临复杂政务领域的是授权管理问题，基于组织的四层访问控制模(Organization Based 4 Level Access Control,OB4LAC)应运而生。

科研问题
本文结合现实问题以及相关研究，以 OB4LAC 模型为基础提出基于时间和环境约束的四层访问控制模型，然后对模型的各个部分进行详细描述，再给出模型的访问控制策略和算法流程，实现模型根据时间和环境的变化动态地为用户分配权限。
管理模型的概述。根据模型的管理任务，提出该模型的管理模型，对元素之间的指派关系进行管理，使授权过程变得简单明了，方便人们更好的利用系统服务大众，从而更好的解决时间和环境约束下的访问控制问题。
TEB4LAC 模型在复杂电子政务系统中的应用。分析并设计基于时间和环境约束的访问控制模型的总体设计结构，并详细地概述系统的各个模块。根据系统实际运行结果，对比原模型给出 TEB4LAC 模型的优势。

方法–基于时间和环境约束的四层访问控制模型
改进的访问控制模型具有以下优势：
(1) 从静态授权到动态授权的转变：引入行为的概念，由原来的用户-岗位-角色-权限的授权形式改变为用户-岗位行为-角色行为-权限的形式，其中行为是个三元组，包括岗位（角色）、时态和环境信息。根据行为的状态，系统由原来的静态授权方式，转变成有时间和环境约束的动态授权形式。
(2) 提高授权的安全性：模型增添并融合了时间和环境约束，满足了系统中一些对时间和环境敏感的工作任务的访问控制需求。不仅使授权变得更加灵活，增加了动态性，同时也增加了系统的安全性，从而更好的应对复杂政务系统面临新环境下的挑战。

本次组会汇报近期看的一个模型。2017 年，Google 在论文 Attention is All you need 中提出了 Transformer 模型，其使用 Self-Attention 结构取代了在 NLP 任务中常用的 RNN 网络结构。我会从Transformer整体结构的入手开始汇报。

1.Transformer的inputs 输入

2.Transformer的Encoder

3 Transformer的Decoder

4 Transformer的输出

以上内容都会在组会中详细介绍

本次组会将会分享我的一项新的研究，题目暂定为Application of Deep Reinforcement Learning to Dynamic Role-Based Access Control Policy: a Case Study in Smart Grid，即深度强化学习在动态角色访问控制策略中的应用——以智能电网为例。

本次报告将会从四个方面进行介绍，包括研究背景，研究目标，拟采用方案，以及研究计划。

研究背景

随着信息和通讯技术的发展，基于角色的访问控制（RBAC）已经广泛的应用于身份验证，成为大型组织为建立访问控制的一种解决方案，然而，在一些场景下可能会导致传统的RBAC模型失效，例如：

1.凭证（credential）的丢失或被盗取。[El Kalam et al., 2018]

2.来自内部的恶意威胁。[Fragkos et al., 2021]

3.错误的设置了RBAC的策略。[Fragkos et al., 2021]

上述的问题可能会使未经获得授权的人浏览到敏感的信息，或使信息遭到恶意破坏。

其中，RBAC的结构图如图1所示。

研究目的

因此，鉴于传统的RBAC在上述场景下存在缺陷，我们希望设计一种动态的RBAC模型，能够基于授权用户的行为属性，自动的对用户-角色的分配进行更新。

基于上述的需求，我们以智能电网为例，使用深度强化学习设计了一种动态的RBAC模型，从而应对凭证泄露后，来自内部已经得到授权的用户所带来的威胁。

拟采用方案

图片2展示了我们的混合RBAC模型的操作流程，当用户请求一个角色后，首先会检测其是否拥有角色（role），如果拥有角色的话，接下来就会使用DRL中的最优策略函数，对用户的可信度等级进行评估，从而决定是否对用户进行授权，给予其申请的角色。

其中，深度强化学习的状态空间，动作空间，奖励等设置问题将会在组会中进行详细的介绍。

本次组会汇报近期读的一篇论文，是2022年发表在IEEE Internet of Things Journal上的”Blockchain-Inspired Secure Computation Offloading in a Vehicular Cloud Network”。论文提出了一种VCN中基于区块链的安全计算卸载方案，来保证计算卸载的安全智能。此次将从科研背景、科研问题、研究方法、实验及个人思考总结等几个方面展开介绍。

科研背景

科研问题

研究方法

本次组会将按照博士开题报告要求介绍如下一些内容：

一、选题背景及其意义（包括理论意义和学术价值）；
二、国内外研究现状及发展动态分析
三、课题研究内容、目标以及拟解决关键问题；课题研究内容
四、拟采取的研究方案及可行性分析（包括有关方法、技术路线、实验手段、关键技术等说明）研究方案及难点
五、预期成果和可能的创新点
六、论文工作计划

一，研究背景

2. 研究问题：

3.研究目标

为了能够使用个体供应商电力数据的同时保证数据的隐私，我们提出了一种受差分隐私约束的联邦学习与数据生成模型相结合的框架，实现分布的隐私数据共享。

4.研究的内容

为实现研究目标，我们需要研究如下几个问题

a.数据生成技术研究发展已久，但考虑到电力数据的时序性、高维度等特点，哪种生成技术最为适合我们的研究目标？

b. 考虑实际的电力系统中，用户的用电数据是分散在各个供应商手中，联邦学习虽然已经应用到许多电力系统的监督学习模型中，但无监督学习的生成模型与联邦学习相结合的研究目前还比较少。尤其是对于GAN这种生成模型中没有直接优化目标函数的模型，联邦学习如何组织各个供应商手中的数据稳定、快速、训练高质量的生成模型仍是一个难点。

c. 为提供生成数据可证明的隐私性保障，方案打算通过2006年提出的差分隐私技术实现。但对于所用的深度学习模型，需要具体考虑差分隐私的噪声如何加入到我们的数据中，是模型训练前，训练后还是训练中？噪声应该加入多少才能保证可用性和隐私性？数据的敏感度是如何度量的?

d. 生成数据是为了能够取代真实数据进行发布的，但如何度量生成数据的相似性，可用性，隐私性是一个开放性的问题，涉及到高维度的时间序列数据，生成数据的评估方案计算量和可行性也是一个需要考虑的内容。

5. 拟采用方案

针对研究的内容，我们采用的方案如下：

a:比较了主流的数据生成技术，我们选用目前最好的数据生成模型GAN

b：考虑到实际的数据分布情况，我们将联邦学习与GAN结合，并将模型的结构进行了适当的改进，采用了中心节点一个生成器的结构，加速模型训练。为了稳定模型训练过程，我们使用了WGAN-GP对数据的梯度进行了约束。为了能够充分提取出电力数据的时序特征，我们在GAN中构建了多层的卷积网络。

c. 经过梳理与分析，我们的方案采用模型训练过程中加入噪声的方式实现差分隐私，即2016年提出的DP-SGD方案，具体而言，我们在GAN中的生成器模型中最后一层激活函数中加入高斯差分隐私。对于敏感度的测量，我们采用2018年提出的瑞丽（Renyi）散度进行计算。

d. 为了能够更好的评估生成的数据的相似性，可用性和隐私性，我们对现有的众多评估指标进行了梳理。对于生成数据的隐私性评估方案这一难题，我们提出了自己的方案，简单来说，是找到真实数据集与生成数据集中最相似的点，同时去除这些记录来构造相邻数据集，实现对隐私损失的计算。

本次组会汇报的是近期读的一篇论文，是2021年发表在IEEE TSC上的”Blockchain based Multi-Authority Fine-Grained Access Control System with Flexible Revocation”。文章提出了一种基于密钥策略属性的多权限和灵活撤销加密方案（MAFR-KP-ABE），以实现分散授权和灵活撤销的特性。又提出了一种基于MAFR-KP-ABE方案和区块链的细粒度访问控制系统，该系统满足付费数据共享服务的需求，并增强了若干安全属性。

科研背景：

随着云计算的发展，企业和组织更多会选择云服务来进行数据存储和资源共享。但是当用户想安全且有选择地共享数据时，加密数据的云存储给数据细粒度访问控制带来了巨大挑战。并且从2005年至今，属性密码备受学术界和工业界关注，一直是热门研究方向。但是国内外研究侧重纯理论、特定场景解决方案研究，研究成果之间不成体系。

科研问题：

一是实际部署的密码系统离不开用户撤销和用户密钥撤销机制，但既存的属性密码撤销机制无法兼容效率和可靠性，二是访问控制要满足越来越复杂的数据共享需求，传统的数据共享系统面临新的挑战。

科研内容：

本次组会汇报的内容为开题前的一些梳理工作介绍，将从研究背景及意义、研究现状、研究内容及目标、工作进展及方法和进度安排这几方面展开。

研究背景

研究现状

研究内容

本次组会主要汇报的内容是分布式储能网络化运营体系中数据安全与隐私保护问题研究，依据最近开题的研究内容进行一些内容的梳理，主要从背景知识介绍、科研背景、科研问题、研究内容、个人思考与总结等几个方面展开。

背景知识介绍

科研背景

1.“十四五”规划阶段将发展分布式储能列为构建能源体系中的重要一环。
2.基于新型储能模式下，在目前的物理信息融合体系之下存在数据安全，用户隐私泄露等一系列的安全问题。
3.基于云储能模式中，云储能用户和云储能提供商之间的数据流动等问题容易泄露等造成一系列问题。

科研问题：数据隐私问题：云储能双方数据交互之间存在隐私泄露的问题。

研究内容