本次组会将会分享我的一项新的研究，题目暂定为Application of Deep Reinforcement Learning to Dynamic Role-Based Access Control Policy: a Case Study in Smart Grid，即深度强化学习在动态角色访问控制策略中的应用——以智能电网为例。

本次报告将会从四个方面进行介绍，包括研究背景，研究目标，拟采用方案，以及研究计划。

研究背景

随着信息和通讯技术的发展，基于角色的访问控制（RBAC）已经广泛的应用于身份验证，成为大型组织为建立访问控制的一种解决方案，然而，在一些场景下可能会导致传统的RBAC模型失效，例如：

1.凭证（credential）的丢失或被盗取。[El Kalam et al., 2018]

2.来自内部的恶意威胁。[Fragkos et al., 2021]

3.错误的设置了RBAC的策略。[Fragkos et al., 2021]

上述的问题可能会使未经获得授权的人浏览到敏感的信息，或使信息遭到恶意破坏。

其中，RBAC的结构图如图1所示。

研究目的

因此，鉴于传统的RBAC在上述场景下存在缺陷，我们希望设计一种动态的RBAC模型，能够基于授权用户的行为属性，自动的对用户-角色的分配进行更新。

基于上述的需求，我们以智能电网为例，使用深度强化学习设计了一种动态的RBAC模型，从而应对凭证泄露后，来自内部已经得到授权的用户所带来的威胁。

拟采用方案

图片2展示了我们的混合RBAC模型的操作流程，当用户请求一个角色后，首先会检测其是否拥有角色（role），如果拥有角色的话，接下来就会使用DRL中的最优策略函数，对用户的可信度等级进行评估，从而决定是否对用户进行授权，给予其申请的角色。

其中，深度强化学习的状态空间，动作空间，奖励等设置问题将会在组会中进行详细的介绍。

在上一次组会报告中，我对我的研究《A QoS-Aware Job Scheduling Framework for Applications in Clouds: DQN Based Reinforcement Learning Algorithm with Preemption
》进行了初步的介绍。目前该研究的相关实验已经基本完成，并且正在撰写论文，因此本次组会汇报将围绕我的研究内容以及写作分为三部分介绍，首先是对于文章背景，科研目的，公式以及框架等内容的回顾；其次是对于实验最终结果的汇报；最后会和大家分享一些最近写作的感想以及分享比较好用的写作网站。具体内容如下：

第一大部分

研究背景：

因此，随着云服务市场规模的不断扩大，越来越多的公司选择将自己的应用迁移到云服务平台上进行，然而，这同时也带来了相应的挑战，首先由于在云平台上加载的工作流的大小在不断的变化，对于云服务供应商而言难以去追踪每一个工作流的服务质量。其次，云服务供应商可以提供多种类型的虚拟机，例如高计算性能或高内存的虚拟机实例，并且每一个虚拟机实体的计算性能各不相同，与此同时，基于云服务平台的应用不仅需要执行用户所提交的任务，同时也需要满足用户对于该应用的服务质量要求。

科研目的：

因为云服务供应商无法提供类似的优化，因此我们希望设计基于深度强化学习的框架，能够让应用学会自己来进行实时任务的调度，并且能够满足用户的期望，即在用户所期待的最长执行之间之内完成任务。

与此同时，为了进一步提升任务执行的成功率，我们提出了一种抢占机制，并把这种抢占机制应用到了即将超过用户期待时间的任务中，从而进一步提高任务的成功率。

框架：

第二大部分实验结果：

首先是在不同任务到达率情况下任务的成功率以及任务的相应时间，其中肉色的bar代表我们自己的方法：

其次是在任务类型（computing intensive/ I/O intensive）比例不同的情况下，不同任务调度方法的成功率与响应时间：

在最终的第三部分，想和大家分享一下最近写文章的时候，通过自己的一些亲身体会，谈谈对于先写英文再翻译成中文与直接用英文写的差别，以及如何克服类似一用英文写文章就没有什么头绪等等的问题。

本次组会将会对我《A QoS-Aware Job Scheduling Framework for Applications in Clouds: DQN Based Deep Reinforcement Learning Algorithm with Preemption》研究计划进行一次详细的报告，具体内容如下：

科研背景与问题：

随着云服务市场规模的不断扩大，许多的IaaS供应商，利于亚马逊，微软等，已经能够为用户提供强大的计算与存储服务。而对于公司与个人用户而言，其能够越来越轻松的通过低成本的方式，租用这些IaaS供应商的服务，因此，越来越多的公司选择将自己的应用迁移到云服务平台上进行运作。在云环境中，基于云平台的应用的资源管理变得尤为的重要，尤其是如何高效地利用服务器的资源。

然而，这同时也带来了相应的挑战，其一是由于在云平台上加载的工作流的大小在不断的变化，对于云服务供应商而言难以去追踪每一个工作流的服务质量。其二，云服务供应商可以提供多种类型的虚拟机，例如高计算性能或高内存的虚拟机实例，并且每一个虚拟机实体的计算性能各不相同。其三，基于云服务平台的应用不仅需要执行用户所提交的任务，同时也需要满足用户对于该应用的服务质量要求。

科研目的与方法：

因此，基于上述的三个挑战，我们提出了一种基于深度强化学习的智能任务调度框架，致力于让处于云端的应用能够自动完成实时任务的调度，并且引入了用户最长等待时间作为评判任务是否成功执行的标准来代表云端应用的服务质量（Quality of Service， aka QoS)。具体框架如图1所示。

与此同时，为了进一步提升任务执行的成功率，我们提出了一种抢占机制，并把这种抢占机制应用到了即将超过用户期待时间的任务中。其中传统的DQN方法会在每次新的任务来临时将任务与VMs的状态空间送到DNN中，从而得出最佳结果，即该任务应该被调度到哪台VM上进行执行。而加入了抢占机制之后，在每次新任务来临时，每台VM的队列都会进行一次检查，使即将到达其最长等待时间的任务抢占该VM，从而在每一次通过DNN进行任务调度之前进行一次内部抢占检测，从而进一步提高任务的成功率。

个人思考与总结

将会与大家分享我的上一篇论文“Vector Autoregression for Predicting COVID-19 Confirmed Cases using Multiple Open Access Datasets: A case study in the UK”中，关于editor给我的拒信的相关内容，总结其中的一些经验教训。