我本次组会的汇报题目是《利用深度强化学习在绿色数据中心进行多目标任务调度》（Multi-objective Task Scheduling in Green Data Centres with Deep Reinforcement Learning），我将从科研背景，科研问题，科研目的，研究内容等方面进行介绍。

科研背景

近些年来，随着互联网的迅速发展，如电子邮件，远程会议，在线聊天与搜索等业务得到了极大的普及。与此同时，越来越多的服务被部署在云数据中心中。因此，数据中心的规模和能耗一直在显著增加。然而，随着数据中心不断增加，其货币成本、能源消耗的增加和有害气体排放已成为社会面临的严峻问题。统计报告显示，2010年，数据中心消耗的能源占世界总能耗的1.3%。因此上述问题已经成为了一个丞待解决的问题。

科研问题

随着越来越多的用户在数据中心部署他们的延迟受限的应用，如大数据处理、深度学习和高性能计算，大规模数据中心的能源消耗量也急剧增加。在美国，超过57%的电能是通过燃烧褐色能源（如石油和煤炭）产生的，它带来了严重的环境破坏。因此越来越多的企业建立了绿色能源中心。目前的绿色数据中心（Green Data Centre, GDCs）主要由三种能源供电，即电网、太阳能和风能，它们旨在通过使用可再生设备减少褐色能源的消耗。

然而，对于绿色数据中心而言，如何在严格保证其任务的服务质量（quality of service）的前提下来保证其利润仍然是一个开放的话题。因为当能源消耗减少时，用户任务的服务质量会降低，然而绿色数据中心的利润会提高，因此，供应商的利润和任务的服务质量需要通过智能调度任务和分配基础设施资源来共同优化。

科研目的：

因此本研究提出了一种基于深度强化学习的任务调度算法，使一个数据中心由于有利的天气条件而拥有更多的可再生能源时，优先在能保证任务QoS的情况下将任务分配到该能源中心从而减少电网的能源消耗。从而达到保证用户QoS，降低成本与减少碳排放的多目标。

问题建模：

针对该问题，包括具体的框架以及数学模型将会在组会上进行详细的介绍。

因为目前方向还没有完全确定，最近两个月主要是在看文章找场景以及场景中存在的问题，例如边缘云计算（edge-cloud computing），多云(inter-cloud)等场景。根据上次组会之后这一个多月文献的阅读，本周组会我选择了多云场景中的一个分支混合云（hybrid cloud）来和大家进行讨论。选择混合云这个场景的原因有如下的几点：

1.首先由下图所示，这张图描述了在Masdari and Zangakani 2019年关于多云（inter-cloud）间进行任务调度的综述中，所引用的文献的年份分布，从这张图可以看出，从2010年开始，针对这个场景的研究呈现出逐年增加的趋势，因此可以认为目前有很多人都在针对这个场景下进行工作流/任务调度。具有一定的参考价值。

2. 根据Masdari and Zangakani在2019年的研究，inter-cloud上进行scheduling的场景主要可以分为三类，即federation，multi-cloud以及hybrid cloud。本次我介绍的重点主要放在了hybrid cloud上。在先前的组会中，已经有同学在着手与隐私相结合，对hybrid cloud进行研究。我关注的领域主要是hybrid cloud中的elastic属性，例如Genez在2017年的研究，以及Yi Zhang在2018年的研究。在带有elastic属性的hybrid cloud场景中，存在一个私有云和多个公有云，当私有云的空间不足的时候，管理员可以在公共云上创建私有云的扩展。从而使用公有云的资源。

3.除此之外，例如Zhanghui Liu以及Haitao Yuan的研究也考虑到了数据中心之间网络带宽的因素，因为跨地理分布的数据中心移动数据会导致极大的延迟，并阻碍scientific workflows或者BAG的有效执行。在Haitao Yuan的研究中，更是在绿色数据中心（GDC）将收入、电网价格、太阳光强度、风速、网络带宽等多种因素进行了考虑。

具体内容将会在组会报告中进行详细报告与讨论。

本次组会将会分享我的一项新的研究，题目暂定为Application of Deep Reinforcement Learning to Dynamic Role-Based Access Control Policy: a Case Study in Smart Grid，即深度强化学习在动态角色访问控制策略中的应用——以智能电网为例。

本次报告将会从四个方面进行介绍，包括研究背景，研究目标，拟采用方案，以及研究计划。

研究背景

随着信息和通讯技术的发展，基于角色的访问控制（RBAC）已经广泛的应用于身份验证，成为大型组织为建立访问控制的一种解决方案，然而，在一些场景下可能会导致传统的RBAC模型失效，例如：

1.凭证（credential）的丢失或被盗取。[El Kalam et al., 2018]

2.来自内部的恶意威胁。[Fragkos et al., 2021]

3.错误的设置了RBAC的策略。[Fragkos et al., 2021]

上述的问题可能会使未经获得授权的人浏览到敏感的信息，或使信息遭到恶意破坏。

其中，RBAC的结构图如图1所示。

研究目的

因此，鉴于传统的RBAC在上述场景下存在缺陷，我们希望设计一种动态的RBAC模型，能够基于授权用户的行为属性，自动的对用户-角色的分配进行更新。

基于上述的需求，我们以智能电网为例，使用深度强化学习设计了一种动态的RBAC模型，从而应对凭证泄露后，来自内部已经得到授权的用户所带来的威胁。

拟采用方案

图片2展示了我们的混合RBAC模型的操作流程，当用户请求一个角色后，首先会检测其是否拥有角色（role），如果拥有角色的话，接下来就会使用DRL中的最优策略函数，对用户的可信度等级进行评估，从而决定是否对用户进行授权，给予其申请的角色。

其中，深度强化学习的状态空间，动作空间，奖励等设置问题将会在组会中进行详细的介绍。

在上一次组会报告中，我对我的研究《A QoS-Aware Job Scheduling Framework for Applications in Clouds: DQN Based Reinforcement Learning Algorithm with Preemption
》进行了初步的介绍。目前该研究的相关实验已经基本完成，并且正在撰写论文，因此本次组会汇报将围绕我的研究内容以及写作分为三部分介绍，首先是对于文章背景，科研目的，公式以及框架等内容的回顾；其次是对于实验最终结果的汇报；最后会和大家分享一些最近写作的感想以及分享比较好用的写作网站。具体内容如下：

第一大部分

研究背景：

因此，随着云服务市场规模的不断扩大，越来越多的公司选择将自己的应用迁移到云服务平台上进行，然而，这同时也带来了相应的挑战，首先由于在云平台上加载的工作流的大小在不断的变化，对于云服务供应商而言难以去追踪每一个工作流的服务质量。其次，云服务供应商可以提供多种类型的虚拟机，例如高计算性能或高内存的虚拟机实例，并且每一个虚拟机实体的计算性能各不相同，与此同时，基于云服务平台的应用不仅需要执行用户所提交的任务，同时也需要满足用户对于该应用的服务质量要求。

科研目的：

因为云服务供应商无法提供类似的优化，因此我们希望设计基于深度强化学习的框架，能够让应用学会自己来进行实时任务的调度，并且能够满足用户的期望，即在用户所期待的最长执行之间之内完成任务。

与此同时，为了进一步提升任务执行的成功率，我们提出了一种抢占机制，并把这种抢占机制应用到了即将超过用户期待时间的任务中，从而进一步提高任务的成功率。

框架：

第二大部分实验结果：

首先是在不同任务到达率情况下任务的成功率以及任务的相应时间，其中肉色的bar代表我们自己的方法：

其次是在任务类型（computing intensive/ I/O intensive）比例不同的情况下，不同任务调度方法的成功率与响应时间：

在最终的第三部分，想和大家分享一下最近写文章的时候，通过自己的一些亲身体会，谈谈对于先写英文再翻译成中文与直接用英文写的差别，以及如何克服类似一用英文写文章就没有什么头绪等等的问题。

本次组会将会对我《A QoS-Aware Job Scheduling Framework for Applications in Clouds: DQN Based Deep Reinforcement Learning Algorithm with Preemption》研究计划进行一次详细的报告，具体内容如下：

科研背景与问题：

随着云服务市场规模的不断扩大，许多的IaaS供应商，利于亚马逊，微软等，已经能够为用户提供强大的计算与存储服务。而对于公司与个人用户而言，其能够越来越轻松的通过低成本的方式，租用这些IaaS供应商的服务，因此，越来越多的公司选择将自己的应用迁移到云服务平台上进行运作。在云环境中，基于云平台的应用的资源管理变得尤为的重要，尤其是如何高效地利用服务器的资源。

然而，这同时也带来了相应的挑战，其一是由于在云平台上加载的工作流的大小在不断的变化，对于云服务供应商而言难以去追踪每一个工作流的服务质量。其二，云服务供应商可以提供多种类型的虚拟机，例如高计算性能或高内存的虚拟机实例，并且每一个虚拟机实体的计算性能各不相同。其三，基于云服务平台的应用不仅需要执行用户所提交的任务，同时也需要满足用户对于该应用的服务质量要求。

科研目的与方法：

因此，基于上述的三个挑战，我们提出了一种基于深度强化学习的智能任务调度框架，致力于让处于云端的应用能够自动完成实时任务的调度，并且引入了用户最长等待时间作为评判任务是否成功执行的标准来代表云端应用的服务质量（Quality of Service， aka QoS)。具体框架如图1所示。

与此同时，为了进一步提升任务执行的成功率，我们提出了一种抢占机制，并把这种抢占机制应用到了即将超过用户期待时间的任务中。其中传统的DQN方法会在每次新的任务来临时将任务与VMs的状态空间送到DNN中，从而得出最佳结果，即该任务应该被调度到哪台VM上进行执行。而加入了抢占机制之后，在每次新任务来临时，每台VM的队列都会进行一次检查，使即将到达其最长等待时间的任务抢占该VM，从而在每一次通过DNN进行任务调度之前进行一次内部抢占检测，从而进一步提高任务的成功率。

个人思考与总结

将会与大家分享我的上一篇论文“Vector Autoregression for Predicting COVID-19 Confirmed Cases using Multiple Open Access Datasets: A case study in the UK”中，关于editor给我的拒信的相关内容，总结其中的一些经验教训。