本次组会我汇报的题目是《云数据中心联合任务调度和虚拟机放置的深度强化学习方法》，我将从以下几个方面进行讲述：

科研背景

1.云计算是一种通过互联网提供按需计算服务和资源(如计算能力和数据存储)的模型，云计算已经成为当今计算机行业中最流行的计算范式之一。

2.虚拟化是云计算的基本特性之一，虚拟化技术通过减少使用的硬件数量来提高数据中心的能源效率，并通过在物理主机(PH)上放置多个虚拟机（VM）来提高资源利用率。

3.服务水平协议(SLA)是消费者和云服务提供者之间商定的服务条款，它包含了用户对服务质量(QoS)的各种要求。

4.降低能耗已成为当今云数据中心的一个关键问题。根据美国国家资源保护委员会的报告，数据中心的能源消耗占全球总能源消耗的3%以上，并将以每年3%的速度持续增长。在过去的几年里，越来越多的国家实际上已经开始制定法规来降低大型数据中心的能源消耗。

科研问题

在云数据中心中，服务的提供可以通过两个层面进行:

1.第一个层面是任务调度：在这个级别中，每个用户的任务被映射到合适的VM。任务调度是云计算中降低能耗最有效的方法之一，它可以极大地提高作业的执行效率和云系统的资源利用率从而降低能耗。

2.第二层是虚拟机的放置。虚拟机需要放置在能够提供所需资源(即处理器、内存和磁盘空间)的服务器中。因此，在云计算环境中，优化虚拟机布局对提高资源利用率、降低能耗具有重要作用。

该领域以前的工作主要是将任务调度或VM放置作为单独的问题处理。但是任务调度和虚拟机放置问题基本上是相互耦合的，需要一起考虑，以便为云用户和提供商提供有效的解决方案。

I.任务应该选择哪个虚拟机?

II.虚拟机应该选择哪个服务器放置?

III.如何将VM-PH放置与Task-VM调度同时整合?

科研目的

• 这项工作中，将任务调度和VM放置集成为一个协同优化问题，以更好地优化云数据中心的能源消耗。我们的目标是为现有的VM分配一个输入任务，或者根据任务创建VM，并将新创建的VM分配给服务器。 具体来说，考虑了任务、VM和PH之间的关系，将单层流程(即task-VM和VM-PH)集成为两层流程(即task-VM-PH)。该研究旨在将任务调度到虚拟机时，在满足用户QoS要求的情况下，同时优化云数据中心的能源消耗。

科研内容

• 系统架构图

具体的科研内容及其建模将在组会上介绍。

我本次汇报的是我的研究课题《基于深度强化学习的呼叫中心调度问题的研究》，我将从科研背景、科研问题、科研方法、研究计划、参考文献五个方面进行汇报。

科研背景：

呼叫中心已经成为企业的重要组成部分 ，良好的呼叫中心可以提供一下优势：

（1）客户的满意度和忠诚度；

（2）企业的客户服务水平和竞争力。

呼叫中心的路由问题在呼叫中心中是重要的，如果路由策略不得当，可能会导致以下问题：（1）客户等待时间过长，导致客户不满意或放弃服务；

（2）坐席空闲时间过多，导致坐席浪费资源或失去积极性；

（3）坐席技能匹配度低，导致服务质量下降或客户转接次数增加。

科研问题：

所以，我们的科研问题就是如何利用深度强化学习（DRL）设计一个智能并且实时的呼叫中心调度策略，以提高呼叫中心的服务质量和运营效率。

科研方法：

具体的研究方法将会在组会详细介绍。

本次组会我将汇报基于多智能体强化学习的多技能组呼叫中心调度问题的研究，将从依赖几个方面进行介绍：

1.科研背景

呼叫中心是一种使用电话系统和人员为客户提供支持的服务。基于技能组的呼叫中心是指将呼叫中心的工作人员分为不同的技能组。基于技能组的呼叫中心具有以下优势：

（1）提高客户满意度

（2）提高工作效率

（3）减少培训成本

2.科研问题

在呼叫中心中，调度系统是负责将客户呼叫分配给合适的坐席的系统。

调度是呼叫中心运营的关键组成部分，因为它决定了客户是否能够得到及时和有效的帮助，以及坐席是否能够高效地处理呼叫。如果调度不恰当，将会导致：

（1）客户满意度下降和流失，原因：客户可能会在等待时间过长或无法得到有效帮助

（2）员工流失，原因：如果坐席不能得到合适的呼叫，他们可能会面临低效率和挫折感

因此，在基于技能组的呼叫中心中，呼叫调度是一个非常重要的科研问题。

3.科研目的

采用多智能体强化学习的方法，在基于多技能组的呼叫中心中调度客户呼叫，使得实现更好的调度性能。

4.研究内容

1）.多智能体强化学习

多智能体强化学习可以根据智能体之间的相互作用方式进行分类：

①独立强化学习：智能体之间没有相互作用，每个智能体独立地学习如何解决问题。

②协作强化学习：智能体之间协作解决问题，并通过奖励机制鼓励协作行为。

③博弈强化学习：智能体之间存在竞争关系，它们需要学习如何通过执行最优策略来获胜。

2）.基于技能组的呼叫调度模型

在基于技能组的呼叫调度过程中，呼叫中心会将客户的呼叫分配给与其需求匹配的技能组中的坐席。

在基于技能组的呼叫调度过程中，呼叫中心还可以使用其他因素来决定如何分配呼叫，例如坐席的可用性、工作负荷等。

本研究的研究思路、研究计划等将在组会中详细报告。

本次组会汇报的内容是我的研究课题：基于深度强化学习的客服服务调度问题的研究。我将从科研背景、 科研问题、科研方法、实验结果、研究计划、参考文献等方面进行汇报。

1.科研背景

呼叫中心（Call Centers）是客户联系企业或组织进行咨询、投诉、建议等的重要平台，呼叫中心为企业的客户提供基于电话的服务。随着大数据、人工智能等技术的不断发展和趋于成熟，机器人等先进技术的成本下降和能力提高，越来越多的工作将实现自动化，呼叫中心正向智能化方向发展。在呼叫中心加入智能客服的优势是非常明显的，如：节省企业客服成本，提高人工效率等。尽管智能机器人客服的优势很吸引人，但是在应用上还是存在诸多问题，认可度逊色于人工客服，其应用并不成熟。所以我们认为未来呼叫中心不是从人工客服到智能机器人客服的根本性转变，而是两者的结合及相辅相成。

2.科研问题

具有人工和智能机器人两种类型座席的呼叫中心中，呼叫的路由调度也会变得更加复杂，同时我们考虑了老年用户更希望被人工客服服务。采用何种调度算法会使得客户具有更低的平均响应时间、更高的调度成功率以及更高的老年用户被人工客服服务的比例，成为了一个值得研究的课题。

3.科研方法

（1）DRL中的DQN算法 （2） 基于深度强化学习DQN算法解决客服服务调度问题的建模

4.实验结果

实验结果在组会ppt中展示。

5.后续研究计划

（1）继续优化客服服务调度问题的解决思路；（2）读DQN算法解决调度问题的相关论文，熟悉此类论文的写作思路。