我本次汇报的是我的研究课题《基于深度强化学习的呼叫中心调度问题的研究》，我将从科研背景、科研问题、科研方法、研究计划、参考文献五个方面进行汇报。

科研背景：

呼叫中心已经成为企业的重要组成部分 ，良好的呼叫中心可以提供一下优势：

（1）客户的满意度和忠诚度；

（2）企业的客户服务水平和竞争力。

呼叫中心的路由问题在呼叫中心中是重要的，如果路由策略不得当，可能会导致以下问题：（1）客户等待时间过长，导致客户不满意或放弃服务；

（2）坐席空闲时间过多，导致坐席浪费资源或失去积极性；

（3）坐席技能匹配度低，导致服务质量下降或客户转接次数增加。

科研问题：

所以，我们的科研问题就是如何利用深度强化学习（DRL）设计一个智能并且实时的呼叫中心调度策略，以提高呼叫中心的服务质量和运营效率。

科研方法：

具体的研究方法将会在组会详细介绍。

我本次汇报的题目是《分布式电网中基于差分隐私的联邦异常检测方案》，我将从科研背景、科研问题、科研目的、研究内容等方面进行阐述。

科研背景

1.智能电网代表了电网发展的一个新阶段，它集成了人工智能、大数据、云计算和5G等技术进步，以管理电能的产生、分配和消耗。智能电网通常使用先进计量基础设施或智能电表来监测电力流。智能电表通过提供详细的用电信息，来实现一些目的比如快速停电检测、更快的服务恢复能力和更好的计费控制，从而使客户能够做出明智的决定。

2.智能电网也会面临各种问题，停电、设备故障、能源盗窃和网络攻击。特别是，对手可能会利用网络中的安全漏洞发动复杂的网络攻击影响电网的正常的正常运行。这些问题可以通过分析智能电表收集的数据、检测电网中的异常来识别。

科研问题

1.智能电网中的异常主要是时间序列异常

2.现有的时间序列异常检测方案大多是根据训练数据所获得的知识进行预测和重构，比较序列和重构序列的匹配程度生成异常分数。

3.对于分布式场景下的时间序列异常通常使用联邦学习的方式来进行，联邦学习本质上提供了隐私保证。但发送到服务器的一些模型参数与训练数据也是密切相关的。因此，这种无意信息泄漏的情况可能被对手利用来推断关于训练数据的信息，从而使得联邦学习容易受到推断攻击。因此，有必要通过采用其他技术来进一步加强联邦学习的隐私性和安全性。

科研目的

构建基于差分隐私的联邦transformer异常检测模型，在保护本地数据的同时，实现分布式异常检测。主要分为两个环节：构建联邦Transformer模型；使用差分隐私保护联邦Transformer的隐私。

研究内容

具体将在组会进行详细介绍

我本次汇报的题目是《混合云环境下基于深度强化学习的隐私与安全约束条件下的工作流调度》，我将从科研背景、科研问题、科研目的、研究内容等方面进行阐述。

科研背景

1.随着云计算的快速发展，云平台已被广泛接受用于部署和执行工作流应用程序，工作流所有者可以根据自己的需求动态租用和终止使用服务，并根据实际使用情况付费，工作流调度也引起了广泛的研究兴趣。

2.混合云是公共云和私有云的结合，它试图利用两种类型的云平台的优点，因此越来越多的企业或组织采用可整合共有云与私有云资源的混合云技术部署系统。

科研问题

1.混合云环境中工作流调度时：

   ①隐私敏感数据和任务不能暴露在公共云平台上

   ②云平台上数据传输经过互联网时的安全性和带宽应得到保证

2.现有的大部分工作流调度算法存在明显缺点，如只能得到局部最优解、计算成本较高、无法处理大规模复杂调度等。

科研目的

提出一种考虑隐私性和安全性的混合云工作流调度方法，通过深度强化学习（DRL）在混合云中调度工作流，且在满足工作流数据隐私性和安全性的同时，优化调度完成时间和最小化成本。

研究内容

具体将在组会进行详细介绍。

科研背景
随着车载设备和无线通信技术的发展，为降低车辆间碰撞事故发生的概率，以及为车辆运行提供不同的功能服务，车联网被广泛应用。
隐私保护是车联网的重要安全需求，一直是产业界和学术界关注的热点。
车联网中车辆获取基于位置服务时需要提供真实的位置信息，导致用户的轨迹隐私存在泄漏风险。

科研问题
车联网隐私保护已成为车联网研究的重要部分，传统的隐私保护方法不适用于车联网，在提供云端“数据共享”服务时也面临隐私泄露风险，共享数据或数据接收者身份的泄露都将危及车联网安全。

科研目的
针对车联网轨迹隐私保护中未考虑位置语义信息及生成的虚假轨迹可用性低问题，提出一种基于位置语义的差分隐私轨迹保护方法。

我本次组会汇报的内容是《基于深度强化学习的微电网能源管理》，我将从科研背景、科研问题、科研目的、研究内容等方面进行介绍。

科研背景

1，2020年9月22日，国家主席习近平在第七十五届联合国大会上宣布，中国力争2030年前二氧化碳排放达到峰值，努力争取2060年前实现碳中和目标，大力发展应用可再生能源成为重点趋势。
2，作为一种小型发配电系统，微电网能够有效整合分布式电源、用电负载和储能系统，实现可再生能源的就地消纳。
3，据瑞信预计，到2030年，中国新能源汽车销量的十年年均复合增速有望达到25%，新能源汽车渗透率将提高至43%，电动汽车的数量暴增使得V2G技术能够得到更好地利用。V2G核心思想在于电动汽车和电网的互动，利用大量电动汽车的储能作为电网和可再生能源的的缓冲。对于电动汽车的用户来说，当用电负荷过高时由电动汽车向电网馈电；而当用电负荷低时将电网过剩的电力存储在电动汽车里。
4，负荷预测：电力系统负荷预测是电力系统调度、实时控制、运行计划和发展规划的前提，是电网调度部门和规划部门所必须具有的基本信息。准确的负荷预测有助于提高系统的安全性和稳定性，能够减少发电成本。随着电力市场的建立和发展，短期负荷预测技术已成为电力系统EMS系统中必不可少的部分。

科研问题

 1，微电网的状态变量存在复杂性和多变性，传统的基于模型的方法难以很好地处理微电网的能源管理问题。
2，新能源电动汽车数量的剧增，将电动汽车作为移动电源参与供电成为可能，如何更好地进行能源管理是一个问题。

科研目的

根据短期负荷预测的结果，调度适量的电动汽车作为电源参与微电网能源管理，并提出一种基于深度强化学习的微电网能源管理方法，面向非线性、复杂的微电网系统，对储能以及发电设施进行管理，然后在保证系统稳定运行的前提下，通过实时能源管理降低系统运行成本并提升系统平衡因子。

研究内容

具体内容将在组会中进行详细介绍。

我本次组会的汇报题目是《基于V2G技术的微电网电动汽车充放电调度策略研究》，我将从科研背景，科研问题，科研目的，研究内容等方面进行介绍。

科研背景

• 近年来，电动汽车(EV)的大规模部署，已经被认为是减少碳排放的有效途径。另一方面，根据国际能源机构2022年的分析，在大型经济体中，仅电动汽车就约占本国总电力消耗的5%，如此规模的电动汽车进行不受控制的充电可能会引发电力系统负担过重的风险。
• 相较于传统的不受控充电和“单向有序的充电服务”(V1G)，车辆对电网(V2G)技术通过与电网进行交互，鼓励EV作为灵活的储能设备来调整充放电行为。当电网负荷压力较高时，将电力放回电网，这一过程不但可以缓解功率峰值负荷，而且为用户带来一定的经济效益。因此，V2G技术是目前解决新型电力系统能源供应安全风险的有效方案之一。

科研问题

• 由于可再生能源具有间歇性和波动性，会影响微电网系统保持高效稳定的运行，而电动汽车集群作为一种灵活部署且能源清洁的储能设备，引入V2G技术为微电网充分利用分布式可再生能源提供了一种有效的途径。
• 随着微电网中设备部件的增加，越来越多的数据需要处理和计算。同时分时电价和充电用户的随机行为也为充放电策略的制定带来了不确定性。

科研目的

提出一种基于DRL的电动汽车充放电调度策略，在一个配备V2G停车场，用电负载和多个分布式能源的混合微电网系统中，降低运行成本，提高用户满意度。

问题建模

针对该问题，具体的系统框架和数学建模将在组会中进行详细介绍。

基于智能合约的多方安全联邦生成模型研究

科研背景

1.近年来，机器学习、深度学习等技术快速发展并被广泛应用。数据的丰富程度和质量对深度学习模型的性能有着显著影响。但是，一方面数据主体担心自己的商业秘密和用户隐私泄露，不愿交付数据。另一方面，日益严格的数据安全法规对数据的流通和使用提出了诸多限制。这都导致数据共享成为问题，也缺乏数据使深度学习等技术在各个领域无法研究。 2。联邦学习的兴起使分布式用户无须传输本地数据即可实现联合建模，成为数据共享应用和人工智能方法获取标注数据以落地的新范式。

科研目的

构建基于智能合约的多方安全联邦生成模型，安全地生成合成数据，代替多方原始敏感数据进行自由的共享应用和流通。1.构建异构型的分布式联邦GAN。在联邦中心保留生成器G，在联邦网络中的边缘客户端各自保留一个判别器D。由多个客户端联邦训练GAN模型，生成合成数据。2.通过区块链和安全多方计算解决分布式联邦GAN的信任和安全问题。由区块链提供一个信任交互平台，联邦中心和边缘客户端都是其中平等的用户节点。区块链智能合约负责执行具体的多方安全计算，安全完成生成器和客户端判别器之间的训练参数聚合和交互工作。提升了联邦GAN模型的隐私保护能力。

研究内容

此次汇报内容是《智能电网场景下的分布式在线学习电力数据异常检测》相关内容，我将从科研背景、科研问题、科研目的、研究内容等几个方面汇报。

本次汇报对基于深度强化学习的高效云工作流调度研究的研究进展进行介绍，主要从科研背景、科研问题、科研目的、研究进展几个方面展开。

科研背景：
云计算是一种采用虚拟化技术通过网络为用户提供各类计算资源，平台化服务，应用程序服务的一种分布式计算服务框架，能够根据用户的需求为用户提供各种配置类型的服务实例，这些服务实例具有按需服务，动态伸缩，成本低的特点，使越来越多领域的应用程序，特别是需要大规模计算的应用，如天气预报、地震预测等正在迁移至云环境，这些应用程序通常一系列数据依赖的任务组成，也就是工作流。
工作流是由一组之间具有数据或功能依赖的任务组成的作业，在云环境中执行时，由于工作流中的任务必须等待前置任务的完成才能执行，不可避免的造成了大量的空隙时间，导致服务实例的空闲，降低了云环境的处理效率。过往研究大多仍集中于云中单个或多个工作流的静态规划，并且没有考虑任务在实例中执行时间的不确定性。同时，对于实时工作流调度的研究还很少，并且集中于使用基于先验专家知识设计的调度算法，在动态、复杂、多样的云环境中存在局限性。

科研问题：
1.受依赖关系限制，工作流在云环境中的执行效率低。
2.受云环境动态变化性质的影响，工作流任务在云服务实例中的执行时间和数据传输时间具有不确定性。
3.实时工作流的结构，任务数量等具有不确定性，传统静态工作流调度方法无法直接应用，基于专家经验的启发式实时调度方法无法在动态不确定的云环境中实现最优调度。

科研目地：
提出一种面向不确定云环境的实时云工作流在线调度方法，通过深度强化学习（DRL）智能体，将实时到达的具有截止时间期限的工作流在线调度到任务执行情况不确定的云环境中执行。具体来说，在每个工作流到达时，将子任务进行拆分，通过计算每个子任务的最晚开始时间和最晚结束时间确定子任务的响应时间范围，不断将无前置任务或前置任务执行结束的就绪任务通过DQN智能体调度到云虚拟机中执行，通过智能体不断离线学习调度经验，在虚拟机子任务执行时间和数据传输时间不确定的云环境中实现满足工作流截止时间期限约束下低成本的工作流调度。

研究内容：

Detection Tolerant Black-Box Adversarial Attack Against Automatic Modulation Classification With Deep Learning

本次组会主要分享一篇跟对抗攻击有关的论文《Detection Tolerant Black-Box Adversarial Attack Against Automatic Modulation Classification With Deep Learning》，主要从科研背景，科研问题，科研目的，研究内容以及评价几个方面来阐述。

科研背景

1. 基于DL的AMC(自动调制分类)：随着无线通信技术，特别是数字通信技术的发展，调制技术变得越来越复杂。在此场景下，AMC逐渐取代了传统的人工调制分类方法，传统的人工调制分类方法需要训练有素的操作员和特殊的设备，并广泛应用于无线通信。
2. 对抗样本攻击：攻击人通过对输入进行一些人类无法察觉的扰动，从而实现欺骗神经网络的目的。
3. 模型提取攻击：攻击者将查询的输出收集到目标模型，这有助于计算或推断模型的内部知识。

科研问题

1.现有的大多数对抗攻击方法都做了过于理想化的假设，造成了DL系统可以被简单攻击的假象，制约了对DL系统的进一步改进。
2.由于DL固有的安全问题，各种对抗性示例攻击可以导致基于DL的调制识别系统的精度损失或错误分类。
3.目前针对AMC系统的对抗性攻击主要是在白盒设置下进行的。然而，为了保护模型产权，模型所有者或机器学习平台通常不会公开其模型的内部信息。这使得直接白盒攻击几乎不可能

科研目的

1.提出了一种针对基于DL的自动调制分类（AMC）的容忍检测黑盒对抗攻击(DTBA)方法，可以极大地降低对抗样本攻击的检测概率。

2.DTBA方法通过删除70%以上的无效查询，降低攻击成本，同时将攻击成功率提高了20%以上

研究内容