这次组会主要介绍《基于深度强化学习的智能电表实时数据压缩》思路进展，从科研背景、科研问题、科研目的、研究内容等几个方面展开。

科研背景：

在传统的电力网络中，各个电力终端采集到的数据将传输到主站统一处理。但随着电网规模的扩大，接入的终端设备和产生的数据量不断增多，数据的传输和处理将耗费大量的网络和计算资源，且无法满足时延和安全性的需求。

物联网（IoT）在电力行业的普及导致了传感器、智能电表和其他电力设备之间的持续连接。在智能电网的某些领域，数十万或甚至数百万个传感器可以同时收集电力消耗数据。因此，电力用户侧的电力消耗数据呈指数级激增。例如，在我国的配电网调度系统中，大约50%的10kV横向数据丢失，给调度操作带来了极大的不便。此外，截至2018年底，国网有限公司已连接5.4亿个各类终端，每日数据采集量超过60TB。

建设智慧物联体系，实现电网各类数据资源实时汇聚与开放共享，大力发展“边缘智能”和边缘物联已成为电力系统打造新一代能源互联网的发展目标。

“边缘智能”意味着更多处理过程将在本地边缘侧完成，只需要将处理结果上传至云端，可以大大提升处理效率，减轻云端压力，更加贴近本地，可以保障数据的安全性，为用户提供更快的响应。

科研问题：

用户侧数据采集从过去的每15分钟一次，发展到现在的每1分钟一次，以及未来可能会更高频的1秒采集一次。如果这些传感器收集的所有电力数据都累积在一台服务器上，那么数量将是巨大的。这些巨大的数据量不仅增加了存储成本，而且使数据传输和处理成本高得令人望而却步。展望未来，数据收集对象的总数将迅速增加，数据收集的频率将继续上升。因此，数据存储的压力将进一步加剧，可能阻碍电网数字化发展的推进。

由于这些数据集中存在噪声，数据压缩通常可以提供显著的压缩增益，而不会影响下游应用程序的性能。考虑数据压缩策略以减少传输量变得至关重要，压缩是在收集数据并将其传输到云的边缘设备上执行的。这些边缘设备通常是计算和通信带宽受限的，因此压缩解决方案必须是实时的并且适合这些设备。

如何设计有效的实时压缩解决方案，弥合能源数据存储技术与采集/传输能力之间的差距，减轻边缘计算环境中数据存储和传输的压力，是我们所要关注的问题。

科研目的：

设计了一种电力实时数据压缩机制

来自电力用户端的时间序列数据在数据图中表示为一个一个的数据点。通过选择性地丢弃具有最小信息的数据点，可以在捕获基本特征的同时使用更少的数据点来表示电力数据图像。

构建了一套在边缘端进行实时电力数据压缩的框架

利用边缘计算的能力，传统上在云平台上执行的某些计算任务被转移到网络的边缘。该框架为实现实时电源数据压缩、提高效率和减少延迟提供了一个可行的解决方案。

提出了一种基于深度强化学习SG-DRL算法

该算法基于深度强化学习，专门为智能电网设计，是能源用户的数据压缩建模技术。SG-DRL有效地压缩功率数据，超越了传统方法的限制，实现了更高的压缩率 。

研究内容：

拟考虑将电力用户侧用电数据时序图像看成是一个个点组成的信息图，数据压缩的本质上是丢弃给定信息图的一些点，并将剩余的点保持为简化的数据。

在线方式逐个输入点，而只有大小为W的缓冲器可用，即在整个轨迹简化过程中最多可以保留W个点。我们采用了一种现有的策略，对于前W个点，我们将其直接存储在缓冲区中，对于剩余的每个点，由于缓冲区已满，我们需要将一个点丢弃以获得一些空间，然后将新点存储在缓冲中。与现有的策略不同，这些策略使用一些人工设计的启发式值来决定缓冲区已满时要丢弃哪个点。

我们的目标是为这项决策任务实现一种更智能的方法。具体而言，我们将轨迹简化问题视为一个顺序决策过程，并将其建模为马尔可夫决策过程。

深度强化学习方法建模：

在组会ppt中展示。

实验结果：

在组会ppt中展示。

论文写作分享：

在组会ppt中展示。

后续研究计划：

在组会ppt中展示。

本次组会汇报关于基于知识图谱的网络安全威胁情报推理技术研究的思路进展，从科研背景、科研问题、科研目的、研究内容等几个方面展开。

科研背景

• 随着信息化不断扩大以及网络技术的持续发展，网络安全事件频发，网络攻击手段也日益呈现复杂多变、长持续性、高隐蔽性等特点。依靠传统的入侵防御系统等被动防御手段无法有效地维护网络空间安全，因此兴起了网络安全威胁情报（CTI）等综合防御策略。网络安全威胁情报是指基于证据的威胁知识，可以为决策提供信息，目的是防御攻击或缩短处理与检测的时间。
• 网络安全威胁情报在实际应用中主要面临着数据类型多样、分布离散、内容不一致等问题，因此引入了知识图谱技术框架来试图解决这一问题。但构建的知识图谱仍然不够完善且可能存在错误，因此有必要利用知识推理技术来达到完善知识图谱的目的。知识推理是知识图谱中的一个重要问题，它通过对现有事实的推理来预测缺失的事实。
• 当前在知识图谱上实现推理大致可以分为两类：基于符号规则（本体公理或符号逻辑）的方法和基于表示学习（嵌入）方法。传统基于符号规则的方法主要优点是具备可解释性，主要缺点是不易于处理隐含和不确定的知识；基于表示学习的方法主要优点是推理效率高且能表征隐含知识，主要缺点是丢失可解释性

科研问题

• 在网络安全威胁情报领域传统的推理模型表现欠佳，例如基于符号规则的知识推理模型存在不易处理隐含知识、规则学习的效率差的问题，而基于表示学习的知识推理模型存在可解释性差、稀疏实体编码能力不足的问题。
• 传统逻辑规则学习模型生成逻辑规则复杂性高，很难识别出高质量的逻辑规则。

科研目的

• 提出一种融合表示学习和符号规则的知识推理算法，提高发现网络安全威胁情报知识图谱中实体与实体间潜在关系的能力，不断完善威胁情报知识图谱。

研究内容

本次组会汇报关于面向区块链智能合约威胁检测的思路进展，从科研背景、科研问题、科研目的、研究内容等几个方面展开。

科研背景：

2009年，比特币开启区块链时代，区块链技术是比特币的基础，它支持去中心化计算模式的转变。区块链技术具有去中心化、防篡改、不可逆及可追溯等特点，已经被应用到医疗、供应链管理、能源互联网等诸多领域中。区块链及其上的分布式应用涉及到大量的金钱，因此成为黑客的一个重要攻击目标。近年来，区块链安全事件层出不穷，从底层P2P网络、中间层虚拟机到上层的智能合约，都成为黑客们攻击的对象。

科研问题：

• 传统智能合约检测工具大多采用符号执行技术，极大地依赖专家模式，可能造成漏报率和误报率高、难扩展，并且存在路径求解慢，检测时间长的问题。
• 当前基于机器学习以及深度学习的合约漏洞检测方法大多只利用合约源码或字节码的序列化信息，忽略了代码中函数调用、参数传递等具有方向的图结构信息，对合约特征的挖掘不够。
• 现阶段的智能合约漏洞检测模型大多基于源代码、字节码序列、CFG和AST等静态特征进行学习和检测。然而静态分析获得的特征是有限的，智能合约漏洞大多是在运行时发生的。应该考虑如何将智能合约的运行时动态特征结合起来扩展模型的特征表示空间。

科研目的：

对由Solidity语言编写的智能合约进行结构化信息读取,并将其转化为图结构的形式,通过图神经网络学习之后,得到图层面上的合约语义表达,进而对区块链威胁进行检测。
主要思路：
通过动态执行和静态扫描，从合约中提取动态漏洞特征和静态漏洞特征，然后通过智能合约字节码构成控制流图，最后使用神经网络训练合约分类模型，对智能合约漏洞进行检测。
引入时序增强的多头注意力机制，增加对合约图边的时序特征的关注程度。

科研内容：

本次汇报内容为《混合云环境下基于深度强化学习的隐私安全约束下的工作流调度方法》的近期进展，主要从科研背景、科研问题、科研目的、科研内容等方面进行阐述。

科研背景：

• 随着云计算的快速发展，云平台已被广泛接受用于部署和执行工作流应用程序，工作流所有者可以根据自己的需求动态租用和终止使用服务，并根据实际使用情况付费，工作流调度也引起了广泛的研究兴趣。
• 混合云是公共云和私有云的结合，它试图利用两种类型的云平台的优点，因此越来越多的企业或组织采用可整合共有云与私有云资源的混合云技术部署系统。

科研问题：

• 混合云环境中工作流调度时：1.隐私敏感数据和任务不能暴露在公共云平台上 2.云平台上数据传输经过互联网时的安全性和带宽应得到保证
• 现有的大部分工作流调度算法存在明显缺点，如只能得到局部最优解、计算成本较高、无法处理大规模复杂调度等。

科研目的：

• 提出一种考虑隐私性和安全性的混合云工作流调度方法，通过深度强化学习（DRL）在混合云中调度工作流，且在满足工作流数据隐私性和安全性的同时，优化调度完成时间和最小化成本。

科研内容：

具体内容将在组会ppt上进行介绍。

本次组会汇报关于调基于区块链的能源数据细粒度访问控制技术研究的思路进展，从科研背景、科研问题、科研目的、研究内容等几个方面展开。

科研背景：

• 数据共享与访问控制。访问控制技术是保护数据安全、可控共享的重要手段。但目前数据的分布式、动态性特点，使管理和安全需求变得更加复杂，传统的访问控制技术已不再适用。针对应用场景，在分布式访问控制和访问控制动态性两个方面面临着挑战。
• 基于属性的访问控制。ABAC 将用户和客体资源的属性作为关键决策要素，构造访问控制策略，从而实现更细粒度且灵活的访问控制。

科研问题：

• 传统访问控制由第三方机构进行的单一权限判决，可能存在用户不可知的越权行为，存在权限判决透明度的问题。
• 传统的ABAC存在着一个安全问题：访问策略由用户自定义制定，策略的执行依托第三方背书的权威机构，其执行结果往往用户无法跟踪，个人的数据泄露难以察觉。
• 数据共享中由于动态性和分布式的特点，存在非法访问的行为和恶意节点。

科研目的：

• 利用区块链智能合约实现策略的分布式自动、可信判决，在禁止非法用户对数据资源访问的同时，提高能源数据资源的共享与流通效率，实现面向分布式能源数据资源的高效、透明、安全的自动化访问控制。
• 利用区块链可溯源的特性，设计审计合约，实时记录主体的操作记录，以监察授权者的不当授权违规行为，相应地调整授权策略。
• 信任值可以反应用户的安全状态，设计基于信任的访问控制，将信任值作为评估用户的属性之一，随着访问行为的变化动态评估用户的信任值。

研究内容：

基于区块链的能源数据共享模型

本次汇报内容为《分布式储能网络化运营体系中数据安全与隐私保护问题研究》的近期研究内容，主要从科研背景、科研目的、科研问题、研究内容等几个方面展开。

科研背景：
1.分布式储能的发展：随着可再生能源如太阳能和风能的快速发展，分布式储能系统被广泛应用于能源领域。分布式储能系统通过将能量储存到离散的设备中，提供了更加灵活和可靠的能源供应解决方案。然而，这些系统面临着大量的能源数据安全和隐私信息的管理和保护问题。
2.大规模数据收集：分布式储能系统涉及到多个设备、多个用户和能源供应商之间的数据交换。这些设备产生的数据量庞大，并且包含了各种敏感信息，如能源消耗模式、用户行为习惯等。因此，确保这些数据的安全性和隐私性成为一个重要课题。
3.数据安全威胁的存在：分布式储能系统中的数据安全面临各种威胁，包括网络攻击、数据篡改、恶意软件和未经授权的数据访问等。这些威胁可能导致系统故障、数据泄露、用户隐私曝光等严重后果。因此，研究如何防范和应对这些威胁是保障分布式储能系统可靠性和稳定性的关键。
4.储能信息系统控制指令的安全传输：面临完整性、一致性等问题。

科研问题：
分布式储能信息系统中存在安全威胁和隐私泄露问题
分布式储能网络中，传输分布式储能信息流等指令过程中可能数据窃取、数据纂改等数据威胁攻击者可能截获数据传输过程中的指令或信息流，从而获取敏感的能量储存和管理相关数据或者。可以修改传输过程中的指令或信息流，使其传达错误的命令或误导性信息。这可能导致分布式储能系统执行错误的操作，导致能量管理不准确等，造成隐私泄露和数据安全风险。
信息系统承担扮演控制中心的角色，对分布式网络进行优化调度，可以根据控制中心反馈的全局信息自行调节用电计划、削峰填谷，从而实现节能减排。但是，在分布式优化过程中如果攻击者进行恶意操作，干扰系统控制管理模块的运行会导致影响用户的经济利益，更会影响电网整体的运行效率。

科研目的：
针对以上两点科研问题：
设计分布式储能控制中心向智能终端传输信息指令等信息的安全传输方法；可采用身份验证、数据加密等方法解决数据不安全传输的问题。
针对分布式储能信息系统中分布式数据分析场景中，利用联邦学习解决分布式场景中数据效用和数据隐私之间的问题；但在其过程中上传参数不确定性，提出了一种联邦学习的安全聚合方法研究，对上传的本地模型进行动态评估，筛选恶意模型、加权聚合中心模型，提升中心模型能力。

研究内容：

本次组会主要介绍《TD-SAS: A Trust-Aware, Decentralized Speed Advisory System for Energy-Efficiency Autonomous Vehicle Platoons》的相关内容。对比上次组会内容，信任感知模型和激励机制方案有所调整，目前论文初稿和实验均已完成。

科研背景

随着车对车(V2V)和车对基础设施(V2I)通信网络理论的发展，在复杂传感器技术的帮助下，智能速度咨询系统(ISA)的进步意义重大。共识速度咨询系统(CSAS)是ISA的一种特殊形式，它通过推荐共识速度来最大限度地减少在特定区域行驶的车辆排的能耗。CSAS的潜力在于它能够有效地缓解交通拥堵和事故，同时提高能源效率。虽然通过CSAS推荐的车辆排的一致速度可以提供许多好处，但也存在一些挑战。

科研问题

• 车辆的高速动态导致网络拓扑结构的频繁变化，使得排配置高度不稳定。因此，车辆之间的信任并不总是得到保证。使情况进一步复杂化的是，恶意节点可能渗透到网络中，意图破坏系统操作并危及其他良性车辆的安全性或效率。
• 不同信任值的车辆遵从推荐速度的倾向不同，这必然导致能耗的波动和潜在的能耗增加。确定信任值、期望速度和行驶概率之间的映射关系，并根据信任值提出自适应、实时的共识速度建议成为关键问题。
• 在CSAS中，排的利益并不是均匀分配的。当队列以推荐速度行进时，CSAS的最佳操作得以实现，从而促进了能耗的总体降低。然而，这种情况可能同时增加一些车辆的能源消耗。这种不平衡可能会阻止车辆重新参与CSAS，从而阻碍基于共识速度的排的形成。

科研目的

• 提出一种基于区块链的信任管理方案， RSU负责分布式的信任计算与更新，有效地管理信任节点。将所有车辆的信誉值记录在TM Blockchain上，确保数据不可否认和抗篡改。
• 设计一个信任感知自适应共识速度推荐方案。考虑了不同信任值下车辆以推荐速度行驶的概率所造成的能耗差异。根据车辆信任值的变化自适应推荐共识速度，使排队能耗最小。
• 考虑车队整体能耗优化带来的车辆能耗增加，设计有效的激励机制，补偿车辆的增加能耗，并鼓励符合条件的车辆参加TCSAS。

系统模型

工作流程

其余内容将在组会中详细介绍。

基于多智能体强化学习的微电网协作能源管理

科研背景

1.云中心具有丰富的计算资源、高安全性和巨大的存储，现已将部分或全部计算密集型任务转移到云中心执行，但由于距离智能移动设备比较远，计算需求的爆炸性增长，网络可能会拥塞，导致传输延迟难以接受，占用云中心资源的经济成本较高，影响了对时延敏感的应用程序的实时性能。
2.边缘云是在靠近物或数据源头的网络边缘侧就近提供边缘智能服务的开放平台。传输链路的缩短使边缘云可以在数据侧快捷、高效地响应业务需求。
3.由于工作流的复杂性和大规模性，手工调度每个任务并不是一种可行的方法，这涉及到边缘云环境中的实时执行和大量流动数据，高延时的任务的资源分配是灵活的，有一些具有实时性和位置特性的任务的资源分配要求更苛刻。

科研问题

1.启发式算法在执行前算好所有的调度顺序以及分配给哪个资源，不能适应边缘云中不断变化的工作负载和约束，难以体现边缘云更适合处理实时、短周期数据的优势，因此不适用于实时的调度问题边缘云中的工作流调度。
2.尽管单个服务可能不会有很高的的功率，但数十亿个服务的综合能耗将对底层基础设施造成不可忽略的影响，因此有必要尽量降低边缘计算中产生的能耗。

科研目的

提出基于DQN的智能调度算法实时地根据边缘云的变化进行工作流调度，选择服务器执行任务，专注于解决边缘云环境调度基于DAG (有向无环图) 的工作流中的时间最小化和能量优化的冲突目标，同时优化工作流执行时间以及能耗，实现低延迟、低能耗的调度。

研究内容

研究进展

1. 设计实验完成边缘云环境下工作流调度算法，取得初步实验结果。
2. 根据实验结果对模型进行优化。

本次组会对近期的研究工作《基于深度强化学习的大规模云计算任务调度》进行汇报，主要从科研背景、科研问题、科研目的以及研究进展这几方面来阐述。

科研背景

1. 云计算：一种可以为用户按需提供计算资源的服务平台，拥有着高计算能力、低服务成本、高可伸缩性和可用性等优势。近年来，云服务吸引了很多终端用户包括企业、个人以及物联网应用等，他们都希望以低成本实现计算和功耗应用程序。
2. 作业调度：在云计算中一个核心的研究问题就是作业调度问题，作业调度的好坏直接影响着云平台的服务质量。一个好的作业调度方法不仅能够为用户提供更好的服务质量，还能增大服务提供商的利润空间。

科研问题

随着云计算市场的快速发展，云服务平台在作业调度方面存在以下挑战：
1. 复杂的作业请求和高度动态变化的云环境给实时调度带来很大的挑战，很难找到一种最优的调度方法来保证最优的服务和最小的资源浪费。
2. 大规模云环境中，用户对服务的响应时间提出了更高的要求，总是希望在更短时间内得到响应，而传统单智能体在大规模环境中的响应效率较差。

科研目的

本次研究旨在提出一种面向大规模复杂云环境的分层在线任务调度方法，使用深度强化学习（DRL）方法，通过分级分层的思想处理大规模的操作空间，优化决策质量。具体来说，我们将云环境分为集群和虚拟机两个层次，并在每一层专门设置不同的智能体学习决策。特定的智能体不仅比一个组合的大型智能体更快地调度任务，而且由于一个DQN只负责一个小环境中的操作，因此更能提高决策质量，快速响应用户请求，在保证用户响应时间的基础上，提高资源利用率，降低执行成本。

研究内容

研究进展

1. 设计实验完成多智能体在线分层调度算法，取得初步实验结果。
2. 根据实验结果调整数学模型。