这次组会主要介绍《基于深度强化学习的智能电表实时数据压缩》思路进展，从科研背景、科研问题、科研目的、研究内容等几个方面展开。

科研背景：

在传统的电力网络中，各个电力终端采集到的数据将传输到主站统一处理。但随着电网规模的扩大，接入的终端设备和产生的数据量不断增多，数据的传输和处理将耗费大量的网络和计算资源，且无法满足时延和安全性的需求。

物联网（IoT）在电力行业的普及导致了传感器、智能电表和其他电力设备之间的持续连接。在智能电网的某些领域，数十万或甚至数百万个传感器可以同时收集电力消耗数据。因此，电力用户侧的电力消耗数据呈指数级激增。例如，在我国的配电网调度系统中，大约50%的10kV横向数据丢失，给调度操作带来了极大的不便。此外，截至2018年底，国网有限公司已连接5.4亿个各类终端，每日数据采集量超过60TB。

建设智慧物联体系，实现电网各类数据资源实时汇聚与开放共享，大力发展“边缘智能”和边缘物联已成为电力系统打造新一代能源互联网的发展目标。

“边缘智能”意味着更多处理过程将在本地边缘侧完成，只需要将处理结果上传至云端，可以大大提升处理效率，减轻云端压力，更加贴近本地，可以保障数据的安全性，为用户提供更快的响应。

科研问题：

用户侧数据采集从过去的每15分钟一次，发展到现在的每1分钟一次，以及未来可能会更高频的1秒采集一次。如果这些传感器收集的所有电力数据都累积在一台服务器上，那么数量将是巨大的。这些巨大的数据量不仅增加了存储成本，而且使数据传输和处理成本高得令人望而却步。展望未来，数据收集对象的总数将迅速增加，数据收集的频率将继续上升。因此，数据存储的压力将进一步加剧，可能阻碍电网数字化发展的推进。

由于这些数据集中存在噪声，数据压缩通常可以提供显著的压缩增益，而不会影响下游应用程序的性能。考虑数据压缩策略以减少传输量变得至关重要，压缩是在收集数据并将其传输到云的边缘设备上执行的。这些边缘设备通常是计算和通信带宽受限的，因此压缩解决方案必须是实时的并且适合这些设备。

如何设计有效的实时压缩解决方案，弥合能源数据存储技术与采集/传输能力之间的差距，减轻边缘计算环境中数据存储和传输的压力，是我们所要关注的问题。

科研目的：

设计了一种电力实时数据压缩机制

来自电力用户端的时间序列数据在数据图中表示为一个一个的数据点。通过选择性地丢弃具有最小信息的数据点，可以在捕获基本特征的同时使用更少的数据点来表示电力数据图像。

构建了一套在边缘端进行实时电力数据压缩的框架

利用边缘计算的能力，传统上在云平台上执行的某些计算任务被转移到网络的边缘。该框架为实现实时电源数据压缩、提高效率和减少延迟提供了一个可行的解决方案。

提出了一种基于深度强化学习DRL- SDC算法

该算法基于深度强化学习，专门为智能电网设计，是能源用户的数据压缩建模技术。SG-DRL有效地压缩功率数据，超越了传统方法的限制，实现了更高的压缩率 。

研究内容：

拟考虑将电力用户侧用电数据时序图像看成是一个个点组成的信息图，数据压缩的本质上是丢弃给定信息图的一些点，并将剩余的点保持为简化的数据。

在线方式逐个输入点，而只有大小为W的缓冲器可用，即在整个轨迹简化过程中最多可以保留W个点。我们采用了一种现有的策略，对于前W个点，我们将其直接存储在缓冲区中，对于剩余的每个点，由于缓冲区已满，我们需要将一个点丢弃以获得一些空间，然后将新点存储在缓冲中。与现有的策略不同，这些策略使用一些人工设计的启发式值来决定缓冲区已满时要丢弃哪个点。

我们的目标是为这项决策任务实现一种更智能的方法。具体而言，我们将轨迹简化问题视为一个顺序决策过程，并将其建模为马尔可夫决策过程。

深度强化学习方法建模：

在组会ppt中展示。

实验结果：

在组会ppt中展示。

后续研究计划：

在组会ppt中展示。

本次组会汇报关于面向区块链的漏洞检测与攻击溯源研究的思路进展，从科研背景、科研问题、科研目的、研究内容等几个方面展开。

科研背景：

区块链及其上的分布式应用涉及到大量的金钱，区块链成为黑客的一个重要攻击目标。近年来，区块链安全事件层出不穷，从底层P2P网络、中间层虚拟机到上层的智能合约，都成为黑客们攻击的对象。根据特征提取方法，将基于深度学习的智能合约漏洞检测模型分为三类，分别是基于文本处理、基于静态分析和基于图像处理的漏洞检测。

科研问题：

传统智能合约检测工具大多采用符号执行技术，极大地依赖专家模式，可能造成漏报率和误报率高、难扩展，并且存在路径求解慢，检测时间长的问题。
当前基于机器学习以及深度学习的合约漏洞检测方法大多只利用合约源码或字节码的序列化信息，忽略了代码中函数调用、参数传递等具有方向的图结构信息，对合约特征的挖掘不够。
现阶段的智能合约漏洞检测模型大多基于源代码、字节码序列、CFG和AST等静态特征进行学习和检测。然而静态分析获得的特征是有限的，智能合约漏洞大多是在运行时发生的。应该考虑如何将智能合约的运行时动态特征结合起来扩展模型的特征表示空间。

科研目的：

传统智能合约检测工具大多采用符号执行技术，极大地依赖专家模式，可能造成漏报率和误报率高、难扩展，并且存在路径求解慢，检测时间长的问题。
当前基于机器学习以及深度学习的合约漏洞检测方法大多只利用合约源码或字节码的序列化信息，忽略了代码中函数调用、参数传递等具有方向的图结构信息，对合约特征的挖掘不够。
现阶段的智能合约漏洞检测模型大多基于源代码、字节码序列、CFG和AST等静态特征进行学习和检测。然而静态分析获得的特征是有限的，智能合约漏洞大多是在运行时发生的。应该考虑如何将智能合约的运行时动态特征结合起来扩展模型的特征表示空间。

科研内容：

本次组会汇报关于调基于区块链的能源数据细粒度访问控制技术研究的思路进展，从科研背景、科研问题、科研目的、研究内容等几个方面展开。

科研背景：

• 访问控制技术通过对用户权限进行管理，使合法用户只能依照其所拥有的权限访问系统内相应的数据，禁止用户对数据的非授权访问，从而保障数据安全和业务系统的正常运转。
• 访问控制技术是保护数据安全、可控共享的重要手段。但目前数据的分布式、动态性特点，使管理和安全需求变得更加复杂，传统的访问控制技术已不再适用。针对应用场景，在分布式访问控制和访问控制动态性两个方面面临着挑战。

科研问题：

• 传统访问控制由第三方机构进行的单一权限判决，可能存在用户不可知的越权行为，存在权限判决透明度的问题。
• 传统的ABAC存在着一个安全问题：访问策略由用户自定义制定，策略的执行依托第三方背书的权威机构，其执行结果往往用户无法跟踪，个人的数据泄露难以察觉。
• 数据共享中由于动态性和分布式的特点，存在非法访问的行为和恶意节点。

科研目的：

• 利用区块链智能合约实现策略的分布式自动、可信判决，在禁止非法用户对数据资源访问的同时，提高能源数据资源的共享与流通效率，实现面向分布式能源数据资源的高效、透明、安全的自动化访问控制。
• 利用区块链可溯源的特性，设计审计合约，实时记录主体的操作记录，以监察授权者的不当授权违规行为，相应地调整授权策略。
• 信任值可以反应用户的安全状态，设计基于信任的访问控制，将信任值作为评估用户的属性之一，随着访问行为的变化动态评估用户的信任值。

研究内容：

本次组会汇报关于《分布式储能网络化运营体系中数据安全与隐私保护问题研究》最近研究进展，主要从科研背景、科研问题、科研目的、研究内容等几个方面展开介绍。

科研背景：
分布式储能系统中数据安全威胁的存在：分布式储能系统中的数据安全面临各种威胁，包括网络攻击、数据篡改、恶意软件和未经授权的数据访问等。这些威胁可能导致系统故障、数据泄露、用户隐私曝光等严重后果。因此，研究如何防范和应对这些威胁是保障分布式储能系统可靠性和稳定性的关键。

科研问题：
分布式储能系统中存在安全威胁和隐私泄露问题：
分布式储能系统中信息流交互过程中可能数据窃取、数据纂改等数据威胁。攻击者可能截获数据传输过程中的指令或信息流，可能修改传输过程中的指令或信息流，导致分布式储能系统执行错误的操作；

科研目的：
设计一种安全传输方法，以确保分布式储能控制中心向智能终端传输信息指令等敏感信息时的数据安全性。通过采用同态加密、数字签名等方法解决数据传输过程中可能存在的不安全因素，从而保障信息传输的机密性和完整性。

研究内容：

本次组会对近期的工作《基于深度强化学习的大规模云计算任务调度》的研究进度进行汇报，主要从科研背景、科研问题、科研目的以及研究进展这几方面来阐述。

科研背景

1. 云计算：一种可以为用户按需提供计算资源的服务平台，拥有着高计算能力、低服务成本、高可伸缩性和可用性等优势。近年来，云服务吸引了很多终端用户包括企业、个人以及物联网应用等，他们都希望以低成本实现计算和功耗应用程序。
2. 作业调度：在云计算中一个核心的研究问题就是作业调度问题，作业调度的好坏直接影响着云平台的服务质量。一个好的作业调度方法不仅能够为用户提供更好的服务质量，还能增大服务提供商的利润空间。

科研问题

随着云计算市场的快速发展，云服务平台在作业调度方面存在以下挑战：
1. 复杂的作业请求和高度动态变化的云环境给实时调度带来很大的挑战，很难找到一种最优的调度方法来保证最优的服务和最小的资源浪费。
2. 大规模云环境中，用户对服务的响应时间提出了更高的要求，总是希望在更短时间内得到响应，而传统单智能体在大规模环境中的响应效率较差。

科研目的

提出一种面向大规模复杂云环境的分层在线任务调度方法，使用深度强化学习（DRL）方法，通过分级分层的思想处理大规模的操作空间，优化决策质量。具体来说，我们将云环境分为集群和虚拟机两个层次，并在每一层专门设置不同的智能体学习决策。特定的智能体不仅比一个组合的大型智能体更快地调度任务，而且由于一个DQN只负责一个小环境中的操作，因此更能提高决策质量，快速响应用户请求，在保证用户响应时间的基础上，提高资源利用率，降低执行成本。

系统框架

研究进展：补充实验完成多智能体在线分层调度算法，取得进一步的实验结果。

本次汇报对分布式储能网络化运营能量需求预测研究的研究进展进行介绍，主要从科研背景、科研问题、科研目的、研究进展几个方面展开。

科研背景:

分布式储能是一种容量小且普遍靠近于负荷端的储能配置形式，常应用于中低压配电网及智能微电网中。相较于集中式储能，分布式储能安装地点灵活、投资费用低, 功率介于几千瓦至几兆瓦之间，持续放电时间较短，且容量一般不大于10 MW ·h。

分布式储能物理形态多样，包括新能源电厂储能、社区储能、电动车储能、数据中心储能、家庭储能、移动式储能等 。
储能是新能源发电并网和消纳的重要支撑技术，其重要作用包括平抑功率波动、削峰填谷、改善电能质量等。

预测性能源管理系统（PEMS）技术依赖于对未来需求/负荷和能源产生的准确预测。

科研问题：目前对于负荷预测模型,提取更精确的负荷的序列特征表示的能力有限，预测的准确性和泛化能力有所欠缺。
同一区域多个负荷对象间存在相关性，使用传统的单任务学习方法未考虑多个地点的负荷间的潜在关系，忽视这之间的关联信息可能会导致学习效果欠佳。

科研目的：结合多储能单元历史数据，通过季节性分解的对比学习获得好的特征表示，接着通过多任务学习挖掘不同单元的相关性，对负荷进行预测，最后通过预测结果进行能量管理以降低微电网群运行成本。

研究框架：

基于网络空间测绘技术面向区块链的P2P网络资产探测研究

科研背景

网络空间测绘是一种技术，可以帮助我们理解并管理复杂的网络环境。它涉及收集网络中的数据，并以有组织和可视化的方式表示这些数据。网络空间测绘技术可以用于诸如网络发现、资产管理、安全分析等任务。

随着网络的不断发展以及用户对网络使用需求的急剧增长，网络规模不断扩大、网络空间趋于复杂。通过网络空间资产探测，可以及时发现潜在的安全风险，避免被不法之徒攻击。国家把网络空间安全概念已提升到一个重要的层次，更加显示了网络空间安全。在网络攻防对抗中，首先得了解网络，要了解网络空间，就需要对网络空间进行资产探测。

网络空间资产探测技术作为网络安全的重要基础技术，是通过主动或被动探测的方法，来绘制网络空间上设备的网络节点和网络连接关系图，为网络设备进行画像。

以太坊是一种开源的区块链平台，以其智能合约功能和自定义的加密货币以太币闻名。它在加密货币社区中有着广泛的应用和影响力。然而，以太坊的P2P网络结构使得它变得相对难以追踪和监控。P2P网络，或点对点网络，是一种网络模型，其中所有参与者都被视为等同的节点，没有中央服务器或管理体。这种分布式网络架构使得以太坊在效率和抗审查性上都有一定的优势，但同时也对网络安全性和网络资产管理带来了挑战

由于以太坊网络的特性和价值，对其进行网络空间测绘以进行资产探测是很有意义的研究领域。通过这种技术，我们可以更好地了解以太坊网络的结构和行为模式，发现可能的安全风险，以及找到提高网络效率的方法。此外，它还可以为网络管理员和参与者提供重要的工具，以更有效地管理和利用他们的网络资产。

科研问题

以太坊P2P网络中的资产可以用哪些参数和指标来描述，并如何探测？需要明确哪些参数和指标可以用来描述以太坊网络中的资产。例如网络节点数量、分布、类型、状态等以及账户数量、类型、状态等。

通过网络空间测绘技术检测到哪些安全事件？使用网络空间测绘技术进行资产探测可能会揭示一些潜在的安全风险，例如可能被攻击的网络节点。
网络层：Eclipse攻击检测
应用层：钓鱼诈骗检测

研究内容

实验结果

这次组会主要介绍《基于DDQN的区块链网络攻击建模》研究进展，从科研背景、科研问题、科研目的、研究内容等几个方面展开。

科研背景

• 随着区块链技术的发展与不断应用，许多涉及生产生活的服务使用区块链作为数据存储使用，这其中包含大量大型组织以及政务系统。同时，区块链相关发展规划也写入“十四五”规划之中，应用前景广阔。区块链作为一种分布式存储系统，具有去中心化等特点，因此出现了大量跨网络部署的应用场景。然而，区块链系统由于涉及大量关键数据的存储，较容易遭APT攻击。
• 其中，Fabric作为联盟链的代表，由于其智能合约存在由于外部访问引发的命令执行风险,APT攻击者可以利用一些漏洞获取组织的MSP，利用Chaincode可嵌入攻击的特性，对整个联盟链网络进行APT攻击，构建一条可靠的稳定通信信道，达到长期隐蔽的获取价值数据的目的，实现APT攻击。
• 深度强化学习通常用于解决决策问题，利用其进行网络攻击建模，可以模拟攻击者的行为，并预测可能的攻击路径和目标。有助于了解攻击者的行为模式，及时发现潜在的威胁，并采取相应的防御措施来保护网络安全。
• （Double Deep Q-Network）作为一种深度强化学习算法，通过解决DQN中的过估计问题，提高了收敛速度和稳定性，提高了决策的准确性，能够更好地处理高维状态空间，进一步改进了DQN算法的性能，适合于区块链这种较为复杂的环境

科研问题

• 关于区块链系统的安全性研究，主要针对信息安全传输方面研究居多，针对面向区块链的APT攻击研究较少。
• 建模方法往往依赖于专家知识和规则的手动定义，受到个人主观意见和经验的影响，存在一定的局限性，导致模型无法全面覆盖各种攻击情况和变化，并且需要大量的时间和资源

科研目的

提出一种基于深度学习的区块链系统APT攻击图生成方法。将APT攻击路径生成建模为智能体通过与环境交互来学习最优行为策略的问题，深度强化学习可以通过学习和模拟攻击者的行为，更加准确高效的生成攻击路径，帮助区块链系统更好地应对复杂的APT攻击。

研究内容

实验结果

科研背景
云计算是一种通过网络向用户提供计算资源、平台、应用程序的分布式计算框架，是一种可以为用户提供一种按需使用、无处不在、便捷的共享计算资源，这些计算资源包括但不限于网络，服务器，存储，应用程序和服务。同时这些计算资源可以快速扩展和释放，使用户的管理成本大大降低。根据提供服务的不同，云计算的服务形式可以分为基础设施及服务，平台及服务，软件及服务三种类型。在基础设施即服务这种服务形式中，云服务供应商，比如亚马逊EC2，阿里云，他们通过虚拟机化技术为用户提供了具有不同配置多种类型的服务实例。用户可以根据自身需求自由的选择服务实例，并且可以根据需求变化对服务实例进行弹性拓展和释放，减少了计算资源的浪费，相比于传统计算环境具有更高的性价比。
工作流的定义是业务过程的部分或整体在计算机应用环境下的自动化，是对工作流程及其各操作步骤之间业务规则的抽象、概括描述。通俗的将，工作流是一组具有数据或功能依赖的任务组成的作业，根据应用场景可以分为将业务过程抽象成任务自动化完成的计算模型的业务工作流，主要存在于自动化办公这类事务密集型场所；有数据依赖性的复杂的科学数据处理活动的集合科学工作流，主要用于地震预测，图像识别这类计算密集型场景。近几年科学工作流已经由小规模、单一领域、单一组织发展成为大规模多学科交叉的科学计算问题，计算量更加庞大且性能要求高，开始普遍使用云计算支持其处理过程。

科研问题
1.工作流内部任务间的依赖关系使其调度是NP-hard问题,调度需要考虑子任务的执行顺序和计算实例。
2.云计算的动态性、异构性、扩展性使云计算环境下的工作流调度问题成为NP-complete问题，云服务实例类型不同、可动态租赁和释放、计算和数据传输性能动态变化影响调度算法性能。
3.实时调度需要满足截止时间约束、成本、能耗等特定的服务质量要求。

科研目地
针对云环境的动态性、异构型、扩展性等特性，提出一种面向不确定云环境的实时云工作流调度方法，通过深度强化学习（DRL）智能体，将实时到达的具有截止时间期限的工作流调度到任务执行情况不确定的云环境中执行。具体来说，在每个工作流到达时，根据工作流结构特征将子任务进行拆分为可直接调度执行的就绪任务和需要等待前置任务完成的等待任务，并为每个子任务分配子截至时间约束，不断将就绪任务通过DQN智能体调度到云虚拟机中执行，并根据任务执行情况更新未调度任务的子截至时间约束，通过智能体不断离线学习调度经验，在虚拟机子任务执行时间和数据传输时间不确定的云环境中实现低响应时间、低成本的工作流调度。

研究框架

这次组会主要介绍《基于深度强化学习的智能电表实时数据压缩》思路进展，从科研背景、科研问题、科研目的、研究内容等几个方面展开。

科研背景：

在传统的电力网络中，各个电力终端采集到的数据将传输到主站统一处理。但随着电网规模的扩大，接入的终端设备和产生的数据量不断增多，数据的传输和处理将耗费大量的网络和计算资源，且无法满足时延和安全性的需求。

物联网（IoT）在电力行业的普及导致了传感器、智能电表和其他电力设备之间的持续连接。在智能电网的某些领域，数十万或甚至数百万个传感器可以同时收集电力消耗数据。因此，电力用户侧的电力消耗数据呈指数级激增。例如，在我国的配电网调度系统中，大约50%的10kV横向数据丢失，给调度操作带来了极大的不便。此外，截至2018年底，国网有限公司已连接5.4亿个各类终端，每日数据采集量超过60TB。

建设智慧物联体系，实现电网各类数据资源实时汇聚与开放共享，大力发展“边缘智能”和边缘物联已成为电力系统打造新一代能源互联网的发展目标。

“边缘智能”意味着更多处理过程将在本地边缘侧完成，只需要将处理结果上传至云端，可以大大提升处理效率，减轻云端压力，更加贴近本地，可以保障数据的安全性，为用户提供更快的响应。

科研问题：

用户侧数据采集从过去的每15分钟一次，发展到现在的每1分钟一次，以及未来可能会更高频的1秒采集一次。如果这些传感器收集的所有电力数据都累积在一台服务器上，那么数量将是巨大的。这些巨大的数据量不仅增加了存储成本，而且使数据传输和处理成本高得令人望而却步。展望未来，数据收集对象的总数将迅速增加，数据收集的频率将继续上升。因此，数据存储的压力将进一步加剧，可能阻碍电网数字化发展的推进。

由于这些数据集中存在噪声，数据压缩通常可以提供显著的压缩增益，而不会影响下游应用程序的性能。考虑数据压缩策略以减少传输量变得至关重要，压缩是在收集数据并将其传输到云的边缘设备上执行的。这些边缘设备通常是计算和通信带宽受限的，因此压缩解决方案必须是实时的并且适合这些设备。

如何设计有效的实时压缩解决方案，弥合能源数据存储技术与采集/传输能力之间的差距，减轻边缘计算环境中数据存储和传输的压力，是我们所要关注的问题。

科研目的：

设计了一种电力实时数据压缩机制

来自电力用户端的时间序列数据在数据图中表示为一个一个的数据点。通过选择性地丢弃具有最小信息的数据点，可以在捕获基本特征的同时使用更少的数据点来表示电力数据图像。

构建了一套在边缘端进行实时电力数据压缩的框架

利用边缘计算的能力，传统上在云平台上执行的某些计算任务被转移到网络的边缘。该框架为实现实时电源数据压缩、提高效率和减少延迟提供了一个可行的解决方案。

提出了一种基于深度强化学习SG-DRL算法

该算法基于深度强化学习，专门为智能电网设计，是能源用户的数据压缩建模技术。SG-DRL有效地压缩功率数据，超越了传统方法的限制，实现了更高的压缩率 。

研究内容：

拟考虑将电力用户侧用电数据时序图像看成是一个个点组成的信息图，数据压缩的本质上是丢弃给定信息图的一些点，并将剩余的点保持为简化的数据。

在线方式逐个输入点，而只有大小为W的缓冲器可用，即在整个轨迹简化过程中最多可以保留W个点。我们采用了一种现有的策略，对于前W个点，我们将其直接存储在缓冲区中，对于剩余的每个点，由于缓冲区已满，我们需要将一个点丢弃以获得一些空间，然后将新点存储在缓冲中。与现有的策略不同，这些策略使用一些人工设计的启发式值来决定缓冲区已满时要丢弃哪个点。

我们的目标是为这项决策任务实现一种更智能的方法。具体而言，我们将轨迹简化问题视为一个顺序决策过程，并将其建模为马尔可夫决策过程。

深度强化学习方法建模：

在组会ppt中展示。

实验结果：

在组会ppt中展示。

论文写作分享：

在组会ppt中展示。

后续研究计划：

在组会ppt中展示。