本次组会将会介绍阅读的一篇论文《Attentive History Selection for Conversational
Question Answering》，主要从以下几个方面介绍：

科研背景

随着会话式AI的快速发展，产生了各种个人助理产品，例如Apple Siri，Amazon Alexa，Google Assistant等。越来越多的用户依赖这些系统来进行日常工作，比如设置计时器或下订单。一些用户还与它们互动娱乐，甚至作为情感伴侣。

对话问答场景

一个典型的对话问答过程涉及多个轮次。在每一轮中，用户首先指定一个信息需求，然后机器（代理）检索答案并返回给用户。用户可以问一个后续的问题，或转移到一个新的信息需求，进入对话问答的下一轮。其中存在几种不同的情况：

• 用户的问题与上一轮的回答相关，例如A1和Q2，A3和Q4，A4和Q5,A5和Q6。
• 用户的问题与之前的轮次无关，例如A2和Q3。——话题转移
• 用户的问题与很早之前轮次的相关，例如Q7和Q1。——话题返回

科研问题

虽然目前的个人助理系统能够完成任务，甚至进行聊天，但它们无法处理需要多次交互的复杂信息需求的信息寻找对话。

对话问答的主要挑战之一是利用对话历史来理解和回答当前的问题，但存在以下的问题：

• 机器不能像人一样自主理解历史对话信息。
• 如果我们把历史对话信息以同样的地位/权重放入模型中可能效果并不是很好。
• 现有模型采用简单的启发式选择对话历史，假设前一轮次比其他轮次更有帮助。但这种假设不一定正确。 [1]对QuAC数据集进行了定性分析。他发现35.4%和5.6%的问题分别有话题转移和话题返回的对话行为。在这两种情况下，当前的问题都与前一回合没有直接关系。

方法

本文从三个方面来解决对话问答存在的问题：

• 提出一种历史答案嵌入方法，利用Bert对包含位置的对话历史信息进行自然编码。
• 设计了一种历史注意机制（HAM）来进行对话历史的“软选择”。
• 利用多任务学习在进行答案预测的同时进行另一个重要的会话任务（对话行为预测）。

模型

本次将会介绍有关《基于小波变换和CNN-GRU的网络异常流量检测》的进展情况。主要内容如下：

科研背景：

随着计算机网络通信技术的飞速发展，计算机网络之间需要传输大量信息，为了提高网络资源的传输效率，掌握网络运行规律和异常网络状态，有必要对网络流量进行分析和预测，以便更有效地进行网络安全监控和安全评估。同时也出现了一系列攻击，网络入侵检测的任务是发现可疑攻击，并采取相应措施保护网络免受持续攻击，减少经济损失。流量分类是网络入侵检测的一项重要任务。

科研问题：

1.网络流量是非平稳数据，存在突变的几率高，现有的模型在数据突变时，应对能力不强。

2.网络流量存在周期性，忽略周期性带来的影响，可能会使预测精度下降。

3.现有的异常流量检测方法在时间和空间维度的结合较少。

科研目的：

提出一个基于小波变换和CNN-GRU的网络异常流量检测模型，该模型：

1.采用小波变化，小波对于突变信号的灵敏度很高，适合处理像网络流量这样的非平稳数据，能够提高在数据突变时预测的精度。

2.将一段时间内的数据视为整体，令数据从1D转化2D，利用CNN学习周期性的特征，作为异常流量监测判断的一个因素。

3.利用神经网络提取网络流量空间、时间上的特征。

实验流程：

未来计划：

预测模块：周期划分部分，学习特征，对于数据进行对比，精度不高，仍需要修改进行完善。

分类模块：计划考虑效率问题，现有数据维度过多，模型训练较慢，消耗资源大，而每一类攻击只会在某几类维度中有较为明显的特征，学习出每一类攻击对应最为凸显的几个维度进行模型训练，可以提高效率，但是现在只是出于计划阶段。

本次组会将会介绍阅读的一篇论文《EXTRACTOR: Extracting Attack Behavior from Threat Reports》，主要从以下几个方面介绍：

研究背景：

随着如今互联网网络服务不断趋于智能化，网络攻击方式日益隐蔽复杂，面对越来越多的网络安全威胁，网络威胁情报已然成为近几年国内外安全领域的热点。通过对网络威胁情报的获取、分析和共享,企业、组织和安全人员能够快速获取新的入侵威胁指标及其他更详细的信息,以此来识别、阻断和追踪网络入侵者,并能够预防更多网络威胁。CTI报告通常含有大量的无关的文本，安全人员很难从大量的文本中提取出真正有效的信息，因此利用工具自动从CTI文本中提取攻击信息有一定的研究价值。

科研问题：

从威胁报告中提取攻击行为信息当前面临着三个主要的问题：

（1）在一整篇CTI报告中，描述在系统审计日志能观测到的攻击行为可能只占很小一部分。CTI攻击信息提取器需要将有用的，能在系统审计日志中观测到的信息从不必要的冗余信息中提取出来。

（2）在网络空间安全领域中使用的语言具有很强的专业性，这使得传统的自然语言处理工具十分难以理解。

（3）对CTI报告中全局的信息进行提取需要理解攻击行为之间的关系，目前类似的提取方法仅仅依赖于句子的句法结构，没有考虑句子中实体之间的语义关系。

方法：

本文提出了EXTRACTOR用于解决这些问题。EXTRACTOR的目标是以图的形式描述CTI报告中攻击行为的全局信息。EXTRACTOR包含四个部分：Normalization；Resolution；Summarization；Graph Generation。前两部分主要用于解决文本复杂度与专业性问题，第三部分用于解决文本冗长问题，最后一部分用于提取攻击实体及其之间的关系。

结论

本文设计了一个自动提取CTI报告中攻击信息的工具EXTRACTOR。EXTRACTOR可以有效地提取CTI报告中的攻击信息，提取出的攻击信息以起源图的形式展示，且生成的起源图与人工生成的起源图能够进行匹配。生成的起源图能够进一步地作为威胁检测系统的输入。

本次将会介绍有关《基于零知识证明的异构架构联邦学习安全聚合方法研究》的进展情况。其中主要内容包括：

科研背景

联邦学习支持在不损害多个参与者的数据隐私的情况下，创建强大的集中式模型。由于知识产权问题以及任务和数据的异构性，每个参与者独立设计自己的模型在实际应用中具有广泛的需求。在面临数据中毒攻击、模型中毒攻击以及推理攻击时，异构架构联邦学习的鲁棒性和隐私性同样会受到威胁。因此，增强异构架构联邦学习的鲁棒性及隐私性是非常有意义的研究方向。

科研问题

1.大多数隐私性和鲁棒性研究都集中在同质架构下的联邦学习上，目前尚不清楚现有的攻击、隐私保护技术和防御机制是否适用于异构体系结构的联邦学习；

2.现有的针对于联邦学习隐私性和安全性的防御措施，要么需要检查培训数据，要么在服务器上完全控制培训过程，由于联邦学习需要对节点数据隐私进行保护，因此其中任何一种方法都难以在联邦学习环境中有效。

科研目的

1.研究数据中毒攻击、模型中毒攻击、推理攻击等在异构架构联邦学习下的攻击效果以及对应的防御措施；

2.研究零知识证明在异构架构联邦学习系统中的应用，提出一种基于零知识证明的安全聚合方法。

实验流程

实验进展

1.构建威胁模型（非目标中毒攻击）

公共数据集投毒

私有数据集投毒

2.实现零知识证明

原理：每个参与方必须提供一个非交互式零知识证明，证明其提交的更新类分数格式正确，并且有一个以服务器设置的边界的范数（范数可使用公共数据集计算或采用中值等方法）。若验证成功，进行更新步骤；若失败，将该参与方排除在本次更新之外，计算其他正确参与方提供的类分数更新。

步骤：编写计算的验证逻辑；生成证明密钥（proving key）和验证密钥（verification key）；参与方使用proving key和可行解构造证明；服务端使用verification key和构造证明，验证参与方发过来的证明。

开源库libsnark：C++ library for zkSNARKs

本次组会将会介绍有关《基于CPU-GPU架构的α算法的性能优化》的有关内容。主要从一下几个方面介绍：

科研背景

α算法是流程挖掘早期的发现算法之一，可以将事件日志转换为一个能够重演日志的petri网。同时α算法是完全开源的，我们可以在此基础上进行一些修改及优化操作。

科研问题

近几年，记录的数据量大幅度增加，使得事件日志变得庞大，再加上流程挖掘任务本身计算密集，导致流程挖掘性能逐渐不符合人们的预期。现有的提高α算法性能的方法——分布式计算架构也因为受到计算机资源的限制，导致遇到瓶颈。因此利用GPU的高度并行化解决流程挖掘性能问题是一个值得思考的热点。

科研目的

使用CPU-GPU架构实现α算法的并行化，减少petri网生成所需要的时间

使用方法

CPU-GPU架构

本次组会将会介绍阅读的一篇论文《Combination of short-term load forecasting models based on a stacking ensemble approach》，主要从以下几个方面介绍：

研究背景：

提高负荷预测的准确性有助于减少能源消耗，制定合理的电源建设规划，降低发电成本。所以电力的负荷预测对电力系统有重要的参考价值。本篇论文是以集成学习的方法来进行负荷预测，集成学习通过训练若干个个体学习器，通过一定的结合策略，最终形成一个强学习器。集成方法可以分类为：Bagging、Boosting、Stacking、Blending。

科研问题：

利用dnn构建最优预测模型是困难和耗时的，因为必须确定几个超参数才能获得最佳的神经网络组合。DNN模型中隐含层数的确定是一个具有挑战性的问题，因为它极大地影响着DNN模型的预测性能。

方法：集成学习的stacking方法

本次组会汇报讲解关于基于变分自编码网络的异常检测算法和基于混合高斯变分自编码网络的异常检测的对比。

科研背景：

随着数据维度的提高，深度神经网络已经显示出其优于传统机器学习的优点。因此，越来越多研究人员开始利用深度学习进行异常检测。
目前，异常检测算法大多依赖于重建误差或是重建概率等启发式方法进行异常判断。对此，本文所使用的方法摆脱了目前主流的基于重构误差的异常检测方法，而是基于数据特征的训练优化进行异常检测，同时在基于变分自编码网络的异常检测算法的基础上做出改进，提出 基于混合高斯变分自编码网络的异常检测的算法。

基于变分自编码网络的异常检测算法 网络模型

基于混合高斯变分自编码网络的异常检测算法的模型

基于变分自编码网络的异常检测算法的好检测效果

基于混合高斯变分自编码网络的异常检测算法的好检测效果

本次将会介绍有关《基于自适应合成采样和CNN-LSTM的网络异常流量检测模型》的进展情况。其中主要内容包括：

科研背景

随着攻击行为的不断升级和网络数据量的快速增长，再加上近年来内部威胁、零日漏洞、加密攻击等行为的出现，基于传统机器学习方法的网络异常流量检测模型已经难以应对这些新挑战。建立稳定、可靠、高精度且代价较小的网络异常检测模型来提高网络安全性，具有广阔的应用前景。近年来深度学习飞速发展，它可以学习样本数据的内在规律，在特征提取和模型建立方面效率更高。因此，网络安全领域的研究人员试图将深度学习算法应用到网络异常检测系统中。

科研问题

1.训练数据集的不平衡会影响模型的性能，导致少数类样本的高虚警率和高漏检率。

2.数据特征不能被完全提取，容易造成一些基本特征的丢失,从而影响分类模型的准确性。

科研目的

提出一种基于自适应合成采样和CNN-LSTM的网络异常检测模型，该模型：

1.采用数据增强算法，避免了模型对大样本敏感而忽略小样本，提高了网络异常检测模型对小样本的学习和识别能力；

2.利用神经网络分别提取网络流量数据的空间和时序特征。

实验流程

未来计划

本次组会将会介绍有关《DRL-Scheduling-一种面向云应用的智能Qos感知作业调度框架》的有关内容以及自己的一些理解，主要从以下几个方面介绍：

科研背景：
随着云计算技术的不断发展，Iaas供应商（如Amazon EC2和Microsoft Azure）能为用户提供强大的计算和存储资源，使得应用程序供应商能以更低的成本构建自己的IT基础设施。因此，越来越多的应用程序迁移至云环境。基于云的应用程序的资源管理特别是实现高效的作业调度，满足用户的服务质量要求成为备受关注的问题之一。

科研问题：
不同于传统操作系统调度和分布式计算调度， 云环境下的任务调度环境更加复杂，影响因素更多，任务和虚拟机种类繁多，基于理论研究和启发式算法不能很好的实现云计算作业调度。因此，解决云环境下作业调度问题，实现高效，实时并尽量满足用户QoS要求的作业调度是主要解决的问题。

科研目的：
构建基于深度强化学习的智能调度框架，实现对云环境实时作业调度的优化，减少作业平均响应时间并尽量满足用户QoS要求。

使用方法：
深度强化学习DQN算法

本次组会将会介绍有关《基于多模态情感分析的个性化标签推荐》自己看完相关论文的一些想法，主要从以下几个方面介绍：

研究背景：
不同的用户根据自己的喜好为类似的帖子标注不同的hashtag。考虑到这一点，用户的偏好和标签的语义表示实际上与帖子的特性有着复杂的交互。因此，如何利用这种复杂的交互来表示用户偏好和标签语义是非常重要的。图片和文本丰富的多模态信息使得话题标签个性化推荐更具挑战性。推文伴随的图像所携带的情感信息与文本的情感信息是否一致， 推文伴随的图像所携带额外的上下文信息与文本信息之间应该如何提取特征从而推荐用户喜好的hashtag。

科研问题：
推荐系统如何更充分地挖掘深层内容特征在下面三个方面：信息量、信息维度、提取能力。信息量：不同模态输入信息不同；信息维度：存在诸多影响因素；提取能力：去除噪声信息，强化重要信息特征。

研究目的：
让推荐系统更充分地挖掘用户深层内容特征信息，图片、文字的语义和情感，生成更加符合用户需求的hashtag。

使用方法：
图片和文字并行处理，用VIT模型处理提取图片特征和情感，用BERT处理提取文本特征和情感；融合多模态信息，使推荐出来的hashtag更加符合用户需求。