作者归档:金正晗

2023年4月20日 组会报告摘要-02

我本次汇报的题目是:《基于生成式对抗网络的网络流量异常检测方法研究》,我将从科研背景和意义、研究内容与方法、总结展望三个个方面进行汇报。

2022.3.24组会报告摘要

本次将会介绍有关《基于小波降噪和模糊聚类的漂移数据流自适应预测》的进展情况。主要内容如下:

科研背景:

当前的模型和算法越来越需要在非平稳环境中学习,因为可能会出现概念漂移(或模式转移)的现象,也就是说,数据分布相同的假设在数据流中可能是无效的。一旦数据模式发生变化,建立在以前的、现在已经过时的数据基础上的训练有素的模型就无法为未来的数据提供准确的预测。为了获得可靠的预测,理解数据流中现有的模式以及在建模过程中了解当前示例所属的模式非常重要。

科研问题:

1.网络流量是非平稳数据,存在突变的几率高,现有的模型在个体数据突变时,应对能力不强。

2.现有的模型或方法难以准确预测非平稳环境中可能会发生模式转移的数据。

3.在进行模式归类时,将一个实例明确归为某一种模式是不明确的,会导致预测精度下降。

科研目的:

提出一种基于小波和模糊聚类的预测方法,能够有效的解决模式变换带来的预测精度下降问题,缓解非平稳数据中噪音对模型的影响,综合提高预测精度。

实验流程:

未来计划:

1.3.31之前完善实验,填补论文实验部分。

2.针对窗口长度的选择或者是自适应变化还有待进一步研究,可变长度的窗口必然可以提升精度,但是如何可变,还需要阅读相关论文进一步研究。

3.对于概念漂移来说,噪音的影响巨大,虽然用小波降噪来解决,可以查看是否有变体小波,可以针对该数据集,达到较好的效果。

2021.12.23组会报告摘要01

本次将会介绍有关《基于小波变换和CNN-GRU的网络异常流量检测》的进展情况。主要内容如下:

科研背景:

随着计算机网络通信技术的飞速发展,计算机网络之间需要传输大量信息,为了提高网络资源的传输效率,掌握网络运行规律和异常网络状态,有必要对网络流量进行分析和预测,以便更有效地进行网络安全监控和安全评估。同时也出现了一系列攻击,网络入侵检测的任务是发现可疑攻击,并采取相应措施保护网络免受持续攻击,减少经济损失。流量分类是网络入侵检测的一项重要任务。

科研问题:

1.网络流量是非平稳数据,存在突变的几率高,现有的模型在数据突变时,应对能力不强。

2.网络流量存在周期性,忽略周期性带来的影响,可能会使预测精度下降。

3.现有的异常流量检测方法在时间和空间维度的结合较少。

科研目的:

提出一个基于小波变换和CNN-GRU的网络异常流量检测模型,该模型:

1.采用小波变化,小波对于突变信号的灵敏度很高,适合处理像网络流量这样的非平稳数据,能够提高在数据突变时预测的精度。

2.将一段时间内的数据视为整体,令数据从1D转化2D,利用CNN学习周期性的特征,作为异常流量监测判断的一个因素。

3.利用神经网络提取网络流量空间、时间上的特征。

实验流程:

未来计划:

预测模块:周期划分部分,学习特征,对于数据进行对比,精度不高,仍需要修改进行完善。

分类模块:计划考虑效率问题,现有数据维度过多,模型训练较慢,消耗资源大,而每一类攻击只会在某几类维度中有较为明显的特征,学习出每一类攻击对应最为凸显的几个维度进行模型训练,可以提高效率,但是现在只是出于计划阶段。

金正晗2021秋季学期周报

1.修改模型,写小论文

2.整理区块链项目中期报告、ppt

3.整理成熟度模型资料

2021.11.28

1.阅读区块链相关文献,从中整理出基于流量监控的异常检测,实现安全区块链组网的方法,该方法不是从账本数据进行区块链分类账或者是只针对特定攻击的检测,而是通过数据采集引擎感知底层区块链流量,并定期生成多维度数据流,做到基于区块链网络流量来检测恶意事件。整理出通过建立的私人节点对区块链公链的接入来获取数据,并且按照时序分类来规划数据的规模,定义了一组特征来描述该时序流量的特征表示,还收集在与常规服务断开连接的隔离设置中生成的模拟攻击流量,以便进行评估。在此之中,学习到计划利用变体AE模型中,可以自设定重构误差,表示出输入与输出之间的差异,以此对于不同流量之间的判断和识别,利用该特征,进行异常流量的检测,这样也可以实现半监督学习,对于区块链海量无标签流量的学习和分类。最后对此进行总结和ppt的编写,完成区块链项目中期ppt的编写。

2.阅读网络安全成熟度相关文献、法律法规,选取了网络安全风险治理角度,通过对不同文献之间的对比,着重关注不同模型对于网络安全风险治理的需求和要求,可以从等保、C2M2 2.0等文献中发现对于风险识别、风险监测、态势感知等控制项的要求,为铁路成熟度模型的构建寻找到依据和出处,并且细化文献中控制项的要求,从中学习,完成铁路成熟度ppt的编写。寻找网络安全防御能力等方面的相关文献,从文献、模型、法规中选取相关资料进行铁路行业网络安全成熟度评估认证体系、 铁路行业网络安全成熟度模型相关技术文档的编写。

2021.12.6

1.继续阅读网络安全成熟度相关文献,从国家标准等文献来源对铁路成熟度模型、评估体系文档进行完善,这一周完成了对两个文档的进度要求。

2.这一周根据之前找的一些文献,针对并连网络,选取了“Wide and Deep Convolutional Neural Networks for Electricity-Theft Detection to Secure Smart Grids”这一篇文献,里面运用的就是两个并连的模型对于时序数列的处理,计划按照该文献对自身的模型进行修改,之前完善模型的一周就是准备复现,但是里面的时序数列进行二维化是该文献的一个创新点,也是之前时序数列强调周期性的表现,实验进度暂时卡在这里,正在查找代码,看看是否能完成实时的周期检测,文献中因为是针对电力数据,并且周期限定较为死板,需要相应的改进。针对之前为何单独引用数据流的那一维度:现在做异常流量检测,可以从识别、预测两个方面入手;

1)先进行预测模块,那么数据来源就是数据流维度,现在的框架是打算以上述文献来进行搭建,从电力场景运用到网络流量也是适用的。

2)但是现在有许多攻击,单从预测数据流大小,无法判别,所以我们需要进行识别,利用流量记录中的其他维度进行识别。现在计划将原有的CNN模型改变,就侧重做预测,识别只是作为辅助,所以要减小CNN的资源消耗,不过现有的模型正确率在八分类中仍有八十多,所以计划在完成预测模块,解决了序列二维化的相关应用,再来考虑是否要替换识别模块。

2021.12.13

1.按照专家反馈要求,对区域边界、计算环境、业务等方面的安全要求进行迭代修改,对风险治理方面资料进行阅读和提炼,进一步完善铁路成熟度的相关报告。

2.预测部分:正在以选取论文的方式,套用网络流量的数据在复现。发现在周期上可以用pcc值进行异常的凸显,暂时还是按照论文中的周期分割,如果按照事先划分好的周期进行比较,可以实现代码来完成,但是事前确定的固定周期,效果不是很好,而且只能对已有的数据进行分析,仍需要修改。最终目标是:预测+利用周期进一步强化。

3.识别部分:暂时不做改动,在查看密集网络,计划更改。

2021.12.20

1.针对专家开会的要求,对铁路成熟度模型文档进行迭代修改,在等保的基础上,结合相关行业和相关技术要求的文档进行结合,提炼,进一步修改相关报告。

2.预测部份:按照固定的周期,使时间从一维数据转化为二维数据,利用CNN模型来提取周期上的特征,可以进行比较。并且针对在时序数据突变时,尤其是网络流量,模型无法较好适应,采用了小波的数据处理方法,更好的预测非平稳数据。

3.识别部分:想在预测方面进一步研究,识别暂时想法是:每一类攻击在多个维度中,会在某几个维度有着独特的表现,如果按照全部维度的模型训练,在效率、资源消耗上都有着较大的浪费,是否能训练出每个攻击对应的几个最为凸显的维度,来进行训练,然后作为预测模块的辅助,还没有开始实施,暂时只在查找预测相关文献。

2021.12.27

1.根据之前专家反馈要求,加强控制项和风险之间的关联,寻找相应材料,完善技术报告。周末按照专家会议要求,结合铁路方面相关材料,填写表格,进一步完善报告。

2.根据其他领域预测的相关方法,暂时针对非平稳数据,利用小波分解,能够更好应对突变数据,从中加强预测的精度。周期部分计划先查阅相关文献,制定相应的办法。

3.在查找预测、分类方面的论文,想在相应论文的基础上,完善自己的模型架构,分类部分的实验暂时不考虑特征选择,先定下框架,在进行相关研究。

2022.1.4

1.按照铁路会议要求,按照需求对铁路内部系统数据等进行等级划分,根据铁路给的资料进行模型的对照更改,实验东进的模型,给出模型使用产生的问题。

2.在上周查阅的相关文献中,小波方面创新点不多,相关应用文献不是很适用,所以打算把创新点放在预测模型,在查阅预测方面相关文献,来重新确定模型框架。