分类目录归档:其他

2022-06-02 组会报告摘要-01

本次组会将介绍个人近期实施的一次成员推理攻击案例,通过这个真实的案例推导出差分隐私的公式;并进一步将介绍差分隐私应用到分布式GAN训练中遇到的一系列问题以及目前的解决方案。

内容主要包括:1.针对kaggle比赛的一次成功成员推理的案例,2.由思考如何应对这种攻击而推导出我们的差分隐私公式,3.将差分隐私机制加入到分布式GANs训练的方案,4. 针对原始数据与加入差分隐私后的合成数据D’之间,隐私损失评估方案落地过程中遇到的一系列实际困难和解决方案。

通过本次组会介绍,我们希望大家能有如下一些收获

1.知道什么是成员推理攻击,何种情况下可以实施这种攻击

2.通过应对成员推理攻击,理解什么是差分隐私机制,能够自己推导出差分隐私公式

3.一个现实的数据集的表示方式(经验累积概率分布函数ECDF),它为何无法使用通用的理论分布形式表示(即为何无法用累积概率分布函数CDF,和概率密度函数PDF)

4.如何比较两个数据集之间的差异,J-S散度为什么可用以及它的局限性

5.解决原始数据集D和生成数据集D’的隐私损失评估方案可行性的直观表达

6.如何将数据集的表示、数据集之间的差异性比较从点数据迁移到高维数据

2022-04-14 组会报告摘要-02

之前的组会中介绍了《基于零知识证明的异构架构联邦学习安全聚合方法研究》的科研背景、问题、研究思路以及实验方案。本次组会将详细汇报系统架构、工作流程、隐私保护方案和实验进展。

科研背景

联邦学习支持在不损害多个参与者的数据隐私的情况下,创建强大的集中式模型。由于知识产权问题以及任务和数据的异构性,每个参与者独立设计自己的模型在实际应用中具有广泛的需求。在面临数据中毒攻击、模型中毒攻击以及推理攻击时,异构架构联邦学习的鲁棒性和隐私性同样会受到威胁。

科研问题

  1. 大多数隐私性和鲁棒性研究都集中在同构架构下的联邦学习上,目前尚不清楚现有的攻击、隐私保护技术和防御机制是否适用于异构体系结构的联邦学习。
  2. 针对于联邦学习系统的恶意攻击,现有的防御措施要么需要仔细检查培训数据,要么在服务器上完全控制培训过程,由于联邦学习需要对节点数据隐私进行保护,因此其中任何一种方法都难以在联邦学习环境中有效。

研究目的

提出一种在异构结构中基于零知识证明的联邦学习安全聚合方法,实现在服务端在不得到各个节点任何知识的同时确保学习节点用户提交具有预先指定属性的更新,在隐私性方面能够预防推理攻击,在安全性上能够抵御主流的数据中毒以及模型中毒攻击,达到增强异构架构联邦学习的隐私性及安全性。

异构架构联邦学习模型系统

1.公共数据集预训练,初始化模型
2.私有数据集训练
3.模型在public data batch上测试获取logits(softmax层之前的输出)
4.上传logits
5.计算平均,返回共识 (返回2.)

零知识证明模块

在本研究中,每个参与方必须提供一个非交互式零知识证明,证明其提交的更新logits格式正确,并且其范数符合设置的边界 (边界由公共数据集计算或中值方法) 。若服务端验证成功,进行更新步骤;若失败,将该参与方的logits排除在本次更新之外,计算其他验证成功的参与方提供的logits的平均值。

2022-04-14 组会报告摘要-03

本次将会介绍有关《客服中心场景下基于情感分析的业务流程预测研究》的进展情况。主要内容如下:

科研背景:

  • 预测性的业务流程监控(Predictive business process monitoring)是近年来流程挖掘领域的一个研究热点。
  • PBPM分析业务流程中已完成实例的事件日志,对其正在运行的实例进行预测,以采取更为有效的资源调度等执行策略,避免不必要的损失,提升业务系统的整体性能。
  • 随着技术的发展和消费模式的升级,客服中心已成为推动企业和政府等组织机构开展数字化和智能化转型的重要切入点。

科研问题:

  • 深度学习模型已经应用到流程监控领域,但是针对客服中心场景下的业务流程预测,几乎没有一种技术能利用以自然语言编写的客服通话文本,这些文本中可以保存对预测任务至关重要的用户情感信息。

科研目的:

  • 针对客服中心的自然语言文本信息,提出一种客服中心场景下基于情感分析的业务流程预测方法,对客户的发问意图、抒发情感、表达语义等进行识别和理解,提高流程预测精度。

流程框架:

实验结果:

2022-04-07 组会报告摘要-01

本次组会主要介绍阅读到的一种建筑能耗异常检测的方法

将从以下几个方面展开介绍:

科研背景、科研问题、科研目的、方法、将来的工作、个人思考与总结

科研背景:

(1)全世界的建筑贡献约占总能源消耗的三分之一。研究报告称,由故障和设备使用异常引起的能源消耗异常浪费了高达20%的能源。

(2)实时检测这种异常并识别异常设备可以节省12%以上的能源。

科研问题:

(1)不能实现实时检测异常,不能及时反馈给用户。
(2)只能检测异常不能识别异常设备。

科研目的:

提出一种近实时的异常检测技术,通过使用现成的设备的额定功率来识别异常设备。

方法:

整体步骤:首先,它利用历史能源数据和上下文信息来预测目标日的能源消耗。其次,如果预测的能耗与实际能耗存在显著差异,则标记为异常。最后,通过比较预测的能耗和实际能耗与家用电器的额定能耗之间的差异,来识别异常电器。

将来工作

(1)不同的设备可能存在相同的设备额定功率,因此利用设备额定功率以及设备时间序列功率信号共同来实现异常设备的识别;

(2)Rimor不能区分可操作和不可操作的异常,因此计划使用主动学习方法来区分异常。

个人思考与总结

(1)没有实现复现,继续实现

(2)需要阅读更多的文献

2022-3-17 组会报告摘要-01

本次组会将会介绍最近关于电动汽车充电桩推荐过程中的隐私保护问题研究的研究进展,主要内容如下:

科研背景:
截至2021年6月底,全国新能源汽车保有量达603万辆,占汽车总量的2.06%。其中,纯电动汽车保有量493万辆,占新能源汽车总量的81.68%。截至2021年3月,国内公共类充电桩约85.1万台。

2021年9月,工信部指出,相关企业要采取管理和技术措施,按照车联网网络安全和数据安全相关标准要求,加强汽车、网络、平台、数据等安全保护,监测、防范、及时处置网络安全风险和威胁,确保数据处于有效保护和合法利用状态,保障车联网安全稳定运行。

区块链与车联网的集成不仅提高了安全性、隐私性和信任度,在适应灵活性和处理海量数据的同时,还提高了系统性能和自动化程度。因此,应该合理的将区块链技术与车联网结合起来。

科研问题:
1.使用中心服务器收集计算数据的方式,存在着隐私泄露的问题;
2.车辆位置信息的是隐私数据,其泄露会导致车主个人信息泄露等隐私安全问题;
3.充电桩未被合理利用的现象。

科研目的:
1.基于区块链的隐私保护电动汽车充电桩推荐系统;
2.基于同态加密的充电桩匹配算法。

整体流程框架:

2022-03-03 组会报告摘要-03

本次组会将会介绍有关《基于CPU-GPU架构的流程挖掘算法的性能优化》的有关内容。主要从一下几个方面介绍:

科研背景

流程挖掘是一门相对年轻的研究学科,它一方面位于机器学习和数据挖掘之间,另一方面又位于过程建模与分析中。流程挖掘的理念是通过从事件日志中提取出知识,从而去发现、监控和改进实际过程。

科研问题

近几年,因为数据量异常庞大导致的算法性能下降,使得现目前的流程挖掘算法逐渐不符合人们的预期。因此利用GPU的高度并行化解决流程挖掘性能问题是一个值得思考的热点。

科研内容

  • 完成流程挖掘算法的图形化。
  • 完成inductive miner算法的性能优化。
  • 使用异步操作来减少事件日志从CPU向GPU转移的时间。

进度报告

流程挖掘算法的优化前后时间对比。

能源电力大数据研究院组会安排(2022.2-2022.6)

日期 报告人 
2.24陈雅联坤常晓雨 
3.3梁音余其轩毛徐晗
3.10陈志强孙艺凡杨士铎
3.17张务卿杨鑫浩张敬伟
3.24李诗珂金正晗李敬豪
3.31仝鑫李何筱栗继房
4.7梁音徐亚成娜
4.14陈志强杨士铎杜丽
4.21李诗珂余其轩毛徐晗
4.28曲克童孙明雨张务卿
5.5杜哲韩旭王跃
5.12孙艺凡杨鑫浩金正晗
5.19陈雅联坤常晓宇仝鑫
5.26李诗珂李敬豪张敬伟
6.2陈志强徐亚杜丽
6.9李何筱栗继房成娜
  • 组会于每周四晚7点开始,形式为线上、线下结合。
  • 6月9日之后的组会安排于四月更新。
  • 组会原则上不允许请假,特殊情况,请假人需提前一周,以书面形式向研究院院长提出申请。
  • 报告人需提前两天将报告题目和内容摘要发布到研究院群。
  • 组内安排会议纪要,在次周周一提交。

2022-01-13组汇报告摘要-03

本次我将梳理我的研究《基于零知识证明的异构架构联邦学习安全聚合方法研究》的实验设置并重点讲解其中的零知识证明应用部分

科研背景及问题

联邦学习支持在不损害多个参与者的数据隐私的情况下,创建强大的集中式模型。由于知识产权问题以及任务和数据的异构性,每个参与者独立设计自己的模型在实际应用中具有广泛的需求。在面临数据中毒攻击、模型中毒攻击以及推理攻击时,异构架构联邦学习的鲁棒性和隐私性同样会受到威胁。因此,增强异构架构联邦学习的鲁棒性及隐私性是非常有意义的研究方向。
问题:目前在异构架构联邦学习的场景下还没有有效的保护系统隐私性以及鲁棒性的方法。

实验思路

1.公共数据集预训练,初始化模型
2.私有数据集训练
3.模型在public data batch上测试获取logits(softmax层之前的输出)
(零知识证明模块)4.上传logits
5.计算平均,返回共识 (返回2.)

异构架构联邦学习系统部分
联邦学习系统基于FedMD[1],分别在私有数据集和公共数据集上进行投毒攻击;恶意控制模型上传编造的losgits;截获第(4)步中的logits,推理攻击还原出模型结构。

零知识证明模块
零知识证明是指证明者能够在不向验证者提供任何有用信息的情况下,只通过双方交互使验证者相信某个论断是正确的。
1)完备性
2)合理性
3)零知识性

在本研究中,每个参与方必须提供一个非交互式零知识证明,证明其提交的更新logits格式正确,并且其范数符合设置的边界 (边界由公共数据集计算或中值方法) 。若服务端验证成功,进行更新步骤;若失败,将该参与方的logits排除在本次更新之外,计算其他验证成功的参与方提供的logits的平均值。

[1] Li, Daliang, and Junpu Wang. “Fedmd: Heterogenous federated learning via model distillation.” arXiv preprint arXiv:1910.03581 (2019).

2021-12-16组会报告摘要-03

本次组会将会介绍阅读的一篇论文《CE-FPN: Enhancing Channel Information for Object Detection》,主要从以下几个方面介绍:

研究背景:

由于深度学习可以利用庞大丰富的数据,对数据进行处理后送入网络中进行训练,提取同一目标丰富的特征来完成模型的训练。因此,深度学习相较于传统的视觉检测,算法的健壮性更好,鲁棒性和泛化性更强,更易于应用于特征复杂多变环境下的对象检测任务。

特征金字塔网络(FPN)是在目标检测中提取多尺度特征的一种有效框架,基于FPN的方法通过将多尺度特征与浅层内容的描述性特征和深度语义特征相结合,大大提高了目标检测的性能。

科研问题:

目前基于FPN的方法大多存在通道减少的内在缺陷,这导致了语义信息的丢失。而各种融合的特征图可能会造成严重的混叠效应。

方法:

本文提出了一种新的通道增强特征金字塔网络(CE-FPN),它具有三个简单而有效的模块来缓解这些问题。具体来说,受亚像素卷积的启发,我们提出了一种亚像素跳跃融合方法来执行通道增强和上采样,来代替原来的1×1卷积和线性上采样,它减轻了由于通道减少而造成的信息损失。然后,我们提出了一种用来提取更多特征表示的亚像素(sub-pixel)上下文增强模块,由于亚像素卷积利用了丰富的通道信息,因此优于其他上下文方法。此外,还引入了一个通道注意力引导模块来优化每个特征层上最终的集成特征,这仅用了少量的计算负担,就减轻了混叠效应(aliasing effect)。

总体框架: