之前的组会中介绍了《基于零知识证明的异构架构联邦学习安全聚合方法研究》的科研背景、问题、研究思路以及实验方案。本次组会将详细汇报系统架构、工作流程、隐私保护方案和实验进展。
科研背景
联邦学习支持在不损害多个参与者的数据隐私的情况下，创建强大的集中式模型。由于知识产权问题以及任务和数据的异构性，每个参与者独立设计自己的模型在实际应用中具有广泛的需求。在面临数据中毒攻击、模型中毒攻击以及推理攻击时，异构架构联邦学习的鲁棒性和隐私性同样会受到威胁。
科研问题
- 大多数隐私性和鲁棒性研究都集中在同构架构下的联邦学习上，目前尚不清楚现有的攻击、隐私保护技术和防御机制是否适用于异构体系结构的联邦学习。
- 针对于联邦学习系统的恶意攻击，现有的防御措施要么需要仔细检查培训数据，要么在服务器上完全控制培训过程，由于联邦学习需要对节点数据隐私进行保护，因此其中任何一种方法都难以在联邦学习环境中有效。
研究目的
提出一种在异构结构中基于零知识证明的联邦学习安全聚合方法，实现在服务端在不得到各个节点任何知识的同时确保学习节点用户提交具有预先指定属性的更新，在隐私性方面能够预防推理攻击，在安全性上能够抵御主流的数据中毒以及模型中毒攻击，达到增强异构架构联邦学习的隐私性及安全性。
异构架构联邦学习模型系统
1.公共数据集预训练，初始化模型
2.私有数据集训练
3.模型在public data batch上测试获取logits（softmax层之前的输出）
4.上传logits
5.计算平均，返回共识 （返回2.）
零知识证明模块
在本研究中，每个参与方必须提供一个非交互式零知识证明，证明其提交的更新logits格式正确，并且其范数符合设置的边界 （边界由公共数据集计算或中值方法） 。若服务端验证成功，进行更新步骤；若失败，将该参与方的logits排除在本次更新之外，计算其他验证成功的参与方提供的logits的平均值。