显然“全局一致”和“本地适应”是一对需要平衡的矛盾。一个固定的 lambda_align 可能在整个训练过程中并非最优。
实验结果初步验证了我们的假设:在高度数据异构 (Non-IID) 的场景下,通过 DRCL 强制进行全局对齐 (`OursV5`),相比原始的FAFI (`OursV4`),能够带来模型一致性的显著提升和最终性能的微小改进。
既然直接的`loss`相加是行不通的,那么可以解耦(Decouple) 这两个相互冲突的目标。参考 pre-train + fine-tune ,我们不再让模型同时学习两个冲突的目标,而是分步进行。
在这个实验中,服务器将扮演一个“教师”的角色,在联邦学习开始前,利用 public_set 的一部分短暂地训练一个模型。这个模型的唯一目的就是学习 public_set 的基本特征分布,然后用它来生成真正有意义的、源于内部数据的公共特征库。
对于 memory bank 进行了实验,提供了三组实验数据,分别对应 `alpha=0.5`、`alpha=0.3` 和 `alpha=0.05` 三种不同的非独立同分布 (Non-IID) 程度,每组又包含了是否使用内存库 (Memory Bank) 的对比实验。