DRCL

实验结果初步验证了我们的假设:在高度数据异构 (Non-IID) 的场景下,通过 DRCL 强制进行全局对齐 (`OursV5`),相比原始的FAFI (`OursV4`),能够带来模型一致性的显著提升和最终性能的微小改进。

DRCL

原始实验数据见DRCL.txt

实验结果初步验证了我们的假设:在高度数据异构 (Non-IID) 的场景下,通过 DRCL 强制进行全局对齐 (OursV5),相比原始的FAFI (OursV4),能够带来模型一致性的显著提升和最终性能的微小改进。相较于原始的 FAFI 算法 (OursV4),OursV5 在以下两个关键方面表现出显著优势:

  1. 根本性地降低了模型不一致性:OursV5 成功地使得不同客户端学习到的原型(分类器)更加一致,这一点在全局原型标准差 (g_protos_std) 指标上得到了决定性的体现,该指标在所有数据异构性(Non-IID)设置下均有 7-13% 的显著下降。
  2. 提升了模型的最终性能:得益于模型一致性的改善,OursV5 在几乎所有 Non-IID 等级下都取得了比 OursV4 更高的测试准确率,尤其是在数据分布相对均衡(alpha 值较高)时,性能提升更为明显。

这些结果表明,通过引入固定的“原型锚点”来强制对齐,我们成功地缓解了由 Non-IID 数据导致的客户端模型分歧问题。

1. 原始数据统计

Alpha = 0.05

RoundAlgorithmAccuracyModel Variance (Mean)G-Protos Std
0OursV40.28290.0005091.00606
0OursV50.29000.0005081.00530
10OursV40.49730.0014301.00622
10OursV50.49860.0014110.99315
20OursV40.57840.0020121.00636
20OursV50.58670.0020010.97941
30OursV40.62380.0024771.00648
30OursV50.61360.0024710.96494
40OursV40.63840.0028801.00661
40OursV50.64810.0028770.95014
50OursV40.66970.0032341.00672
50OursV50.67440.0032390.93532

Alpha = 0.1

RoundAlgorithmAccuracyModel Variance (Mean)G-Protos Std
0OursV40.31320.0005541.00604
0OursV50.31120.0005571.00510
10OursV40.54650.0016131.00621
10OursV50.53310.0015960.99024
20OursV40.65340.0022781.00637
20OursV50.64770.0022780.97357
30OursV40.70240.0028161.00651
30OursV50.71020.0028180.95639
40OursV40.73210.0032831.00664
40OursV50.73890.0032850.93905
50OursV40.76100.0036971.00676
50OursV50.76130.0037030.92177

Alpha = 0.3

RoundAlgorithmAccuracyModel Variance (Mean)G-Protos Std
0OursV40.30370.0006231.00599
0OursV50.29680.0006141.00444
10OursV40.65870.0020611.00611
10OursV50.65920.0020410.98296
20OursV40.74300.0029541.00626
20OursV50.74200.0029400.96044
30OursV40.79670.0036721.00641
30OursV50.78890.0036560.93780
40OursV40.81920.0042841.00656
40OursV50.82360.0042700.91547
50OursV40.83900.0048261.00671
50OursV50.84070.0048180.89341

Alpha = 0.5

RoundAlgorithmAccuracyModel Variance (Mean)G-Protos Std
0OursV40.40450.0006611.00595
0OursV50.39480.0006661.00398
10OursV40.73660.0022961.00603
10OursV50.74360.0023060.97872
20OursV40.81550.0033031.00618
20OursV50.80900.0033070.95254
30OursV40.84740.0041071.00636
30OursV50.84670.0041010.92656
40OursV40.86110.0047921.00654
40OursV50.87010.0047840.90095
50OursV40.87690.0054011.00673
50OursV50.87720.0053930.87582

为了清晰对比,我们从日志中提取了第50轮的关键指标,并整理如下:

Alpha (α)算法最终准确率 (轮 50)最终模型方差最终原型标准差 (g_protos_std)
0.05 (极度 Non-IID)OursV4 (FAFI)0.66970.0032341.00672
OursV5 (DRCL)0.6744 (+0.7%)0.0032390.93531 (-7.1%)
0.1 (重度 Non-IID)OursV4 (FAFI)0.76100.0036971.00676
OursV5 (DRCL)0.7613 (+0.04%)0.0037030.92177 (-8.4%)
0.3 (中度 Non-IID)OursV4 (FAFI)0.83900.0048261.00671
OursV5 (DRCL)0.8407 (+0.2%)0.0048180.89341 (-11.3%)
0.5 (轻度 Non-IID)OursV4 (FAFI)0.87690.0054011.00673
OursV5 (DRCL)0.8772 (+0.03%)0.0053930.87582 (-13.0%)

3. 分析

3.1. 模型一致性提升

这是本次实验最重要的发现,它验证了我们方案的核心假设。

  • 最终原型标准差 (g_protos_std)降低:
    观察“最终原型标准差”一列。OursV5 在所有 alpha 设置下,都大幅降低了该指标。g_protos_std 衡量的是从所有客户端收集来的本地原型在聚合前的离散程度。该值越低,说明客户端学习到的原型(分类器)越相似、越一致。

    • 在最极端的 alpha=0.05 场景下,OursV5 将原型标准差从 1.00672 降至 0.93531,降幅超过 7%。
    • 随着数据分布变得更均衡(alpha 增大),DRCL 的对齐效果愈发显著,在 alpha=0.5 时降幅达到了 13%。
    • 这意味着OursV5 客户端上传的本地原型本身就更加相似和对齐。 OursV4 的客户端原型则较为发散,只能依赖服务器端的简单平均来聚合。这证明了我们的“固定锚点”对齐机制成功地引导了客户端特征空间的一致性。
  • 模型参数方差 (Model Variance) 轻微改善:

    • OursV5 的模型参数方差与OursV4 相比非常接近,甚至在部分设置下有微弱的降低。虽然不像原型标准差那样差异较大,但也表明强制对齐分类器(原型)对整个模型的参数一致性有积极的正面影响。

3.2. 性能略微提升

模型一致性的提升转化为了最终性能的提高。

  • OursV5 在几乎所有设置下都取得了比 OursV4 更高的测试准确率。在高异构性 (α=0.05) 下,OursV5 优势最明显。虽然在 alpha=0.05 时提升幅度(+0.7%)看起来不大,但这已经是在一个非常困难的基线上取得的进步。随着异构性的提高,DRCL带来的稳定性优势开始体现,使得模型能够达到更高的性能上限。
  • 训从学习过程看,两种算法的收敛速度和稳定性相似,没有显示出一种方法明显快于另一种。OursV5 在部分早期阶段准确率稍低,但在后期能够追上甚至反超,尤其是在 α=0.05 的情况下。从 alpha=0.05 的日志可以看出,OursV4 在第 18 轮达到 0.5612 后,性能出现了较长时间的停滞甚至小幅下降,而 OursV5 的准确率曲线则表现出更平稳的上升趋势。这说明 OursV5 的训练过程可能更加稳定,因为它有一个固定的对齐目标,减少了训练中的“探索”和“摇摆”。
保留所有权。
comments powered by Disqus