DRCL
原始实验数据见DRCL.txt。
实验结果初步验证了我们的假设:在高度数据异构 (Non-IID) 的场景下,通过 DRCL 强制进行全局对齐 (OursV5
),相比原始的FAFI (OursV4
),能够带来模型一致性的显著提升和最终性能的微小改进。相较于原始的 FAFI 算法 (OursV4
),OursV5
在以下两个关键方面表现出显著优势:
- 根本性地降低了模型不一致性:
OursV5
成功地使得不同客户端学习到的原型(分类器)更加一致,这一点在全局原型标准差 (g_protos_std
) 指标上得到了决定性的体现,该指标在所有数据异构性(Non-IID)设置下均有 7-13% 的显著下降。 - 提升了模型的最终性能:得益于模型一致性的改善,
OursV5
在几乎所有 Non-IID 等级下都取得了比OursV4
更高的测试准确率,尤其是在数据分布相对均衡(alpha
值较高)时,性能提升更为明显。
这些结果表明,通过引入固定的“原型锚点”来强制对齐,我们成功地缓解了由 Non-IID 数据导致的客户端模型分歧问题。
1. 原始数据统计
Alpha = 0.05
Round | Algorithm | Accuracy | Model Variance (Mean) | G-Protos Std |
---|---|---|---|---|
0 | OursV4 | 0.2829 | 0.000509 | 1.00606 |
0 | OursV5 | 0.2900 | 0.000508 | 1.00530 |
10 | OursV4 | 0.4973 | 0.001430 | 1.00622 |
10 | OursV5 | 0.4986 | 0.001411 | 0.99315 |
20 | OursV4 | 0.5784 | 0.002012 | 1.00636 |
20 | OursV5 | 0.5867 | 0.002001 | 0.97941 |
30 | OursV4 | 0.6238 | 0.002477 | 1.00648 |
30 | OursV5 | 0.6136 | 0.002471 | 0.96494 |
40 | OursV4 | 0.6384 | 0.002880 | 1.00661 |
40 | OursV5 | 0.6481 | 0.002877 | 0.95014 |
50 | OursV4 | 0.6697 | 0.003234 | 1.00672 |
50 | OursV5 | 0.6744 | 0.003239 | 0.93532 |
Alpha = 0.1
Round | Algorithm | Accuracy | Model Variance (Mean) | G-Protos Std |
---|---|---|---|---|
0 | OursV4 | 0.3132 | 0.000554 | 1.00604 |
0 | OursV5 | 0.3112 | 0.000557 | 1.00510 |
10 | OursV4 | 0.5465 | 0.001613 | 1.00621 |
10 | OursV5 | 0.5331 | 0.001596 | 0.99024 |
20 | OursV4 | 0.6534 | 0.002278 | 1.00637 |
20 | OursV5 | 0.6477 | 0.002278 | 0.97357 |
30 | OursV4 | 0.7024 | 0.002816 | 1.00651 |
30 | OursV5 | 0.7102 | 0.002818 | 0.95639 |
40 | OursV4 | 0.7321 | 0.003283 | 1.00664 |
40 | OursV5 | 0.7389 | 0.003285 | 0.93905 |
50 | OursV4 | 0.7610 | 0.003697 | 1.00676 |
50 | OursV5 | 0.7613 | 0.003703 | 0.92177 |
Alpha = 0.3
Round | Algorithm | Accuracy | Model Variance (Mean) | G-Protos Std |
---|---|---|---|---|
0 | OursV4 | 0.3037 | 0.000623 | 1.00599 |
0 | OursV5 | 0.2968 | 0.000614 | 1.00444 |
10 | OursV4 | 0.6587 | 0.002061 | 1.00611 |
10 | OursV5 | 0.6592 | 0.002041 | 0.98296 |
20 | OursV4 | 0.7430 | 0.002954 | 1.00626 |
20 | OursV5 | 0.7420 | 0.002940 | 0.96044 |
30 | OursV4 | 0.7967 | 0.003672 | 1.00641 |
30 | OursV5 | 0.7889 | 0.003656 | 0.93780 |
40 | OursV4 | 0.8192 | 0.004284 | 1.00656 |
40 | OursV5 | 0.8236 | 0.004270 | 0.91547 |
50 | OursV4 | 0.8390 | 0.004826 | 1.00671 |
50 | OursV5 | 0.8407 | 0.004818 | 0.89341 |
Alpha = 0.5
Round | Algorithm | Accuracy | Model Variance (Mean) | G-Protos Std |
---|---|---|---|---|
0 | OursV4 | 0.4045 | 0.000661 | 1.00595 |
0 | OursV5 | 0.3948 | 0.000666 | 1.00398 |
10 | OursV4 | 0.7366 | 0.002296 | 1.00603 |
10 | OursV5 | 0.7436 | 0.002306 | 0.97872 |
20 | OursV4 | 0.8155 | 0.003303 | 1.00618 |
20 | OursV5 | 0.8090 | 0.003307 | 0.95254 |
30 | OursV4 | 0.8474 | 0.004107 | 1.00636 |
30 | OursV5 | 0.8467 | 0.004101 | 0.92656 |
40 | OursV4 | 0.8611 | 0.004792 | 1.00654 |
40 | OursV5 | 0.8701 | 0.004784 | 0.90095 |
50 | OursV4 | 0.8769 | 0.005401 | 1.00673 |
50 | OursV5 | 0.8772 | 0.005393 | 0.87582 |
为了清晰对比,我们从日志中提取了第50轮的关键指标,并整理如下:
Alpha (α) | 算法 | 最终准确率 (轮 50) | 最终模型方差 | 最终原型标准差 (g_protos_std ) |
---|---|---|---|---|
0.05 (极度 Non-IID) | OursV4 (FAFI) | 0.6697 | 0.003234 | 1.00672 |
OursV5 (DRCL) | 0.6744 (+0.7%) | 0.003239 | 0.93531 (-7.1%) | |
0.1 (重度 Non-IID) | OursV4 (FAFI) | 0.7610 | 0.003697 | 1.00676 |
OursV5 (DRCL) | 0.7613 (+0.04%) | 0.003703 | 0.92177 (-8.4%) | |
0.3 (中度 Non-IID) | OursV4 (FAFI) | 0.8390 | 0.004826 | 1.00671 |
OursV5 (DRCL) | 0.8407 (+0.2%) | 0.004818 | 0.89341 (-11.3%) | |
0.5 (轻度 Non-IID) | OursV4 (FAFI) | 0.8769 | 0.005401 | 1.00673 |
OursV5 (DRCL) | 0.8772 (+0.03%) | 0.005393 | 0.87582 (-13.0%) |
3. 分析
3.1. 模型一致性提升
这是本次实验最重要的发现,它验证了我们方案的核心假设。
最终原型标准差 (
g_protos_std
)降低:
观察“最终原型标准差”一列。OursV5
在所有alpha
设置下,都大幅降低了该指标。g_protos_std
衡量的是从所有客户端收集来的本地原型在聚合前的离散程度。该值越低,说明客户端学习到的原型(分类器)越相似、越一致。- 在最极端的
alpha=0.05
场景下,OursV5
将原型标准差从1.00672
降至0.93531
,降幅超过 7%。 - 随着数据分布变得更均衡(
alpha
增大),DRCL 的对齐效果愈发显著,在alpha=0.5
时降幅达到了 13%。 - 这意味着
OursV5
客户端上传的本地原型本身就更加相似和对齐。OursV4
的客户端原型则较为发散,只能依赖服务器端的简单平均来聚合。这证明了我们的“固定锚点”对齐机制成功地引导了客户端特征空间的一致性。
- 在最极端的
模型参数方差 (Model Variance) 轻微改善:
OursV5
的模型参数方差与OursV4
相比非常接近,甚至在部分设置下有微弱的降低。虽然不像原型标准差那样差异较大,但也表明强制对齐分类器(原型)对整个模型的参数一致性有积极的正面影响。
3.2. 性能略微提升
模型一致性的提升转化为了最终性能的提高。
OursV5
在几乎所有设置下都取得了比OursV4
更高的测试准确率。在高异构性 (α=0.05) 下,OursV5
优势最明显。虽然在alpha=0.05
时提升幅度(+0.7%)看起来不大,但这已经是在一个非常困难的基线上取得的进步。随着异构性的提高,DRCL带来的稳定性优势开始体现,使得模型能够达到更高的性能上限。- 训从学习过程看,两种算法的收敛速度和稳定性相似,没有显示出一种方法明显快于另一种。
OursV5
在部分早期阶段准确率稍低,但在后期能够追上甚至反超,尤其是在 α=0.05 的情况下。从alpha=0.05
的日志可以看出,OursV4
在第 18 轮达到 0.5612 后,性能出现了较长时间的停滞甚至小幅下降,而OursV5
的准确率曲线则表现出更平稳的上升趋势。这说明OursV5
的训练过程可能更加稳定,因为它有一个固定的对齐目标,减少了训练中的“探索”和“摇摆”。