参考之前的 lambda 退火,我们不再要求本地模型一步到位地对齐最终的ETF锚点,而是让对齐目标从一个容易的初始状态,平滑地、渐进地过渡到完美的最终状态。
既然一个完美训练好的模型的分类器权重(原型)最终会自发形成ETF结构,可以直接创建一个ETF作为固定的锚点,让所有客户端从一开始就向其对其。
显然“全局一致”和“本地适应”是一对需要平衡的矛盾。一个固定的 lambda_align 可能在整个训练过程中并非最优。
实验结果初步验证了我们的假设:在高度数据异构 (Non-IID) 的场景下,通过 DRCL 强制进行全局对齐 (`OursV5`),相比原始的FAFI (`OursV4`),能够带来模型一致性的显著提升和最终性能的微小改进。
既然直接的`loss`相加是行不通的,那么可以解耦(Decouple) 这两个相互冲突的目标。参考 pre-train + fine-tune ,我们不再让模型同时学习两个冲突的目标,而是分步进行。