提出了一种增强的专家混合模型（MoE）架构，该架构利用特征提取网络，并通过软最近邻损失（SNNL）进行优化，以解决专家崩溃问题。在传统的MoE架构中，由于输入特征空间中类边界的重叠，多个专家往往学习到冗余的表示，导致门控网络的路由变得僵化。通过在将输入特征传递给门控和专家网络之前，对潜在空间进行预处理，最小化类相似数据点之间的距离，从而有效地解决了结构性专家崩溃问题。这种方法不仅提高了专家的多样性...