MMOE

type

status

date

slug

summary

1️⃣论文出处

Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts

Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts Jiaqi Ma (University of Michigan); Zhe Zhao (Google); Xinyang Yi (Google); Jilin Chen (Google); Lichan Hong (Google); Ed Chi (Google) Neural-based multi-task learning has been successfully used in many real-world large-scale applications such as recommendation systems. For example, in movie recommendations, beyond providing users movies which they tend to purchase and watch, the system might also optimize for users liking the movies afterwards.

https://www.kdd.org/kdd2018/accepted-papers/view/modeling-task-relationships-in-multi-task-learning-with-multi-gate-mixture-

2️⃣论文解读

多目标学习在推荐系统的应用(MMOE/ESMM/PLE)

一、前言最近搞了一个月的视频多目标优化，同时优化点击率和衍生率(ysl, 点击后进入第二个页面后续的点击次数)，线上AB实验取得了不错的效果，总结一下优化的过程，更多的偏向实践。二、业界方案2.1 样本Loss加权...

https://zhuanlan.zhihu.com/p/291406172

详解谷歌之多任务学习模型MMoE(KDD 2018)

文章发表在KDD 2018 Research Track上，链接为Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts。 ...

https://zhuanlan.zhihu.com/p/55752344

3️⃣模型结构

4️⃣解决问题

MMoE模型刻画了任务相关性，基于共享表示来学习特定任务的函数，避免了明显增加参数的缺点。

多任务模型通过学习不同任务的联系和差异，可提高每个任务的学习效率和质量。多任务学习的的框架广泛采用shared-bottom的结构，不同任务间共用底部的隐层。这种结构本质上可以减少过拟合的风险，但是效果上可能受到任务差异和数据分布带来的影响。也有一些其他结构，比如两个任务的参数不共用，但是通过对不同任务的参数增加L2范数的限制；也有一些对每个任务分别学习一套隐层然后学习所有隐层的组合。和shared-bottom结构相比，这些模型对增加了针对任务的特定参数，在任务差异会影响公共参数的情况下对最终效果有提升。缺点就是模型增加了参数量所以需要更大的数据量来训练模型，而且模型更复杂并不利于在真实生产环境中实际部署使用。

5️⃣损失函数 | 目标函数 | 公式推导

6️⃣代码实现

MMOE 多任务学习模型介绍与源码浅析

对自己之前分析过的文章做一个简单的总结: 本文介绍了 MMoE (Multi-gate MoE) 模型, 主要是解决传统的 multi-task 网络 (主要采用 Shared-Bottom Structure) 可能在任务相关性不强的情况下效果不佳的问题, 有研究揭示了 multi-task 模型的效果高度依赖于任务之间的相关性; MMoE 借鉴 MoE 的思路, 引入多个 Experts (即多个 NN 网络) 网络, 然后再对每个 task 分别引入一个 gating network, gating 网络针对各自的 task 学习 experts 网络的不同组合模式, 即对 experts 网络的输出进行自适应加权. 说实话, 这一点非常像 Attention, Experts 网络学习出 embedding 序列, 而 gating 网络学习自适应的权重并对 Experts 网络的输出进行加权求和, 得到对应的结果之后再分别输入到各个 task 对应的 tower 网络中.

https://zhuanlan.zhihu.com/p/347856746

7️⃣论文细节

1.如何描述多个专家模型对于不同任务的差别和有效性？

在一个足够大的数据集上，打印每个gate网络 softmax后的分布，这里直接体现的就是每个专家系统对于当前子任务的权重。

2.如何确定超参，如expert数和专家模型的实现方案？

当gate网络由一层fc升级为3层fc（gate网络参数增大，expert网络参数减少）时效果有明显提升。

expert专家数量根据我们的对比实验（expert数量增大时，每个expert网络模型参数减少），一般呈现中间高两头低的现象，最佳的实验结果是expert专家数量在gate数量（子任务个数）1-2倍区间。

3.新加子任务时的热启解决方案？

完全冷启训练。这种适用于收敛较快，模型改动特别大的场景，尤其是对于sparse部分的修改。

只热启sparse部分(embedding)。这是最常见的方式，一般增加目标的场景或者修改上层模型的场景下，sparse都是共享的，所以直接热启线上训练好的sparse表可以快速收敛，稳定性也更好。

热启sparse部分和部分dense模型。比如只增加目标，不修改expert数量的场景下，直接热启expert专家模型的参数。这个在部分场景下适用，但不建议这样热启，因为当新增加一个任务或者修改上层模型后，整体的分布会改变，从之前的专家模型参数开始重新收敛并不一定比完全冷启expert专家模型效果更好，有可能会出现局部收敛陷阱，这个需要具体场景下的多组实验对比。