xDeepFM

type

status

date

slug

summary

1️⃣论文出处

xDeepFM: Combining Explicit and Implicit Feature Interactions for Recommender Systems

Combinatorial features are essential for the success of many commercial models. Manually crafting these features usually comes with high cost due to the variety, volume and velocity of raw data in web-scale systems. Factorization based models, which measure interactions in terms of vector product, can learn patterns of combinatorial features automatically and generalize to unseen features as well.

https://arxiv.org/abs/1803.05170

2️⃣论文解读

xDeepFM：名副其实的 "Deep" Factorization Machine

今天介绍中科大、北大与微软合作发表在 KDD'18 的文章《 xDeepFM: Combining Explicit and Implicit Feature Interactions for Recommender Systems 》。Paper写得很流畅，还清晰梳理了FNN / PNN / Wide&Deep / DeepFM / DCN等CTR预估典型NN结构，阅读体验很棒。 xDeepFM开源代码： https:// github.com/Leavingseaso n/xDeepFM 一看paper名字，很容易联想到华为在 IJCAI'2017 提出的模型DeepFM，但论"血缘关系"，xDeepFM 的一级近亲首先是 Deep & Cross Network。之前的专栏文章介绍过这两个模型： DeepFM的思想比较直观，从专栏文章名你已经知道它是怎么做的了，另外一个细节就是模型中FM与Deep共享Embedding。DCN的设计非常巧妙，引入Cross层取代 Wide & Deep 的Wide层，Cross层的独特结构使其可以显示、自动地构造有限高阶的特征叉乘。不理解 DCN的精髓，就没法很好地理解 xDeepFM，这里就不重复搬砖了，强烈建议不熟悉DCN的读者先先阅读上面列出的DCN解读。假设你已经知道DCN怎么干的、有哪些优点，我们再来看

https://zhuanlan.zhihu.com/p/57162373

3️⃣模型结构

CIN结构

模型结构

4️⃣解决问题

xDeepFM的动机，正是将FM的vector-wise的思想引入Cross部分。

DCN 的Cross层接在Embedding层之后，虽然可以显示自动构造高阶特征，但它是以bit-wise 的方式。例如，Age Field对应嵌入向量<a1,b1,c1>，Occupation Field对应嵌入向量<a2,b2,c2>，在Cross层，a1,b1,c1,a2,b2,c2会拼接后直接作为输入，即它意识不到Field vector的概念。Cross 以嵌入向量中的单个bit为最细粒度，而FM是以向量为最细粒度学习相关性，即vector-wise。s