搜推广
DeepFM
00 min
2024-9-28
2024-9-28
type
status
date
slug
summary
tags
category
icon
password

DeepFM

1️⃣论文出处

DeepFM: A Factorization-Machine based Neural Network for CTR Prediction
Learning sophisticated feature interactions behind user behaviors is critical in maximizing CTR for recommender systems. Despite great progress, existing methods seem to have a strong bias towards low- or high-order interactions, or require expertise feature engineering. In this paper, we show that it is possible to derive an end-to-end learning model that emphasizes both low- and high-order feature interactions.
DeepFM: A Factorization-Machine based Neural Network for CTR Prediction
https://arxiv.org/abs/1703.04247
DeepFM: A Factorization-Machine based Neural Network for CTR Prediction
 

2️⃣论文解读

 
速览 DeepFM: 使用 FM 取代 Wide & Deep 中的 LR
本文介绍 华为诺亚方舟Lab 与 哈工大 发表在 IJCAI 2017 的论文《 DeepFM: A Factorization-Machine based Neural Network for CTR Prediction 》。DeepFM结构非常简单，在Wide & Deep结构框架基础上，使用 FM 取代Wide部分的LR，从而告别LR部分繁琐的人工特征工程。DeepFM在华为APP应用市场的推荐业务中取得了不错的效果。 目前大部分的CTR预估模型 "are biased to low- or high- order feature interaction"，例如FNN、PNN等NN模型专注于隐式的高阶特征相关性，而LR、FM等则专注于显式的低阶特征相关性，Goggle在2016年提出的Wide & Deep模型同时考虑了两者，但Wide部分需要人工参与的特征工程。论文动机非常直观，既希望考虑高/低阶的feature interaction，又想省去额外的特征工程。使用FM取代Wide的LR部分是一个可行的做法，当然这里LR 可以基于先验构造更高阶的组合特征，而FM只考虑二阶。 DeepFM的网络结构如下图所示： 仔细观察上图，DeepFM 的结构其实很简单： 采取Wide & Deep的框架，差异在于将Wide部分的LR替换为了 FM ，从而自动构造二阶特征叉乘，而非手工设计叉乘。 把图1的Wide部分单独拉出来，即标准的FM结构，如上图2所示。值得注意的一点是，FM层与NN层 share the same feature embedding
速览 DeepFM: 使用 FM 取代 Wide & Deep 中的 LR
https://zhuanlan.zhihu.com/p/57158486
速览 DeepFM: 使用 FM 取代 Wide & Deep 中的 LR
 
20 | DeepFM：如何让你的模型更好地处理特征交叉？-极客时间
模型对于特征组合和特征交叉的学习能力，能够决定推荐系统的推荐效果。那你知道哪种模型可以处理特征交叉问题吗？
20 | DeepFM：如何让你的模型更好地处理特征交叉？-极客时间
https://time.geekbang.org/column/article/312881
20 | DeepFM：如何让你的模型更好地处理特征交叉？-极客时间
考点列举
推荐算法(四)--经典模型 DeepFM 原理详解及代码实践
DeepFM 是由华为诺亚方舟实验室在 2017 年提出的模型。 论文传送门： A Factorization-Machine based Neural Network for CTR Prediction 代码传送门： 正如名称所示，DeepFM 是 Deep 与 FM 结合的产物，也是 Wide&Deep 的改进版，只是将其中的 LR 替换成了 FM，提升了模型 wide 侧提取信息的能力。学 DeepFM 之前建议先了解 与 。 DeepFM 与Wide&Deep 只是 FM 与 LR 的区别么？并不是。 2.1 Sparse Features 一般类别特征无法直接输入模型，所以需要先 onehot 处理得到的其稀疏01向量表示。该层即表示经过 onehot 编码的类别特征与数值特征的拼接。 2.2 Dense Embeddings 该层为嵌入层，用于对高维稀疏的
推荐算法(四)--经典模型 DeepFM 原理详解及代码实践
https://zhuanlan.zhihu.com/p/361451464
推荐算法(四)--经典模型 DeepFM 原理详解及代码实践
工程化实现
推荐算法注意点和DeepFM工程化实现
题图和文章无关，添加一个美女是为了骗点击。图片找了很久，才找到一个没有版权问题的并且自己看着顺眼的，希望大家喜欢！如果大家从文章分享的干货中有所收获，请点个赞！ 今年疫情期间开始优化公司的推荐系统，因为DeepFM具有使用线性特征、低阶交叉特征和高阶特征的优点，决定采用此算法试试能否提高线下的auc和线上的CTR预估。DeepFM算法介绍见： ...
推荐算法注意点和DeepFM工程化实现
https://zhuanlan.zhihu.com/p/231586209
推荐算法注意点和DeepFM工程化实现

3️⃣模型结构

DeepFM模型架构图
notion image
NFM的模型架构图
notion image

4️⃣解决问题

如何在同时考虑高/低阶的feature interaction的情况下，省去额外的特征工程?
如何提高模型的特征组合和特征交叉能力？

5️⃣损失函数

binary_crossentropy交叉熵损失函数
notion image
 
 

6️⃣代码实现

SparrowRecSys/DeepFM_v2.py at master · wzhe06/SparrowRecSys
A Deep Learning Recommender System. Contribute to wzhe06/SparrowRecSys development by creating an account on GitHub.
SparrowRecSys/DeepFM_v2.py at master · wzhe06/SparrowRecSys
https://github.com/wzhe06/SparrowRecSys/blob/master/TFRecModel/src/com/sparrowrecsys/offline/tensorflow/DeepFM_v2.py
SparrowRecSys/DeepFM_v2.py at master · wzhe06/SparrowRecSys

7️⃣总结

notion image

1-理论优点：

上一篇
Wide & Deep
下一篇
DIN
Catalog