搜推广
DIN
00 min
2024-9-28
2024-9-28
type
status
date
slug
summary
tags
category
icon
password

DIN

1️⃣论文出处

Deep Interest Network for Click-Through Rate Prediction
Click-through rate prediction is an essential task in industrial applications, such as online advertising. Recently deep learning based models have been proposed, which follow a similar Embedding\&MLP paradigm. In these methods large scale sparse input features are first mapped into low dimensional embedding vectors, and then transformed into fixed-length vectors in a group-wise manner, finally concatenated together to fed into a multilayer perceptron (MLP) to learn the nonlinear relations among features.
Deep Interest Network for Click-Through Rate Prediction
https://arxiv.org/abs/1706.06978
Deep Interest Network for Click-Through Rate Prediction
 

2️⃣论文解读

详解 Deep Interest Network: 为阿里创造更多广告收入
本文介绍 阿里妈妈 算法团队发表在 KDD 2018 上的文章《 Deep Interest Network for Click-Through Rate Prediction 》，其相关工作的初版早在 2017 就已在arXiv上发表。本文会结合论文从预发表到正式发表的4个版本综合进行介绍。 点击率预估模型在广告等业务场景中至关重要，本文提出了Deep Interest ...
详解 Deep Interest Network: 为阿里创造更多广告收入
https://zhuanlan.zhihu.com/p/54085498
详解 Deep Interest Network: 为阿里创造更多广告收入
21｜注意力机制、兴趣演化：推荐系统如何抓住用户的心？-极客时间
注意力机制、兴趣演化序列模型在推荐系统领域应用很广泛，它们是深度学习推荐模型的发展趋势，也是我们必须要储备的前沿知识。
21｜注意力机制、兴趣演化：推荐系统如何抓住用户的心？-极客时间
https://time.geekbang.org/column/article/313736
21｜注意力机制、兴趣演化：推荐系统如何抓住用户的心？-极客时间
深度学习系列：阿里DIN模型的原理和代码实现
今天介绍阿里巴巴的DIN网络，不得不说，阿里妈妈的大佬是真的多，经常都会更新非常多的创造性的东西，比如DIN中使用的自适应正则化技术以及Dice激活函数以及注意力机制的使用，并且值得注意的是DIN网络中使用的注意力机制还挺多的，哈哈哈，下面就来介绍一下阿里妈妈推荐部门大佬们的主要工作吧； 论文地址： https://arxiv.org/abs/1706.06978 代码地址： ...
深度学习系列：阿里DIN模型的原理和代码实现
https://www.daimajiaoliu.com/daima/485da93fb900400

3️⃣模型结构

notion image

4️⃣解决问题

论文要解决的问题是：从用户有丰富的历史行为中捕捉用户兴趣
用户兴趣的特点有：
  • 多样性（Diversity） 即用户在线上购物时往往同时表现出多种兴趣，这个很好理解，例如从一个年轻妈妈的历史行为中，可以看到她的兴趣非常广泛：羊毛衫、帆布包、耳环、童装、奶粉等等。
  • 局部聚焦（Local Activation）即用户是否会点击推荐给他的某一件商品，往往是基于他之前的部分兴趣，而非所有兴趣。例如，对一个热爱游泳与吃零食的用户，推荐给他一个泳镜，他是否会点击与他之前购买过泳裤、泳衣等行为相关，但与他之前买过冰淇淋、旺仔牛仔等行为无关。
总结：DIN针对当前候选广告局部地激活用户的历史兴趣，赋予和候选广告相关的历史兴趣更高的weight，从而实现Local Activation，而weight的多样性同时也实现了用户兴趣的多样性表达。

5️⃣损失函数 | 目标函数 | 公式推导

DIN使用Logistic Loss作为目损失函数，最终的目标函数形式如下：
notion image
其中S是训练集，N表示数据量

6️⃣代码实现

7️⃣论文细节

模型训练技巧：

Adaptive Regularization / Mini-batch Aware Regularization（MAR）
问题：当参数量非常大，模型很复杂时，非常容易过拟合
解决方案：采取自适应正则，即每次mini-batch，只在非0特征对应参数上计算L2正则（针对特征稀疏性），且正则强度与特征频次有关，频次越高正则强度越低，反之越高。
 
Data Adaptive Activation Function （Dice）
PRelu的固定折点（hard rectified point）是0，作者把PRelu做了一个改进，让曲线中间光滑变化，使得光滑方式也跟数据分布有关。
动机：使激活函数随数据分布变化动态地调整 rectified point（虽说是动态调整，其实它也把rectified point限定在了数据均值）
 

8️⃣总结

notion image
上一篇
DeepFM
下一篇
xDeepFM
Catalog