论文:DeepFM: A Factorization-Machine based Neural Network for CTR Prediction,Guo 等,2017。
CTR 预估的核心困难之一,是从高维稀疏特征中学习有效的交互。DeepFM 的经典之处,不在于简单地把两个模型并排放置,而在于让低阶和高阶交互共享同一套输入表示,并进行端到端训练。
从特征交互说起
推荐和广告场景里,单个特征的意义往往有限。“用户年龄”和“内容类型”组合后,才可能产生稳定信号。二阶组合数量随特征数快速增长,人工枚举既昂贵,也难以覆盖长尾模式。
Factorization Machine(FM)为每个特征学习一个低维向量,用向量内积估计两两交互。它能够在稀疏数据上泛化到没有频繁共同出现的特征对:
y_FM = bias + Σ wᵢxᵢ + Σ⟨vᵢ, vⱼ⟩xᵢxⱼ
FM 擅长一阶和二阶关系,却不能自然表达更复杂的高阶组合。
DeepFM 的两条路径
DeepFM 同时保留两条计算路径:
- FM 部分学习一阶权重和二阶特征交互;
- Deep 部分把各字段的 Embedding 拼接后送入多层网络,学习高阶非线性交互。
两部分的输出相加,再经过 sigmoid 得到点击概率。关键设计是两条路径共享特征 Embedding。与需要人工设计 wide 特征的 Wide & Deep 相比,这让模型减少了专门的交叉特征工程,也避免维护两套不一致的表示。
为什么共享 Embedding 很重要
共享参数不只是节省内存。FM 提供对二阶交互的直接监督,Deep 部分则把同一套表示用于更复杂的组合。一个 Embedding 同时接受两种目标的梯度,相当于在“显式低阶关系”和“隐式高阶关系”之间建立约束。
这也提醒我们:多分支模型真正的价值,往往取决于分支在哪里共享、在哪里分开,而不是分支数量本身。
落地时要多看一步
离线实验中,一个常见误区是只比较 AUC。CTR 模型还应关注 LogLoss、分桶校准、用户或场景切片,以及线上延迟与吞吐。Embedding 表规模、冷启动、特征时效和训练—服务一致性,往往比网络再加一层更影响最终收益。
DeepFM 也不是所有问题的终点。它把字段 Embedding 直接拼接,交互方式相对粗粒度;后来的 xDeepFM、DCN、AutoInt 等模型继续探索显式高阶交叉和注意力式交互。但 DeepFM 仍然是理解这些工作的好基线。
我的理解
DeepFM 的方法论价值是把可靠的结构先验和可学习的非线性能力放进同一个目标里。FM 告诉模型“二阶组合值得直接建模”,DNN 则为更复杂的模式保留空间。
设计推荐模型时,不必在“人工结构”和“端到端学习”之间二选一。更有用的问题是:哪些关系值得明确表达,哪些关系应该交给数据学习?
DISCUSSION