話說深度學習CTR預估模型怎么成為了互聯(lián)網(wǎng)增長的關鍵

開篇伊始，有兩個問題是應該澄清的，一是該專欄的主題選擇，二是該專欄的目標受眾。

為什么著重講深度 CTR 模型這個主題？ 除了跟我的計算廣告、推薦系統(tǒng)的背景有關之外，更重要的是 CTR 預估模型以及 CTR 預估模型衍生出的泛效果預測的模型，已經(jīng)成為了互聯(lián)網(wǎng)當之無愧的“增長之心”。自 2012 年以來，站在 Yann LeCun、Geoffrey Hinton 和 Yoshua Bengio 等巨人肩膀上的 Alex Krizhevsky 憑借 AlexNet 一舉引爆新一輪的深度學習浪潮以來，深度學習席卷各個計算機應用領域，作為廣告、搜索、推薦業(yè)務核心的 CTR 預估模型也借助深度學習得到效果上的顯著提升，成為幾乎所有主流互聯(lián)網(wǎng)公司的標準配置。

這個專欄希望哪些受眾從中受益？ 我希望把專欄的受眾分為兩類，一是互聯(lián)網(wǎng)行業(yè)相關方向，特別是廣告、推薦、搜索領域的從業(yè)者，希望這些同學能夠熟悉深度 CTR 模型的發(fā)展脈絡，清楚每個關鍵模型的技術細節(jié)，進而能夠在工作中應用甚至改進這些模型；二是有一定機器學習基礎，想進入這個領域的愛好者、在校生。我會盡量用平實的語言從細節(jié)出發(fā)介紹每個 CTR 預估模型，希望大家能夠從零開始構建深度 CTR 模型的知識體系。

對于互聯(lián)網(wǎng)從業(yè)者來說，“增長”這個詞就像是插在心中的一只矛，無時無刻不被其刺激和激勵著。我對“增長”這個詞的理解還是來源于上大學時實驗室的一段經(jīng)歷。清華計算機系跟搜狗一直是長期的伙伴，因此實驗室的師兄師姐也經(jīng)常談起與搜狗合作的項目，我一直記憶至今的一句話是“如果我們能把搜狗搜索引擎廣告的點擊率提升 1%，那就能為公司帶來上千萬的利潤”。從那時，“點擊率（Click Through Rate， CTR）”這個詞深深的烙在我心中，可能也在潛意識中指引我走上計算廣告工程師的職業(yè)道路。那么到底是怎樣的一個指標能對公司的增長起到如此至關重要的效果，為什么 CTR 預估模型能夠被稱為互聯(lián)網(wǎng)“增長之心”，下面我嘗試用兩個場景給出答案。

一、CTR 預估模型與計算廣告的利潤增長

CTR 預估模型在計算廣告領域的關鍵地位來源于計算廣告利潤增長的需求。

CTR 預估的準確與否，直接影響計算廣告公司的收入。

假設我們是一個 DSP（Demand side platform）公司，需要對接第三方的流量資源，通過出價的方式競得該流量，從而贏得這個廣告曝光（impression）機會。

對于一個以效果為核心目標的中小廣告主來說，往往會選擇 CPC 的結(jié)算方式，也就是每帶來一次點擊，我為你支付 x 元。那么這時，CTR 模型的關鍵就體現(xiàn)出來了，因為只有擁有了準確的 CTR 模型，DSP 公司才能夠正確的估計某次流量的成本價。

例如 CTR 預估模型預測某流量投放某廣告的點擊率是 0.5%（即 CTR=0.5%），廣告主愿意為一次點擊支付 1 元（即 CPC=1），那么我只有用少于 CPC*CTR = 1 * 0.5% = 0.005 元的價格競得該流量，我才不會虧錢。如果 CTR 模型預測的 CTR 偏高，我將極可能以高于成本價的價格競得該流量，這樣的情況下，競得越多這樣的流量，公司的虧損也越大。另一方面，如果 CTR 模型預測的 CTR 過低，進而出價過低，很有可能損失大量競得機會，導致客戶的廣告預算花不完，從而無法獲得后續(xù)訂單，也使公司利潤受損。

因此，精準的 CTR 預估模型是計算廣告系統(tǒng)的基礎和核心，也是計算廣告公司進行利潤最大化的核心模塊，所以說 CTR 預估模型是計算廣告利潤的增長之心絲毫不為過。

二、CTR 預估模型與推薦系統(tǒng)的用戶使用時長增長

廣義上來講，計算廣告和推薦系統(tǒng)的界限并不那么嚴格，比如淘寶的直通車廣告，應該屬于計算廣告的范疇，但它又完全符合商品推薦的場景。這里我傾向于把一切跟“錢”直接相關的模型歸為計算廣告的范疇，把一切跟“用戶體驗”直接相關的模型歸為推薦系統(tǒng)的范疇，雖然提高用戶體驗更本質(zhì)的目標也是為了最終實現(xiàn)產(chǎn)品利潤的增長，但這與計算廣告時刻跟出價、轉(zhuǎn)化率、投資回報等“錢”相關的模型還是有業(yè)務場景上的較大區(qū)別。

所謂提高“用戶體驗”，可以進一步做這樣的解釋——“推薦系統(tǒng)的優(yōu)化目標應該是為了在不損害用戶長期興趣的基礎上增加用戶的使用時長”。以 YouTube 為例，其商業(yè)目標就是為了通過提高用戶觀看總時長，實現(xiàn)廣告 inventory 的增長，進而增加公司利潤。

實現(xiàn)這一目標的關鍵就在于預測用戶 U（user）在某場景 C（context）下是否會觀看某視頻 V（video），以及觀看該視頻的觀看時長是多少。這與計算廣告中的 CTR 預估模型的區(qū)別僅在于將 A（ad）換成了 V（video），將構建 CTR=g(A, U, C) 的問題換成了構建 watch time=g（V, U, C）的問題。

事實上，YouTube 的工程師們在那篇著名的工程論文“Deep Neural Networks for YouTube Recommendations”也非常明確提出了改造 CTR 預估模型為預測用戶時長的深度學習推薦模型的方法。由 CTR 預估模型衍生出的泛效果模型共同構成了驅(qū)動互利網(wǎng)場景下的用戶增長、使用時長增長、轉(zhuǎn)化效果增長等一系列的關鍵商業(yè)指標的增長之心。

三、深度學習 CTR 預估模型專欄的結(jié)構

專欄的正式內(nèi)容將會分為兩大部分，一是深度 CTR 模型的理論和技術發(fā)展脈絡；二是深度 CTR 模型的系統(tǒng)設計和工程實踐。

理論部分又將會分為“前深度學習時代“和”深度學習時代“兩部分，這里仍要強調(diào)”前深度學習時代“CTR 預估模型的原因，是希望大家能夠建立完整的學習框架，并打牢深度學習模型的理論基礎，二者本質(zhì)上是不可分割的。

而實踐部分將分為”模型實現(xiàn)與部署“和”模型業(yè)界應用“兩部分。能夠掌握從”模型理論“到”模型實現(xiàn)“再到”上線部署“的一整套技術棧對于算法工程師來說是重要的。最終的”業(yè)界應用”部分包括了 Google，Airbnb，F(xiàn)acebook，Alibaba 等業(yè)界知名互利網(wǎng)公司的 CTR 預估模型的設計和應用案例，希望讀者能夠從應用中學到更多實踐中應該注意的技術細節(jié)。

文：王喆@AI前線(ai-front)

首席增長官CGO薦讀產(chǎn)品增長：

• 《 實驗引爆用戶增長：A/B測試最佳實踐 》
• 《 Google用戶增長主管的七項原則：如何推動產(chǎn)品增長 》
• 《 產(chǎn)品運營：如何從本質(zhì)上探求產(chǎn)品增長 》

更多精彩，關注：增長黑客（GrowthHK.cn）

增長黑客（Growth Hacker）是依靠技術和數(shù)據(jù)來達成各種營銷目標的新型團隊角色。從單線思維者時常忽略的角度和高度，梳理整合產(chǎn)品發(fā)展的因素，實現(xiàn)低成本甚至零成本帶來的有效增長…