京東探索研究院詹憶冰：圖神經(jīng)網(wǎng)絡(luò)的發(fā)展趨勢

很榮幸受邀參加這次大會，我是京東探索研究院圖神經(jīng)網(wǎng)絡(luò)方向負(fù)責(zé)人詹憶冰。今天將由我跟大家分享，在現(xiàn)在人工智能產(chǎn)業(yè)我們發(fā)展認(rèn)為迎來一種拐點的技術(shù)，也就是圖神經(jīng)網(wǎng)絡(luò)，我們將介紹它的一些機遇以及我們現(xiàn)在的一些挑戰(zhàn)。

人工智能的發(fā)展演進，在 50 年代時人工智能概念被提出，第一臺神經(jīng)網(wǎng)絡(luò)機在 1951 年就被發(fā)明出來了。當(dāng)人工智能概念被提出來之后，人們給予了非常大的期望，但在很長一段時間，大家發(fā)現(xiàn)人工智能可能并沒有那么智能，大部分事情它完成得還是沒有人好。但是轉(zhuǎn)機是在 1980 年代，當(dāng)時專家系統(tǒng)被提出，大家發(fā)現(xiàn)如果人工設(shè)定一些規(guī)則，機器按照這些規(guī)則做一些事，成功率會大大提升。當(dāng)時這種專家系統(tǒng)在金融領(lǐng)域得到了非常好的應(yīng)用，也是我們機器學(xué)習(xí)或者人工智能從理論走向應(yīng)用的開端。2010 年，數(shù)據(jù)得到了爆炸式的提升，算力，包括剛剛提到的鴻蒙系統(tǒng)，讓算力及系統(tǒng)得到了大大提升，我們的深度學(xué)習(xí)逐漸興起。在當(dāng)時各種各樣的技術(shù)性能初步超越了人類的標(biāo)準(zhǔn)，人工智能的應(yīng)用到現(xiàn)在在千行百業(yè)得到了非常大的發(fā)展。

我們這給出了一些比較大的領(lǐng)域，包括在智能零售，在購物的時候，發(fā)現(xiàn)我們所需要購買的商品，算法會給我們事先推薦好。現(xiàn)在一個比較流行的話題是自動駕駛，無人車或者無人物流車在街上行走時，人工智能算法也為這些車提供了非常多的方便?，F(xiàn)在也比較流行工廠的智能制造，京東最近一直在做從客戶到工廠的定制，也是通過人工智能來收集一些用戶的需求，反向傳遞給工廠，讓工廠生產(chǎn)出來的產(chǎn)品更加受到用戶的歡迎。我們現(xiàn)在一個非?；鸬?，我們都希望我們?nèi)耸欠浅＝】档?，人工智能的技術(shù)在智慧醫(yī)療領(lǐng)域也得到了極大的應(yīng)用。我們現(xiàn)在也非常關(guān)心小孩或者成人的教育，也是利用人工智能的技術(shù)，一方面能提升教育所需要的知識，同時能實時反饋教育當(dāng)中的一些問題，來進一步提升智慧教育的質(zhì)量。我們也提到了智慧物流領(lǐng)域，京東在智慧物流領(lǐng)域也部署很多，京東的亞洲 1 號倉基本上可以實現(xiàn)無人化的設(shè)施。

人工智能應(yīng)用是非常廣泛的，但是它的落地一直是產(chǎn)業(yè)界非常關(guān)注的問題。關(guān)鍵問題之一是我們現(xiàn)在實際應(yīng)用場景中的數(shù)據(jù)類型多種多樣的，我們接觸的數(shù)據(jù)，所采集的大家的聲音，也就是音頻信息，以及通過手機給人 / 物拍的圖片信息，包括寫出來的這些文字，這些信息一定程度上我們認(rèn)為是結(jié)構(gòu)化的信息，視頻擁有時序，音頻擁有時序，圖片本身具備固定規(guī)則的網(wǎng)格信息，文字也是具有順序的。我們的人工智能技術(shù)，大家可能或多或少聽說有卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)，這些技術(shù)在處理這些結(jié)構(gòu)化數(shù)據(jù)時已經(jīng)處理得非常好了。但是我們需要注意到的是，在場景當(dāng)中更多的數(shù)據(jù)是以非結(jié)構(gòu)化的形式所表示的。比如說人體的蛋白質(zhì)這種分子結(jié)構(gòu)，里面涉及到分子、原子以及鍵價，需要注意到現(xiàn)在供應(yīng)鏈的數(shù)據(jù)，每個地區(qū)的數(shù)據(jù)采集往往不是孤立的，而是匯總的全國甚至全球的數(shù)據(jù)。現(xiàn)在人手都是有手機的，大家交互起來非常輕松，這些交互信息構(gòu)建成了社交網(wǎng)絡(luò)。現(xiàn)在一個非?；鸬脑掝}是知識圖譜，將兩個目標(biāo)以及它之間的關(guān)聯(lián)，可以構(gòu)成一個三元組，各種各樣的知識匯聚到一起，也可以以突破的形式進行呈現(xiàn)。還有更多的場景，他們的結(jié)構(gòu)數(shù)據(jù)并不是一種結(jié)構(gòu)化的數(shù)據(jù)，往往具有動態(tài)甚至多樣性，這些非結(jié)構(gòu)化的數(shù)據(jù)對我們傳統(tǒng)的人工智能的算法提出了一些挑戰(zhàn)，傳統(tǒng)人工智能算法在這些場景上應(yīng)用可能并沒有我們期望的那么好。

因此，我們需要進入到能去建模這些非結(jié)構(gòu)數(shù)據(jù)，能在這些非結(jié)構(gòu)數(shù)據(jù)上進行模擬甚至計算、學(xué)習(xí)的網(wǎng)絡(luò)，也就是圖神經(jīng)網(wǎng)絡(luò)。總而言之，圖神經(jīng)網(wǎng)絡(luò)就是為了這一部分非結(jié)構(gòu)數(shù)據(jù)或者圖結(jié)構(gòu)數(shù)據(jù)所設(shè)計的。

我們首先需要將這些場景的數(shù)據(jù)抽樣出來，我們需要找到一種合適的模型，去對它進行建模，這樣給出來的模型就是圖結(jié)構(gòu)。在社交網(wǎng)絡(luò)當(dāng)中，我們每個人可以看成一些節(jié)點，人與人之間的關(guān)系則可以看成這些節(jié)點之間的交互或者邊，最終這些節(jié)點和邊就構(gòu)成了非常典型的圖譜表示，也就是圖結(jié)構(gòu)。這些結(jié)構(gòu)是從人的角度來說的，我們需要用計算機來處理它，這時候我們需要把這些人能理解的數(shù)據(jù)抽象成計算機能理解的表示，節(jié)點之間的關(guān)聯(lián)我們最簡單的表示就是如果沒有關(guān)聯(lián)為 0，如果有關(guān)聯(lián)為 1，作為圖結(jié)構(gòu)的輸入，圖神經(jīng)網(wǎng)絡(luò)就可以開始發(fā)揮它的作用。

給出一個非常簡單的圖神經(jīng)網(wǎng)絡(luò)的工作原理，也是一個非常著名的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，圖卷積神經(jīng)網(wǎng)絡(luò)。它是在我們輸入這個圖結(jié)構(gòu)，我們節(jié)點具有本身的一些表征，向連為 1，不相連為 0，輸入當(dāng)前的圖數(shù)據(jù)結(jié)構(gòu)之后，圖卷積神經(jīng)網(wǎng)絡(luò)就會對每個節(jié)點的信息進行更新，首先會接收這些領(lǐng)域的信息，依賴于當(dāng)前節(jié)點本身的信息以及接收到的通過邊傳遞過來的領(lǐng)域信息，對當(dāng)前的圖節(jié)點進行更新，這樣我們就得到了更新的圖網(wǎng)絡(luò)。圖卷積神經(jīng)網(wǎng)絡(luò)，我們在對整個圖的節(jié)點進行更新或者邊進行交互之后，可以處理非常多的下游任務(wù)。抽象出來的是三類任務(wù)，一類是跟節(jié)點相關(guān)的任務(wù)，當(dāng)我們獲取到節(jié)點本身的表征之后，我們可以對這些節(jié)點進行分類。在我們實際場景當(dāng)中，如果是推薦場景，比如我們可以知道兩個用戶之間是否相似，那我給這個用戶一些關(guān)聯(lián)的商品是否可以給另外一個節(jié)點關(guān)聯(lián)起來，應(yīng)該推薦給他，可以用圖神經(jīng)網(wǎng)絡(luò)進行預(yù)測。第二大類是鏈路預(yù)測，我們在獲取了圖網(wǎng)絡(luò)當(dāng)中節(jié)點網(wǎng)絡(luò)的表征之后，我們需要知道兩個節(jié)點之間是否具備關(guān)聯(lián)，也就是鏈路預(yù)測。我們想知道哪兩個用戶之間是不是具有一個相關(guān)的關(guān)系，可能這兩個用戶是互相喜歡也可能互相不喜歡，這樣就抽象出來了鏈路預(yù)測的任務(wù)。最終我們有一個圖節(jié)點的任務(wù)，我們在匯總整個圖的每個節(jié)點的表示，可以采用一些平均或者最大的操作來匯總到整個圖結(jié)構(gòu)的表示，這種任務(wù)可以做一些圖分子，比如說一些分子的整體的分類，或者某一個社區(qū)是否屬于某一類標(biāo)簽的打標(biāo)。

簡單介紹了一些圖神經(jīng)網(wǎng)絡(luò)基礎(chǔ)的知識之后，我們希望來介紹一下圖神經(jīng)網(wǎng)絡(luò)怎么來助力產(chǎn)業(yè)智能升級，舉的例子包括智慧醫(yī)療、智慧零售、智慧物流，對應(yīng)京東的健康、零售以及物流的三個方面。

首先介紹一下圖神經(jīng)網(wǎng)絡(luò)在智慧醫(yī)療當(dāng)中的作用，蛋白質(zhì)預(yù)測，更多是一個學(xué)術(shù)的任務(wù)。在傳統(tǒng)的方法或者科學(xué)家在實驗室中，我們想要知道一個蛋白質(zhì)的結(jié)構(gòu)，往往需要非常專業(yè)的儀器，需要對這種蛋白質(zhì)結(jié)構(gòu)不斷進行嘗試，進行分析，整個流程是非常耗時耗精力，也比較耗費錢。但是今年《Nature》上的一篇封面文章，能解碼或者預(yù)測人體絕大部分的蛋白質(zhì)結(jié)構(gòu)，也對我們蛋白質(zhì)預(yù)測給出了非常大的曙光。里面有一個模塊是 attention 的模塊，可以將蛋白質(zhì)中的這些分子作為節(jié)點，分子之間的關(guān)聯(lián)作為邊，最后采用圖結(jié)構(gòu)的建模形式，對整體的性質(zhì)進行預(yù)測。基于此，我們在智慧醫(yī)療其他產(chǎn)業(yè)的具體應(yīng)用上的關(guān)聯(lián)，包括分子制藥，分子研制的藥物往往是最基本的原子、分子，這些結(jié)構(gòu)可以用圖神經(jīng)網(wǎng)絡(luò)進行建模，最終會將這些分子，一種方式是將它們相同的形式或者比較重要的結(jié)構(gòu)進行聚類，就像我們進行藥物發(fā)現(xiàn)時，我們往往會去采取選擇那些我們更需要的結(jié)構(gòu)。我們也可以使用圖神經(jīng)網(wǎng)絡(luò)去學(xué)習(xí)、去預(yù)測，假設(shè)我們構(gòu)建的這些分子結(jié)構(gòu)它最終可能對我們?nèi)梭w或者對這種藥物有什么關(guān)聯(lián)。采用類似的方法之后，它可以進一步縮短我們的分子制藥周期，來提升制藥效率，也是為我們的健康做出一些保障。還一個例子是醫(yī)學(xué)診斷，我們現(xiàn)在去看病的時候，往往之前的一些看病病例信息在系統(tǒng)中會得到存儲，這些信息跟當(dāng)前的診斷現(xiàn)象會進行一些交互，這樣可以進一步促進醫(yī)療診斷的精度。

接下來介紹智慧零售方面的例子，我們往往在購買一些商品時會糾結(jié)，我們可以將這些原本購買的東西作為節(jié)點，也可以用圖神經(jīng)網(wǎng)絡(luò)對它進行建模，最終告訴我們這個衣服是不是合適，或者它從美學(xué)標(biāo)準(zhǔn)來看打多少分，來進一步提升用戶的購買欲望以及提升用戶購買合適的準(zhǔn)確率。我們有商品推薦，當(dāng)前的用戶所需要購買的商品可以用圖神經(jīng)網(wǎng)絡(luò)去建模之后，選擇跟他相似的用戶所購買的商品推薦給他。另一種，選擇了一些商品之后，這些商品跟它相似的那些商品，我們往往會傾向于推薦給這些用，進一步的，在智能客服場景，用戶跟智能機器人不斷交互時，我們之前所說的一些信息以及我們當(dāng)前所說的一些信息，會由智能機器人通過圖神經(jīng)網(wǎng)絡(luò)進行分析，最后匯總，來得到比較好的回答，然后進一步提升用戶的轉(zhuǎn)化率或者用戶的回答率。

我們也想介紹一下智慧物流的一些例子，我們給出來的是圖像分類的例子。圖像是結(jié)構(gòu)化的數(shù)據(jù)，但是圖像如果我們將它分塊之后，非結(jié)構(gòu)化的數(shù)據(jù)可以用圖神經(jīng)網(wǎng)絡(luò)，無人物流車需要涉及到一些環(huán)境識別的東西，我們?nèi)ソ换ブ車鷪鼍暗男畔?，可以用圖神經(jīng)網(wǎng)絡(luò)獲得一些更好的結(jié)論。無人物流車上會有很多激光雷達，采集到的信息天然是以 3D 點云的存在，可以用圖神經(jīng)網(wǎng)絡(luò)去進行描述。

前面介紹的圖神經(jīng)網(wǎng)絡(luò)一些在產(chǎn)業(yè)當(dāng)中的助力，但實際上圖神經(jīng)網(wǎng)絡(luò)要想真正應(yīng)用到產(chǎn)業(yè)當(dāng)經(jīng)當(dāng)中，有非常大的挑戰(zhàn)。第一個挑戰(zhàn)，我們之前做學(xué)術(shù)的時候用到的圖級別的規(guī)模可能就是一兩千個節(jié)點，但是在工業(yè)場景當(dāng)中，圖級別規(guī)模是非常大的，比如 Meta，也就是 Facebook，他活躍用戶是 29 億人，如果想對 29 億人所做的圖進行建模，所需要的對模型的需求以及算力的需求是非常龐大的。涉及到兩個基本的問題，第一，雖然訓(xùn)練模型時可以用采樣，100 個節(jié)點，可以采樣 10 個節(jié)點來進行訓(xùn)練，這樣算起來復(fù)雜度是下去了，但是圖結(jié)構(gòu)數(shù)據(jù)有一個非常大的特性，數(shù)據(jù)與數(shù)據(jù)之間是具有關(guān)聯(lián)的，如果我們從 100 個節(jié)點中抽 10 個節(jié)點，一定程度上 90 個節(jié)點的關(guān)聯(lián)信息在這時候是丟棄的，它訓(xùn)練的最終我們獲得到的人工智能的性能比我們想象得好。但是進一步，如果將整個工業(yè)圖進行輸入，遇到的問題是目前的算力支持可能還需要有進一步的提升。

另外一個是圖神經(jīng)網(wǎng)絡(luò)，需要向深度圖神經(jīng)網(wǎng)絡(luò)的進化和演練。如果只有一層圖神經(jīng)網(wǎng)絡(luò)，當(dāng)前的節(jié)點或者當(dāng)前的用戶只能跟他的鄰居進行交互，而這種交互往往是不夠的，我們希望他能以自己的鄰居為跳板，來接收到更多的信息，或者有很多的節(jié)點，他們會匯聚成一種比較高階的信息，通過圖神經(jīng)網(wǎng)絡(luò)傳遞到當(dāng)前的節(jié)點上來，圖神經(jīng)網(wǎng)絡(luò)必然會需要往深處發(fā)展?，F(xiàn)在越深的神經(jīng)網(wǎng)絡(luò)，表征性越強，就越能對我們的場景進行性能的提升?？赡軙蕾囉卩従拥男畔?，當(dāng)我們在應(yīng)用場景時，這個鄰居不存在，性能會大幅度存在。過平滑，小時候或多或少做過一些實驗，將一滴墨水滴到水杯里，雖然時間推移，無非區(qū)分墨水和純水的區(qū)別。網(wǎng)絡(luò)越加深，信息交互越平凡，信息趨向于一致，信息越同步，越無法用這種深度神經(jīng)網(wǎng)絡(luò)對我們的節(jié)點或任務(wù)做出準(zhǔn)確預(yù)測。還有過擠壓的問題，一個人的鄰居是有限的，比如我只有三個鄰居，但是我們想要深度神經(jīng)網(wǎng)絡(luò)本身接觸到更深層的結(jié)構(gòu)，我們的鄰居還有自己的鄰居，鄰居還有自己的鄰居，當(dāng)這種疊加式增長之后，再回到當(dāng)前節(jié)點，這種信息是爆發(fā)式的，我們很難去獲取一個非常準(zhǔn)確的信息。因此，這些問題就導(dǎo)致圖神經(jīng)網(wǎng)絡(luò)無法向深度進化。

京東探索研究院也是希望在緩解這兩個問題的同時，讓我們圖神經(jīng)網(wǎng)絡(luò)的性能能得到大幅度的提升。我們圖神經(jīng)網(wǎng)絡(luò)雖然現(xiàn)在在部分產(chǎn)業(yè)中已經(jīng)得到了非常好的應(yīng)用，但是我們希望性能提升的同時，我們將結(jié)構(gòu)化的數(shù)據(jù)抽象為非結(jié)構(gòu)化，利用圖神經(jīng)網(wǎng)絡(luò)來進行建模，在某些還沒有或者沒有很好應(yīng)用圖神經(jīng)網(wǎng)絡(luò)的場景，我們圖神經(jīng)網(wǎng)絡(luò)能為這些場景帶來一些啟示或者一些進步。我們是產(chǎn)業(yè)，我們希望這種圖神經(jīng)網(wǎng)絡(luò)的應(yīng)用能為我們成本、效率、體驗都能帶來優(yōu)化，最終讓我們的價值會得到一個大幅度的發(fā)展。

最后我對我們京東探索研究院做一個簡單介紹，京東探索研究院是京東所成立的一個新研發(fā)部門，它將從基礎(chǔ)理論層面來實現(xiàn)顛覆式的創(chuàng)新，對我們京東集團零售、物流、健康等各個場景進行賦能。我們這給出來一個公眾號，大家有興趣可以關(guān)注一下，可以了解一下京東探索研究院的一些前沿動態(tài)。京東探索研究院現(xiàn)在有三大研究領(lǐng)域，包括超級深度學(xué)習(xí)，也就是海量多種模態(tài)的超級神經(jīng)網(wǎng)絡(luò)的訓(xùn)練新范式?？尚湃斯ぶ悄埽孔訖C器學(xué)習(xí)，我們會研究量子機器學(xué)習(xí)算法超越經(jīng)典算法的這些能力。

以上是我這次演講的所有內(nèi)容，謝謝大家。