英偉達(dá)的元宇宙布局

要點(diǎn)歸納：

如何看待元宇宙： 元宇宙是一個(gè)概念集合，是在 AI 、區(qū)塊鏈、 XR 技術(shù)、圖形可視化技術(shù)、引擎技術(shù)等一系列技術(shù)的集合體。

為什么今年 “ 元宇宙 ” 這么火熱： 三個(gè)因素： ① 消費(fèi)者的需求和現(xiàn)有技術(shù)提供的應(yīng)用間存在矛盾，未來將會(huì)出現(xiàn)更沉浸式、更讓年輕人喜歡的消費(fèi)模式。 ②AI 、區(qū)塊鏈、 XR 等技術(shù)在比較集中的時(shí)間點(diǎn)取得了突破性進(jìn)展。 ③ 疫情推動(dòng)了從線下到線上的進(jìn)程。

英偉達(dá)在數(shù)字孿生領(lǐng)域的分行業(yè) “ 三步走 ” 計(jì)劃： 第一步，先做傳媒娛樂和建筑兩個(gè)行業(yè)，初步應(yīng)用數(shù)字化。第二步，做產(chǎn)品設(shè)計(jì)，是微觀數(shù)字化。第三步，最終目標(biāo)是實(shí)現(xiàn)數(shù)字孿生的工業(yè)制造。

Omniverse 平臺(tái)：

目標(biāo)： 找到用戶的需求和痛點(diǎn)，并且滿足它。

設(shè)計(jì)初衷： 未來英偉達(dá)會(huì)開源出來越來越多工具免費(fèi)供大家使用，這將大大降低很多人參與創(chuàng)作的門檻，讓每個(gè)人都可以成為設(shè)計(jì)師。

解決的問題： ① 通過統(tǒng)一的文件格式解決了設(shè)計(jì)協(xié)同問題； ② 通過文件輕量化解決了文件過大的問題； ③ 通過多樣的應(yīng)用初步滿足了不同行業(yè)的需求。

平臺(tái)定位： Omniverse 不會(huì)替代 UE4 、 Unreal 等離線引擎。我們的理念是提供一個(gè)基于引擎等產(chǎn)品之下的底層技術(shù)服務(wù)平臺(tái)。

虛擬人融入日常生活需要多久，是否可行： 虛擬人技術(shù)行業(yè)分了三步發(fā)展： ① 實(shí)現(xiàn)超寫實(shí)；② 引入 AI ，使其擁有對(duì)話能力； ③ 情緒識(shí)別。虛擬人項(xiàng)目英偉達(dá)已經(jīng)研發(fā)幾年了，目前還處于初期。我們認(rèn)為在未來 3-5 年內(nèi)，虛擬人融入日常生活有可能會(huì)實(shí)現(xiàn)。

英偉達(dá)在虛擬人技術(shù)領(lǐng)域的壁壘： 最核心的技術(shù)是數(shù)字人 1.0 時(shí)代的超寫實(shí)逼真感。不管是光線追蹤還是路徑追蹤，都需要大量算力，目前能提供這樣技術(shù)的平臺(tái)只有英偉達(dá)。

【國海傳媒】嘉賓： NVIDIA 中國區(qū) Omniverse 業(yè)務(wù)經(jīng)理 何總

嘉賓介紹：

我們?nèi)绾慰创钪妫?/strong>

首先元宇宙是一個(gè)概念的集合，它不是某項(xiàng)可以落地的應(yīng)用，這點(diǎn)是大家都公認(rèn)的。另外，我們可以看到它是很多技術(shù)的摻雜在一起的，大家認(rèn)為未來的數(shù)字化世界，或是未來的世界，都可以被統(tǒng)稱為 “ 元宇宙 ” 。這里涉及很多具體技術(shù)概念問題，在比如 AI 、區(qū)塊鏈、 XR 技術(shù)、圖形可視化技術(shù)、引擎技術(shù)等一系列技術(shù)的加持下，元宇宙是一個(gè)很多不同專業(yè)、不同方向的技術(shù)集合體。最終 “ 元宇宙 ” 這個(gè)概念在 2021 年集中落地和爆發(fā)，在讓大家看到這些概念都可以有長足進(jìn)步的前提下，大家也在熱炒這個(gè)概念。因此，元宇宙總結(jié)來講，是一個(gè)整體的概念集合。

為什么今年大家把 “ 元宇宙 ” 概念炒得這么熱？

我們認(rèn)為有 3 個(gè)因素：

① 大家可以看到在過去 20-30 年里，從互聯(lián)網(wǎng)到移動(dòng)互聯(lián)網(wǎng)的蓬勃發(fā)展，造就了一系列比較偉大的公司，這里不乏有中國的企業(yè)。我們今天使用的互聯(lián)網(wǎng)產(chǎn)品有幾類，包括視頻、音樂、短視頻、網(wǎng)上購物等，可以說都是 2D 的。現(xiàn)在供求雙方的平衡有點(diǎn)被打破了，尤其是最近一兩年，大家看到抖音 APP ， DAU 有 6-7 億，昨天晚上看到 TikTok 上周已達(dá)到 10 億 DAU，日活用戶已經(jīng)到了瓶頸階段。在這個(gè)前提下， 2D 互聯(lián)網(wǎng)出現(xiàn)了什么變化呢？ 消費(fèi)者需要在某些環(huán)境中得到滿足，和現(xiàn)在技術(shù)提供給消費(fèi)者已有的應(yīng)用，相互之間是有矛盾的。所以未來消費(fèi)者需要的更好的、更沉浸式、更有讓年輕人，尤其是 00 后年輕人喜歡的消費(fèi)模式一定會(huì)出現(xiàn) ，這是第一個(gè)因素。

② 剛剛提到的比如 AI 和 XR 等各類技術(shù)。大家可能關(guān)注了 AI ， AI 在 6-7 年前開始，到現(xiàn)在已經(jīng)有比較成熟的落地 AI 應(yīng)用，比如大家去機(jī)場，工作人員不需要人工審核身份證、人臉對(duì)比，而是通過 AI 進(jìn)行人臉識(shí)別。所以現(xiàn)實(shí)場景中已經(jīng)有很多應(yīng)用了，并且許多這樣的應(yīng)用已經(jīng)落地了很多年，并且技術(shù)成熟了。 XR 也是一樣， XR 在 2014 、 2015 年曾經(jīng)有過一段低谷，但隨著技術(shù)進(jìn)步，比如我?guī)讉€(gè)月前戴著 Pico 打了一次乒乓球，感覺體驗(yàn)比 5 年前好多了。雖然現(xiàn)在設(shè)備的感受還有進(jìn)一步提升的空間，但這個(gè)方向已經(jīng)逐漸落地成熟了。同時(shí)還有一系列不同行業(yè)專業(yè)的技術(shù)，比如區(qū)塊鏈、物理學(xué)模擬、圖形可視化渲染技術(shù)等，這些技術(shù)越來越成熟了，而且這些技術(shù)成熟在同一時(shí)間節(jié)點(diǎn)發(fā)生。另外， 推動(dòng)市場熱炒 “ 元宇宙 ” 概念，就是因?yàn)檫@些技術(shù)都在同一時(shí)間點(diǎn)集中爆發(fā)，讓大家看到了一種可能 。當(dāng)這些技術(shù)同時(shí)進(jìn)步，同時(shí)達(dá)到一個(gè)節(jié)點(diǎn)的時(shí)候，那我們幻想中某一概念就會(huì)出來，現(xiàn)在大家都找到了這樣一個(gè)概念，叫元宇宙。

③ 我們不能回避疫情對(duì)前兩件事情的促進(jìn)，讓大家看到了線上辦公、線上會(huì)議，甚至前兩天看西城男孩的線上演唱會(huì)，各種各樣的活動(dòng)由原來線下的形式搬到線上來。這是疫情的推動(dòng)，讓這件事情進(jìn)入到公眾的視野。

我首先進(jìn)行了簡單回顧、總結(jié)了一下我所理解的元宇宙。然后就為什么大家在今年熱炒這個(gè)概念分析了 3 個(gè)方向的因素和推動(dòng)力。

在我講完怎么看待元宇宙概念之后，再回到英偉達(dá)怎么去看元宇宙。其實(shí)英偉達(dá)不是為了元宇宙而做了什么平臺(tái)，其實(shí) Omniverse 平臺(tái)已經(jīng)研發(fā) 5 年了，這在公司 , 財(cái)報(bào)、創(chuàng)始人黃仁勛先生的發(fā)言中均有提到。公司在這個(gè)平臺(tái)上已經(jīng)投入了數(shù)億美元， Omniverse 在 2019 年發(fā)布，但當(dāng)時(shí)大家的關(guān)注度還不太夠。所以這也側(cè)面印證了公司是以技術(shù)為導(dǎo)向的，創(chuàng)始人也非常具有技術(shù)的前瞻性。

我們先談 Omniverse 平臺(tái)的由來。這個(gè)平臺(tái)最開始解決我們從用戶、從客戶使用端角度看到的3 個(gè)方向的難題：

① 設(shè)計(jì)協(xié)同問題。 我們發(fā)現(xiàn)全球有 4100 萬設(shè)計(jì)師，或者說各種創(chuàng)意工作者，每天會(huì)用大量不同的軟件，比如大家耳熟能詳?shù)?nbsp;CAD 、 CAE 、 CAM 軟件等。而且這些軟件可以有超過 30多家不同 CAD 軟件公司，甚至超過 50 個(gè)不同類型的設(shè)計(jì)軟件工具，這些都出自這 4100 萬全球設(shè)計(jì)師手中。再比如我們在做概念設(shè)計(jì)用 Maya ，比如設(shè)計(jì)一個(gè)杯子，完成這個(gè)杯子的概念設(shè)計(jì)后，我們就需要添加材質(zhì)，比如用陶瓷質(zhì)感，然后發(fā)現(xiàn)添加材質(zhì)需要用到 Substance 這款軟件，材質(zhì)添加好再去做渲染，發(fā)現(xiàn)還要用軟件渲染軟件。總結(jié)下來，在一個(gè)經(jīng)典的設(shè)計(jì)流程中，一個(gè)設(shè)計(jì)師每天至少面對(duì) 3 款不同的軟件，而這 3 款不同的軟件恰恰還不是同一家公司的，而且文件的格式也不是標(biāo)準(zhǔn)統(tǒng)一的，這會(huì)讓設(shè)計(jì)師很痛苦，從概念設(shè)計(jì)到加材質(zhì)、渲染，整個(gè)過程中需要把文件反復(fù)傳進(jìn)傳出，這個(gè)過程非常痛苦。比如說現(xiàn)在 PPT 格式的大小和十年前完全不一樣。同樣 3D 設(shè)計(jì)里的文件也是與日俱增的，越來越大的，所以操作起來非常麻煩。

② 文件量巨大會(huì)導(dǎo)致很多工作根本做不了。 傳統(tǒng)設(shè)計(jì)軟件的版本每年迭代一次，又不能舍棄對(duì)傳統(tǒng)文件研發(fā)支持，只能在以前的版本和研發(fā)平臺(tái)上更新。這就導(dǎo)致文件越來越大，解決不了輕量化的問題。

③ 不同行業(yè)的需求。 我們發(fā)現(xiàn)這 4100 萬名工程師分布在不同的行業(yè)，有的在傳媒娛樂做電影設(shè)計(jì)、動(dòng)效大片，有的在樓宇設(shè)計(jì)里做建筑，有的在工廠里做制造，甚至還有做科學(xué)研究仿真的。每個(gè)行業(yè)之間又有不同的行業(yè)屬性，不同行業(yè)需求不同 。

在公司看到 3 個(gè)痛點(diǎn)后，公司就推出了 Omniverse 這樣的平臺(tái)。我們公司是一個(gè)硬件平臺(tái)公司，而 Omniverse 是一個(gè)承在所有設(shè)計(jì)軟件之下的技術(shù)平臺(tái)，它幫助大家集成同一個(gè)文件格式，比如 USD 。大家都在同一個(gè)頁面下，基于英偉達(dá)的 Omniverse 平臺(tái)，同時(shí)操作概念設(shè)計(jì)軟件、添加材質(zhì)的軟件、同時(shí)可以看到渲染的效果，在整個(gè)協(xié)同的過程中至少能節(jié)省 50% 的設(shè)計(jì)效率。我們在數(shù)據(jù)量上也做了一個(gè)測試，一個(gè) 72GB 的 Maya 文件可以輕量化到 700+K ，也就是 10 的 5 次方的降維。這樣就能實(shí)現(xiàn)會(huì)我們在 GTC 上看到寶馬工廠的展示。這樣即使是上 1TB 的數(shù)據(jù)，我們也能夠輕而易舉在里面做修改、渲染，以及各種各樣的工作。我之前在 GE 這樣工業(yè)公司工作過，在前 10 年、 20 年，工業(yè)公司一直想做，但一直沒有推出來。直到今年有Omniverse 才把它推出來，這是數(shù)據(jù)量巨大的情況下，我們通過輕量化方式實(shí)現(xiàn)的。第三，我們在各行業(yè)都有各自不同的應(yīng)用，我們面向不同行業(yè)，都有不同行業(yè)的專有技術(shù)集成在這個(gè)平臺(tái)里。同時(shí)我們在平臺(tái)上又開放了面向不同行業(yè)開發(fā)者的開發(fā)權(quán)限，我們有一個(gè)產(chǎn)品叫 Omniverse Kit extension ，基于 extension 可以通過 API ，通過 Python ，通過 C++ 語言，實(shí)現(xiàn)對(duì)不同行業(yè)的開發(fā)定制功能。

總結(jié)下來，我們是基于用戶的需求和痛點(diǎn)來推出這個(gè)平臺(tái)，而且是在兩年前推出的。今年也基于這個(gè)平臺(tái)做了很多應(yīng)用，比如我們的工業(yè)機(jī)器人 Isaac Sim 、自動(dòng)駕駛的 DRIVE AGX 、數(shù)字虛擬偶像的 Avatar 平臺(tái)，類似還有很多。 我們也會(huì)在接下來研發(fā)中發(fā)布行業(yè)應(yīng)用方向的產(chǎn)品。這些就是向全球用戶展示基于 Omniverse 可以實(shí)現(xiàn)無限不同行業(yè)的可能，這是我們推出這個(gè)平臺(tái)的核心邏輯。

其實(shí)這個(gè)平臺(tái)是根據(jù)羅列出的 3 點(diǎn)需求推出的，讓我們的用戶，甚至不單單這 4100 萬設(shè)計(jì)師，未來可能是全民化都可以參與 3D 世界設(shè)計(jì)、數(shù)字世界設(shè)計(jì)的平臺(tái)。這個(gè)平臺(tái)整合了英偉達(dá)過去 20 多年積累的專業(yè)圖形可視化、 XR 、 AI 、物理學(xué)模擬引擎、基于核心數(shù)據(jù)中心級(jí)別算力，這 5 大項(xiàng)技術(shù)融合在一起的技術(shù)平臺(tái)基座。它是下沉于剛剛提到的 CAD 等各種軟件工具， 我們不會(huì)去替代這些工具，而是提供給未來設(shè)計(jì)師所使用軟件的技術(shù)底座。 有很多媒體報(bào)道稱這個(gè)平臺(tái)是為了元宇宙準(zhǔn)備的，其實(shí)只是有點(diǎn)不謀而合的感覺。

最后，和大家分享一下，如何看待在元宇宙在未來數(shù)字世界里， 有哪些業(yè)務(wù)場景是可以應(yīng)用。我們的邏輯非常簡單，就是找到用戶的需求和痛點(diǎn)是什么，并且滿足它。 舉個(gè)例子，比如我們創(chuàng)建出了一個(gè)數(shù)字孿生的世界，這個(gè)世界是要反饋給真實(shí)的物理世界中的用戶，滿足人類的設(shè)計(jì)工作的需要。比如說寶馬的數(shù)字化工廠，過去是沒有辦法去數(shù)字化孿生整個(gè)工廠車間。大家知道生產(chǎn)車有四大工藝，沖壓、焊裝、涂裝、總裝，其中光總裝車間全部做完就已經(jīng)有上 TB的數(shù)據(jù)。至于寶馬的數(shù)字工廠有什么用處，根據(jù)寶馬董事會(huì)的米蘭先生介紹的，每年都會(huì)調(diào)整寶馬的生產(chǎn)線，以利于它的產(chǎn)能和產(chǎn)量，甚至是工藝的改進(jìn)，每次改產(chǎn)品線都是他們的大難題。但如果這件事情能夠搬到數(shù)字世界中，正如英偉達(dá)和它合作做這樣數(shù)字化孿生寶馬工廠的案例一樣，其工作的效率提升了 30% ，這個(gè)工作效率的提升都是可以通過真金白銀體現(xiàn)出來的。

另外，在一個(gè)月之前 GTC 大會(huì)上，我們發(fā)布了虛擬人制作平臺(tái)，平臺(tái)里展示了 Toy-Me ，也就是玩具版的 黃仁勛先生 。它非常智能，可以聽懂不同專業(yè)科學(xué)家提出的非常復(fù)雜的問題和文化，同時(shí)可以講述非常專業(yè)的知識(shí)，比如天體物理學(xué)、哲學(xué)方面、分子蛋白相關(guān)比較深層次的專業(yè)領(lǐng)域知識(shí)，這是對(duì)未來數(shù)字人這方面的研究進(jìn)展。落在具體應(yīng)用領(lǐng)域里，我們又展示了點(diǎn)餐機(jī)器人，這個(gè)和我們每天工作生活息息相關(guān)，比如去一個(gè)便利店買東西，或者去快餐店點(diǎn)一份東西，這是我們?nèi)粘＝?jīng)?？吹降膱鼍?。我們做了一個(gè)調(diào)研，大概全球 2500 萬個(gè) Store 小店，我們理論認(rèn)為在未來數(shù)字化轉(zhuǎn)型過程中，這些小店都會(huì)進(jìn)行數(shù)字化轉(zhuǎn)型，都應(yīng)該放一個(gè)點(diǎn)餐的機(jī)器人。我們做了不同行業(yè)案例都是回饋到現(xiàn)實(shí)生活需求中，這是我們在不同的行業(yè)和應(yīng)用的落地。

Q&A ：

Q ：能否展開談一談在英偉達(dá)計(jì)劃當(dāng)中，數(shù)字孿生的前景是怎樣的？英偉達(dá)是不是致力于構(gòu)建一個(gè)和整個(gè)現(xiàn)實(shí)世界完全映射的數(shù)字世界？如果要實(shí)現(xiàn)這個(gè)目標(biāo)的話，會(huì)初步分成哪幾個(gè)階段，它的標(biāo)志會(huì)是怎樣的，大家預(yù)期會(huì)在怎樣的時(shí)間去實(shí)現(xiàn)？

A ： 其實(shí) “ 數(shù)字孿生 ” 這個(gè)概念很早就提出了，我沒有記錯(cuò)應(yīng)該是麻省理工學(xué)院一個(gè)教授或者博導(dǎo)提出這個(gè)概念，這已經(jīng)是 10 多年甚至 20 年前的事情了。這個(gè)概念有點(diǎn)像工業(yè)界做一個(gè)工廠，一個(gè)車間，甚至是設(shè)計(jì)某一個(gè)產(chǎn)品，可以映射在數(shù)字世界里的一個(gè)概念。這是我們剛剛在介紹了寶馬工廠時(shí)，解釋他們?yōu)槭裁葱枰羞@樣一個(gè)數(shù)字化映射。主要原因在于這個(gè)數(shù)字化映射對(duì)于他們現(xiàn)實(shí)中工廠生產(chǎn)布局的改造，或是工藝流程升級(jí)和革新非常重要，所以才有了這個(gè)概念。這個(gè)概念大家都想做，但如果數(shù)據(jù)量超級(jí)大的話，吃很多算力的同時(shí)，還要實(shí)現(xiàn)各種不同軟件、平臺(tái)、主數(shù)據(jù)的打通等，所以進(jìn)展比較緩慢。這是數(shù)字孿生的背景。

我們?nèi)绾稳タ磾?shù)字孿生，其實(shí)英偉達(dá)服務(wù)數(shù)字孿生，包括像達(dá)索、西門子、 PGC 這些公司，已經(jīng)合作 20 多年了，我們非常清楚這些軟件公司，這些工業(yè)客戶需要什么。我們看到這些痛點(diǎn)之后走了幾步，有幾個(gè)規(guī)劃。 我們發(fā)現(xiàn)需要分行業(yè)進(jìn)行 “ 三步走 ” ：

第一步是先做兩個(gè)行業(yè)：傳媒娛樂， 大家如果喜歡看電影，那些電影的特效，是最早應(yīng)用這些數(shù)字化理念孿生，比如像《復(fù)仇者聯(lián)盟》的動(dòng)漫形象，變形金剛等，都是數(shù)字化。第二個(gè)行業(yè)是 建筑 ，建筑里有 BIM （建筑信息模型）和 CIM （城市信息模型）的概念。這兩個(gè)行業(yè)是我們在一年半前已經(jīng)打通了，這是第一步走，在這個(gè)行業(yè)里怎么做數(shù)字化。

第二步是產(chǎn)品設(shè)計(jì)，可以理解為微觀的數(shù)字化。 比如耳機(jī)，某一個(gè)單體產(chǎn)品設(shè)計(jì)的數(shù)字化，這個(gè)還在進(jìn)行中，我們的進(jìn)展還是如預(yù)期一樣，也都集成了很多。

第三步，我們最終目標(biāo)就是數(shù)字孿生的工業(yè)制造 ，類似于寶馬工廠這種級(jí)別的。雖然現(xiàn)在我們跟寶馬做出來了，但是它不具備可復(fù)制性。因?yàn)槭澜缟蠜]有任何其他的工廠能有寶馬工廠數(shù)字化這么全面的。所以這一步的前提要求非常高，要有所有工廠的數(shù)字化數(shù)據(jù)，同時(shí)還要引入類似 Omniverse 的技術(shù)平臺(tái)，整合整個(gè)流程、數(shù)據(jù)標(biāo)準(zhǔn)能力的平臺(tái)，同時(shí)還要具備一定算力。所以這是我們對(duì)數(shù)字化孿生工廠 “ 三步走 ” 規(guī)劃。

總結(jié)起來，我們對(duì)于未來數(shù)字化世界的創(chuàng)建，包括元宇宙世界的創(chuàng)建，技術(shù)是非常重要的。我們認(rèn)為，所謂的數(shù)字孿生不單單是 1 ： 1 把世界孿生出來。我們數(shù)字孿生世界應(yīng)該會(huì)比真實(shí)世界大幾百倍，甚至幾千倍，幾萬倍，因?yàn)槟阋稣麄€(gè)場景，比如寶馬工廠的場景，需要切分成不同的設(shè)計(jì)模組，或者不同的數(shù)字世界，其實(shí)它會(huì)比真實(shí)世界大好多倍，這是我們看到的。反饋回來對(duì)我們的工廠也好，其他行業(yè)也好，都是非常有意義的。

Q ： Omniverse 的定位和 Unreal 這些引擎之間如何分工，目前有多少功能是重疊的，長期來看是否會(huì)逐漸取代它們？

A ： 如果大家對(duì)于引擎稍有了解，可以這樣分享一個(gè)例子，我們的引擎和友商的引擎是不一樣的。大家玩游戲的話知道手機(jī)上的 “ 吃雞游戲 ” ，或者 PC 端的《魔獸世界》、《暗黑破壞神》等，這些游戲都下載下來，手機(jī)上需要幾個(gè) G ， PC 端甚至有幾百個(gè) G 的游戲。而那些幾個(gè)G ，幾十 G ，幾百 G 的文件是什么呢，其實(shí)那些就是像 Unreal 這樣的引擎 所做的，是提前預(yù)制好的、并且離線的， 所以它們的定義是離線引擎。而 Omniverse 要做的平臺(tái)是實(shí)時(shí)的 ，這兩個(gè)是完全不一樣的概念。

目前我們和所有的 CAD 軟件公司，包括和引擎公司合作這么多年關(guān)系都非常不錯(cuò)， 我們不會(huì)去替代他們?nèi)魏我粋€(gè)產(chǎn)品。我們的理念是提供一個(gè)基于他們產(chǎn)品之下，底層技術(shù)的服務(wù)平臺(tái)。

Q ：能否請您詳細(xì)介紹一下實(shí)時(shí)和離線的區(qū)別是什么，分別都是什么樣的應(yīng)用場景，能否舉一下例子？

A ：因?yàn)槲彝娴挠螒虮容^少，最近幾年就玩過手機(jī)端的 “ 吃雞游戲 ” ，這其實(shí)是一個(gè)離線游戲。大家注意到，角色跑動(dòng)時(shí)的影子是沒有光影的。或者說一顆手雷在現(xiàn)實(shí)世界可以把房子炸掉，但游戲里的樓始終還是在那兒，不會(huì)塌的。這個(gè)就叫離線，它不會(huì)動(dòng)，也不會(huì)變。

什么是實(shí)時(shí)呢，未來實(shí)時(shí)的引擎應(yīng)該是人在那兒跑，影子一直跟著走，光照也會(huì)發(fā)生改變。比如真實(shí)的場景里會(huì)有日出日落，我們就針對(duì)那個(gè)場景做出應(yīng)該有的日出日落，但現(xiàn)在離線游戲中有一些是沒有這些實(shí)時(shí)光影。

在實(shí)時(shí)引擎中，有日出日落，有時(shí)間的變化，隨著時(shí)間變化太陽的角度也不一樣，人的光影也不一樣，下雨了影子也會(huì)發(fā)生變化。更進(jìn)一步，我扔了一顆手雷真的有可能把木屋和廁所炸掉，旁邊的物體會(huì)發(fā)生變化，這就是離線和實(shí)時(shí)的區(qū)別。

Q ： Omniverse 現(xiàn)階段推廣比較大的障礙是什么，是技術(shù)上不夠成熟，還是應(yīng)用場景受限，或者價(jià)格，或者說消費(fèi)者的一些習(xí)慣？您預(yù)計(jì) Omniverse 的推廣和普及的拐點(diǎn)會(huì)出現(xiàn)在什么時(shí)候？

A ： 這是個(gè)好問題，我們實(shí)際上非常重視生態(tài)的開發(fā)，所以 Omniverse 在兩年前推出的時(shí)候，我們就一直在布局整個(gè)生態(tài)，像我這樣的角色在全球也有其他的同事在做。

先分享中國的，中國的生態(tài)已經(jīng)有很多個(gè)，我們有超過 3000 名開發(fā)者正在使用，這個(gè)數(shù)據(jù)每天都在上升，每天都有人在我們的網(wǎng)站上去下載這個(gè)產(chǎn)品。我們的目的是有了這樣的平臺(tái)后，要大大降低設(shè)計(jì)者的門檻。我們在全球的 4100 萬設(shè)計(jì)師，很多都是以前工科畢業(yè)的，像計(jì)算機(jī)的，包括 CAD 、輔助設(shè)計(jì)，還有各種各樣花了很多年圖紙的工程師，都具備一定的專業(yè)能力。

大家可以關(guān)注我們一個(gè)產(chǎn)品 GauGAN ， GAN 就是繪圖生成軟件的簡稱，這是我們推出完全免費(fèi)的繪圖工具。以前的繪圖工具比如用 CAD 軟件需要一筆一筆畫，畫完之后做三維造型，添加材質(zhì)渲染，然后做出三維模型。 GauGAN 引入了 AI 和深度學(xué)習(xí)的工具，現(xiàn)在 GauGAN 2.0 版本是幾個(gè)禮拜前發(fā)布的，你可以輸入一段文字，比如說 Cloud ，它就會(huì)直接生成一個(gè)云彩。比如輸入一段 “ 我想要非常陽光明媚的陽光，但我要讓那個(gè)陽光穿透在森林里 ” ，它就會(huì)自動(dòng)生成一個(gè)樹林里穿透陽光的照片。對(duì)于我們公司來說， 未來我們會(huì)開源出來越來越多這樣的工具，免費(fèi)給大家使用。這會(huì)大大降低很多人參與創(chuàng)作的門檻，也就是人人皆可以成為設(shè)計(jì)師，這也是我們的設(shè)計(jì)初衷。我們非常重視生態(tài)，讓大家在平臺(tái)上自己去開發(fā)工具，自己生成作品，這是我們的核心想法。

另外在推廣過程中有哪些困難，因?yàn)?nbsp;Omniverse 這樣新鮮的事物出來，我們肯定還會(huì)逐步擴(kuò)展功能。我們在軟件平臺(tái)的各種不同專業(yè)方向和行業(yè)延伸，這些都在不斷探索。我再舉個(gè)例子，比如我們現(xiàn)在有一個(gè)平臺(tái)叫 Audio2Face ，大家可能聽說過，字面理解就知道。就是我輸入一段語音或文字，就可以驅(qū)動(dòng)現(xiàn)在比較流行的三維數(shù)字人模型面部動(dòng)作。 Audio2Face 我們已經(jīng)推出了兩年多了，其實(shí)我們還不止于此，我們還開發(fā)出 Audio2Translator （語音語義驅(qū)動(dòng)動(dòng)作），自己讓數(shù)字人身體，比如像老黃演講，輸入一段他的手怎么樣去擺，這是我們在不斷研發(fā)的。未來我們還會(huì)上 Audio2Emotion ，同樣我喊了一個(gè) “ 啊 ” ，這個(gè) “ 啊 ” 表情應(yīng)該是什么樣，是驚訝，還是被人不小心碰到了疼了一下的痛，都會(huì)是成為我們研究的發(fā)展方向。推廣出來需要迭代，不斷進(jìn)步的，我們的功能和性能會(huì)往更寬廣應(yīng)用方向努力的，這是我們一直非常關(guān)注的，也是我們不斷努力，讓平臺(tái)更加優(yōu)化，算法更加好，門檻更加低，讓每個(gè)人成為設(shè)計(jì)師。

這里給大家打個(gè)小廣告，我剛才說的 Audio2Face ，我們硅谷同事的 6 歲女兒，給她父親生日派對(duì)上，她就花了幾分鐘時(shí)間，用筆記本 Audio2Face 唱了一首生日歌，把這首歌輸入 Audio2Face 平臺(tái)里，驅(qū)動(dòng)她特別喜歡的一個(gè)卡通動(dòng)畫里的犀牛角色，讓犀牛唱出來，現(xiàn)場播放給她父親。我們有這樣的工具可以大大降低設(shè)計(jì)師、設(shè)計(jì)者的門檻，這是我們想要看到的未來趨勢，這也是我們一直努力的方向。

Q ：現(xiàn)在虛擬數(shù)字人也比較火，你覺得虛擬人真的融入我們的生活，比如說做直播，或者是做偶像，或者是做營銷這種，您覺得技術(shù)方面達(dá)到普及需要多久，是否困難？商業(yè)模式上是否可行？

A ： 其實(shí)我本人在國內(nèi)已經(jīng)做了 3 年的數(shù)字虛擬人的生態(tài)，整個(gè)市場的需求在過去一兩年內(nèi)非常多。

先回答一下這個(gè)技術(shù)，其實(shí)這個(gè)技術(shù)里也是分了 “ 三步走 ” ，英偉達(dá)在硅谷有數(shù)字研究院。 ①實(shí)現(xiàn)超寫實(shí)。 國際上包括國內(nèi)做的超寫實(shí)級(jí)別的數(shù)字人基本上離不開我們的技術(shù)，我本人也親自去跟進(jìn)了一些項(xiàng)目，帶著我們的團(tuán)隊(duì)一起，包括生態(tài)合作伙伴一起做的超寫實(shí)數(shù)字人，比如央視主持人，比如新華社，比如其他超寫實(shí)級(jí)別的項(xiàng)目，我們都做過。 ② 要引入 AI ，要讓它有對(duì)話的能力 ， Conversation AI 這方面我們已經(jīng)開始有布局了，而且已經(jīng)實(shí)現(xiàn)了。 ③ 情緒情感的識(shí)別 ，這種情緒情感的識(shí)別就在于，今天我們是電話會(huì)議，如果面對(duì)面的話，真實(shí)人類對(duì)對(duì)方的表情、情緒的識(shí)別是非常準(zhǔn)確的。 我們?nèi)绾巫寯?shù)字人能夠具備這種能力，這個(gè)我們已經(jīng)研發(fā)幾年了，目前還處于初期。我們認(rèn)為未來 3-5 年內(nèi)，虛擬人融入日常生活真的有可能會(huì)實(shí)現(xiàn) ，這是從技術(shù)角度看到的。

另外是市場前景。特別巧，前一段時(shí)間我剛看過一個(gè)數(shù)據(jù)，全球數(shù)字虛擬人的市場在 2028 年可能會(huì)達(dá)到 513 億美金的市場規(guī)模。中國可能會(huì)在 2030 年達(dá)到 50 億美金，也就是 1/10 的市場，所以這個(gè)市場前景還是很大的。剛剛您提到的業(yè)務(wù)場景都是數(shù)字人 1.0 時(shí)代了，比如數(shù)字偶像、數(shù)字直播、主播，這些都是賺眼球的。我覺得就像藝人一樣，一股風(fēng)過去這個(gè)浪潮也就過去了。 我們更關(guān)注的是真正能落地，幫助到大家切實(shí)的應(yīng)用。 比如剛才說的點(diǎn)餐機(jī)器人，數(shù)字人也可以做出來的，包括未來可以通過全息投影的方式，在店里做一個(gè)數(shù)字的點(diǎn)餐員，這些都有可能會(huì)出現(xiàn)，這些才是真正地服務(wù)我們落地的需求。

其實(shí)我們的數(shù)字寶馬孿生工廠里大量引入了數(shù)字人，在視頻里會(huì)有很多工人，那個(gè)工人都是我們用數(shù)字人的技術(shù)做出來的。 人在里面怎么走，操作臺(tái)的高低，是否需要彎下腰走過某一臺(tái)設(shè)備和操作臺(tái)，這些都是符合人體工程學(xué)的。 這些才是服務(wù)真實(shí)應(yīng)用場景。所以我們認(rèn)為未來的數(shù)字虛擬人應(yīng)該真正應(yīng)用到這樣的業(yè)務(wù)場景里，才會(huì)有真正的業(yè)務(wù)邏輯在里面，所以前景非常大。

Q ：您說超寫實(shí)數(shù)字人形象的技術(shù)上一定要用到英偉達(dá)的技術(shù)才能實(shí)現(xiàn)嗎？

A ： 不是一定，是用了我們的會(huì)更好。

Q ：關(guān)于數(shù)字人的塑造，同行中的平均水平是什么樣子，以及達(dá)到你們這樣的水平，或者進(jìn)行商業(yè)化水平需要多久，或者多難？

A ： 這里核心的一個(gè)技術(shù)就是數(shù)字人 1.0 時(shí)代的超寫實(shí)逼真感，這個(gè)逼真感核心是圖形學(xué)理論輪廓范圍內(nèi)。圖形學(xué)，上世紀(jì)就開始很多人研究算法。比如從光柵化算法過渡到光線追蹤，光線追蹤是圖形學(xué)里的里程碑，或者圖形學(xué)巔峰的算法是路徑追蹤。光柵化就是三角面，看到那些好萊塢大片后來制作的，好萊塢也做了很多虛擬人物，這些人物以前都是光柵化，因?yàn)槭怯枚嗌賰|的三角面做出來的，這就是一個(gè)技術(shù)。

2018 年英偉達(dá)提出實(shí)時(shí)光線追蹤，這是現(xiàn)在比較流行的，也是最高端的一個(gè)技術(shù)。實(shí)時(shí)光線追蹤的核心是光源打在臉上反射出來的效果，這個(gè)技術(shù)叫光線追蹤，這是英偉達(dá)提出來了。我們技術(shù)路線是在 2035 年實(shí)現(xiàn)路徑追蹤，也就是追蹤所有的光線，實(shí)現(xiàn)路徑追蹤。

回到您問為什么一定是英偉達(dá)呢， 因?yàn)椴还苁枪鈻呕埠眠€是光線追蹤也好，還是未來的路徑追蹤也好，它會(huì)要大量的算力。還有一個(gè)核心的圖形學(xué)底層的技術(shù)，比如這種光線追蹤技術(shù)，算力 + 圖形學(xué)底層技術(shù)，能夠提供這樣技術(shù)的平臺(tái)只有英偉達(dá)。 目前看來， GPU 市場我們占80% 以上。 另外，我們不但是芯片的制造公司和銷售公司，我們的圖形學(xué)算法科學(xué)家，還有深度學(xué)習(xí)、 AI 人工智能算法科學(xué)家，在我們公司里這些人員占全球的 60% 。所以，我們在軟件、算法、圖形學(xué)理論算法研究儲(chǔ)備是遠(yuǎn)遠(yuǎn)領(lǐng)先于同行的，這是為什么大家在做這個(gè)時(shí)離不開我們的技術(shù)，或者說選擇我們的技術(shù)會(huì)比別人要好很多，超過和領(lǐng)先別人很多個(gè)身位的核心原因就是這樣。

Q ：以后英偉達(dá)會(huì)成為一個(gè)內(nèi)容輸出服務(wù)平臺(tái)的話，這個(gè)版權(quán)是屬于定制者，還是屬于技術(shù)提供公司呢？

A ： 我們是在這個(gè)過程中提供了 GPU 顯卡，剛剛提到的算法，包括圖形學(xué)的東西其實(shí)都是開源免費(fèi)給大家用的，我們沒有跟別人分享這個(gè)人代言費(fèi) 100 萬，我們提成多少，從來沒有，這是需要明確的。

Q ：英偉達(dá)現(xiàn)在商業(yè)模式是提供數(shù)字人編制服務(wù)，然后收取數(shù)字服務(wù)費(fèi)嗎？

A ： 我們沒有服務(wù)費(fèi)，別人會(huì)選擇我們的 GPU ， GPU 上有我們的算法，算法上很多是免費(fèi)的，我們沒有收過任何服務(wù)費(fèi)。

Q ：那之后英偉達(dá)的商業(yè)模式是怎樣的？

A ： 我們剛才也提到了生態(tài)合作伙伴， 我們更想讓生態(tài)合作伙伴在平臺(tái)上做應(yīng)用，由我們的生態(tài)合作伙伴提供這樣的服務(wù)給大家，我們不會(huì)自己去做。 我們也沒有那么多人去做這樣具體落地的事情。

Q ：聽起來 Omniverse 平臺(tái)主要是給 Autodesk 等產(chǎn)品提供一個(gè)標(biāo)準(zhǔn)的數(shù)據(jù)格式是嗎？

A ： 是的。

Q ：現(xiàn)在 Autodesk 也有數(shù)據(jù)格式，而且也是比較公開的格式。英偉達(dá)的數(shù)據(jù)格式相對(duì)以前的來講有什么優(yōu)勢嗎，會(huì)有什么改進(jìn)嗎？

A ： 其實(shí) Autodesk 和達(dá)索都嘗試推出類似 Omniverse 平臺(tái)的產(chǎn)品，但都沒有成功。其核心的邏輯在于 Autodesk 和達(dá)索都不會(huì)使用對(duì)方的產(chǎn)品，比如 Autodesk 競爭對(duì)手可能有幾十家，它要推出自己的格式讓大家去用的話，那幾十家都要使用它的格式，但大家都是它的競爭對(duì)手。所以這件事情只有硬件公司，在它們利益范圍之外的平臺(tái)，中立的平臺(tái)才會(huì)做成，就是這么簡單。我們選擇的是 USD 格式，這是皮克斯 2016 年提出的，是免費(fèi)開源的。

Q ：剛才你提到 GAN 這個(gè)算法，主要用在動(dòng)畫制作上，工業(yè)設(shè)計(jì)上基本上用不到的對(duì)嗎？

A ：剛才我提到的工具都是我們的探索，未來某一天也許會(huì)提出工業(yè)相關(guān)的 GAN 算法生成。

Q ：使用我們平臺(tái)的話可以把設(shè)計(jì)的文件包大小縮減，是說我們把一部分放在云端了嗎？

A ：它是 USD 技術(shù)，可以輕量化，并沒有放在云端，它的結(jié)構(gòu)就是顛覆的。文件大小的縮小，純粹是 USD 的優(yōu)勢，這是最核心的。如果大家對(duì)這個(gè)感興趣，可以上網(wǎng)搜一下 USD ，這是非常偉大的發(fā)明。