交流紀(jì)要，DeepSeek、昆侖芯內(nèi)部進(jìn)展｜產(chǎn)業(yè)家獨家

關(guān)于DeepSeek，百度智能云怎么看？

作者| 吳銘

出品|產(chǎn)業(yè)家

問：伴隨著DeepSeek的出現(xiàn)，外界對咱們百度也有一些討論。想聊下目前百度智能云在部署適配方面有哪些最新動作？效果如何？

答：首先DeepSeek的爆火給AI行業(yè)注入了一股全新的活力，其實相較于外界的討論，我們更首要關(guān)注的是如何讓企業(yè)快速使用上優(yōu)質(zhì)模型去開發(fā)自身的應(yīng)用，千帆大模型平臺在近期上架了DeepSeek-R1和DeepSeek-V3模型，并同步推出了行業(yè)領(lǐng)先的超低價格方案。在整體部署適配過程中我們也結(jié)合百度智能云的優(yōu)勢去做了3個關(guān)鍵動作，在保證模型效果的同時進(jìn)一步降低使用成本以及使用門檻：

第一個，在算力層面，目前百度智能云成功點亮了昆侖芯P800萬卡集群，我們也基于百舸算力平臺適配了國產(chǎn)化P800芯片，來提供整個模型推理服務(wù)，為DeepSeek提供優(yōu)質(zhì)且適配性強(qiáng)的環(huán)境，使模型發(fā)揮出更高的性能。同時，百度百舸基于昆侖芯P800，發(fā)布部署?“滿血版?DeepSeek R1 +?聯(lián)網(wǎng)搜索”?服務(wù)，通過聯(lián)網(wǎng)搜索功能，將最新的互聯(lián)網(wǎng)數(shù)據(jù)融入答案生成，為企業(yè)提供更及時、準(zhǔn)確的信息支持。

第二個，在平臺層面，我們基于DeepSeek做了千帆大模型平臺工程架構(gòu)的優(yōu)化，通過自身在大模型推理性能優(yōu)化方向的技術(shù)積累，針對DeepSeek模型進(jìn)行了極致的性能優(yōu)化，比如通過高效的PD分離式推理架構(gòu)，實現(xiàn)模型吞吐的大幅度提升，進(jìn)而顯著降低模型推理成本。

我們?yōu)橛羞M(jìn)一步應(yīng)用需求的企業(yè)，千帆ModelBuilder提供基于模型開發(fā)工具鏈進(jìn)行一鍵部署、蒸餾這樣的能力，能讓企業(yè)客戶更好的將DeepSeek用起來，完成特定模型需求的再開發(fā)；千帆AppBuilder全面接入DeepSeek模型，具備百度AI搜索及其他組件能力，還有更多RAG、Agent、工作流工具助力大模型應(yīng)用搭建。

千帆大模型平臺作為企業(yè)級一站式大模型與AI原生應(yīng)用開發(fā)及服務(wù)平臺，我們很高興可以看到像DeepSeek這樣擁有優(yōu)質(zhì)效果的國產(chǎn)模型出現(xiàn)，來帶動國內(nèi)對于大模型的應(yīng)用，那自千帆上線R1和V3后首日就吸引超過1.5萬家客戶調(diào)用，這個客戶量還在不斷增長，我們也期待可以給更多企業(yè)高性能低成本模型的更好體驗，千帆也會為更多諸如DeepSeek這樣的優(yōu)質(zhì)模型提供優(yōu)質(zhì)土壤，帶來增益賦能。

第三個，在應(yīng)用層面，百度智能云旗下客悅、曦靈、一見、甄知四款大模型應(yīng)用產(chǎn)品，也正式上線接入DeepSeek模型的新版本，為企業(yè)智能外呼、數(shù)字人視頻腳本生成、視覺智能分析、知識管理等高價值業(yè)務(wù)場景，提供更加豐富的AI大模型應(yīng)用選擇，滿足用戶多元化落地需求。

同時，百度智能云正加速推進(jìn)金融、交通、政務(wù)、汽車、醫(yī)療、工業(yè)等行業(yè)應(yīng)用產(chǎn)品與DeepSeek模型的適配驗證工作，積極探索大模型在智能問數(shù)、公文寫作、理財助手、合規(guī)管理、醫(yī)療輔診等行業(yè)垂直業(yè)務(wù)場景中的能力拓展與應(yīng)用進(jìn)化。

問：隨著國產(chǎn)大模型的興起，萬卡集群已從單純算力供給逐漸向“有效”算力供給過渡，百度智能云在國產(chǎn)算力的構(gòu)建上有什么規(guī)劃？這些規(guī)劃實現(xiàn)起來對百度而言難度大嗎？（硬件、軟件都可以聊聊）

答：難度肯定是有的，但我們也在持續(xù)深耕算力基礎(chǔ)設(shè)施的建設(shè)。比如，最近百度智能云已經(jīng)成功點亮國產(chǎn)昆侖芯萬卡集群，未來還將進(jìn)行三萬卡集群的建設(shè)，在這個過程中，從硬件到軟件，技術(shù)挑戰(zhàn)是全方位的。而24年9月升級的百度百舸AI異構(gòu)計算平臺4.0，圍繞落地大模型全旅程的算力需求，在集群創(chuàng)建、開發(fā)實驗、模型訓(xùn)練、模型推理四大方面，能為企業(yè)提供“多、快、穩(wěn)、省”的AI基礎(chǔ)設(shè)施，在萬卡集群的建設(shè)中發(fā)揮了至關(guān)重要的作用。

首先，突破硬件擴(kuò)展性瓶頸，如卡間互聯(lián)的拓?fù)湎拗?，避免通信帶寬成為瓶頸；同時，圍繞芯片及集群功耗，基于萬卡規(guī)模常規(guī)方案功耗可達(dá)十兆瓦或更高，采用創(chuàng)新性散熱方案，從而解決萬卡集群的能效與散熱問題；完善模型的分布式訓(xùn)練優(yōu)化，采用高效并行化任務(wù)切分策略，訓(xùn)練主流開源模型的集群MFU提升至58%；在提升穩(wěn)定性方面，提供容錯與穩(wěn)定性機(jī)制，避免由于單卡故障率隨規(guī)模指數(shù)上升而造成的萬卡集群有效性大幅下降，保障有效訓(xùn)練率達(dá)到98%；最后，針對機(jī)間通信帶寬需求，建設(shè)超大規(guī)模HPN高性能網(wǎng)絡(luò)，優(yōu)化拓?fù)浣Y(jié)構(gòu)，從而降低通信瓶頸，帶寬有效性達(dá)到90%以上。

昆侖芯作為百度自研的AI芯片，憑借其獨特的技術(shù)優(yōu)勢，在百舸4.0的能力加持下，在生成式人工智能時代展現(xiàn)出了巨大的競爭力。未來一年，將是各種AI原生應(yīng)用爆發(fā)的黃金時期。自研芯片和萬卡集群的建成帶來了強(qiáng)大的算力支持，同時有效提升百度和客戶的資源整體利用率，降低大模型訓(xùn)練成本，推動了模型降本的趨勢，為整個行業(yè)提供了新的思路和方向。

除此之外，百度智能云也提供百舸DeepSeek一體機(jī)、千帆DeepSeek一體機(jī)，國產(chǎn)首個單機(jī)8卡支持DeepSeek滿血版和蒸餾版模型，實現(xiàn)模型的本地化開箱即用。

問：最近，我們也看到一個新的現(xiàn)象，百度智能云針對此次DeepSeek模型上線提供了超低推理價格，低至DeepSeek官方刊例價3-5折，這背后是由于什么樣的技術(shù)驅(qū)動的？是新一輪的價格戰(zhàn)打響了嗎？

答：真正的低價都是由技術(shù)驅(qū)動的。在看到的這個新價格背后，對應(yīng)的是百度智能云在推理引擎性能優(yōu)化技術(shù)、推理服務(wù)工程架構(gòu)創(chuàng)新以及推理服務(wù)全鏈路安全保障上的深度融合。百度智能云千帆ModelBuilder始終致力于為用戶提供全流程、一站式的?AI?服務(wù)，除了強(qiáng)大的模型資源，還匹配了完善的一站式模型效果調(diào)優(yōu)工具鏈，包含數(shù)據(jù)加工、模型精調(diào)、模型評估、模型量化等關(guān)鍵環(huán)節(jié)，助力企業(yè)根據(jù)自身業(yè)務(wù)需求深度優(yōu)化模型性能。同時，百度智能云千帆ModelBuilder具備卓越的模型推理托管能力，支持vLLM、LMDeploy、TensorRT-LLM、SGLang等各類主流推理框架，還支持模型的自定義導(dǎo)入與部署，為開發(fā)者提供了高度靈活的開發(fā)環(huán)境。

（1）推理引擎性能優(yōu)化技術(shù)

基于百度智能云在大模型推理性能優(yōu)化方向的技術(shù)積累，針對DeepSeek模型MLA結(jié)構(gòu)的計算進(jìn)行了極致的性能優(yōu)化，并通過計算、通信、內(nèi)存不同資源類型算子的有效重疊及高效的Prefill/Decode分離式推理架構(gòu)等，在核心延遲指標(biāo)TTFT/TPOT滿足SLA的條件下，實現(xiàn)模型吞吐的大幅度提升，進(jìn)而顯著降低模型推理成本。

（2）推理服務(wù)的工程架構(gòu)創(chuàng)新

在推理服務(wù)層面，進(jìn)行了深入的優(yōu)化與創(chuàng)新。針對推理架構(gòu)，做了嚴(yán)格的推/拉模式的性能對比。經(jīng)驗證拉模式在請求處理的成功率、響應(yīng)延時以及吞吐量等關(guān)鍵指標(biāo)上均展現(xiàn)出更為卓越的性能。為了進(jìn)一步提升系統(tǒng)的穩(wěn)定性和用戶體驗，巧妙地設(shè)計了一種請求失敗的續(xù)推機(jī)制，這顯著增強(qiáng)了系統(tǒng)的容錯能力和服務(wù)SLA達(dá)標(biāo)率。同時針對多輪對話和system設(shè)定等場景中存在重復(fù)Prompt前綴的情況，實現(xiàn)了主流的KV-Cache復(fù)用技術(shù)，并輔以全局Cache感知的流量調(diào)度策略。這一舉措有效避免了Token KV的重復(fù)計算，從而大幅降低推理延遲，提高了推理吞吐。

（3）推理服務(wù)的穩(wěn)定安全保障

千帆平臺基于百度自身長期的大模型安全技術(shù)積累，集成獨家內(nèi)容安全算子，實現(xiàn)模型安全增強(qiáng)與企業(yè)級高可用保障，基于大模型全生命周期數(shù)據(jù)安全與模型保護(hù)機(jī)制，在千帆平臺上的模型均擁有使用安全的安全保障；基于在安全方面的專項優(yōu)化，確保DeepSeek-R1&DeepSeek-V3模型，企業(yè)用戶在使用過程也具有更高的安全性。

問：現(xiàn)在不少企業(yè)會選擇直接通過模型API的方式來接入DeepSeek，想問下通過云平臺來調(diào)用新模型，為各行業(yè)應(yīng)用普及AI有怎樣的不同和優(yōu)勢？

答：通過云服務(wù)平臺來調(diào)用模型，我們覺得主要是從三個方面去滲透以及普及行業(yè)的，云平臺的核心為降低成本、提升大模型落地易用性以及助力企業(yè)更好地構(gòu)建AI原生應(yīng)用，通過云平臺提供的便捷的工具型服務(wù)，企業(yè)能更聚焦在自身的業(yè)務(wù)發(fā)展。

首先我們覺得推動行業(yè)應(yīng)用普及最關(guān)鍵的就是降低成本，那以往企業(yè)引入?AI?需投入大量資金購買和維護(hù)硬件設(shè)備，而云平臺可以通過提供彈性計算資源，從“購買”到“租賃”，企業(yè)按需租用付費，在避免資源浪費同時，大大降低了AI應(yīng)用的初始成本。

其次，云平臺的另一個重要優(yōu)勢就是它具備很強(qiáng)的易用性，這對于各行業(yè)應(yīng)用?AI?起到了極大的推動作用。云平臺需要配備各種各樣豐富且實用的工具鏈，比如精調(diào)工具鏈、數(shù)據(jù)工具鏈、壓縮工具鏈等等，能夠幫助企業(yè)更好地構(gòu)建數(shù)據(jù)飛輪，實現(xiàn)模型效果的不斷迭代，更好的賦能應(yīng)用。那與此同時，平臺提供的工具鏈也要適配各種模型，企業(yè)隨時可以切換模型并且更快速便捷的用上效果更好的模型；以上兩點目前我們的千帆ModelBuilder也都提供了這樣高效便捷的工具鏈服務(wù)。

那最后，各行業(yè)AI的使用探索其實基于原生應(yīng)用的構(gòu)建。云平臺上面提供的多樣化組件及應(yīng)用開發(fā)的能力降低了AI原生應(yīng)用的構(gòu)建門檻，也為行業(yè)內(nèi)的應(yīng)用場景和商業(yè)模式帶來了更多創(chuàng)新可能。千帆AppBuilder也是這樣的一站式模型應(yīng)用開發(fā)平臺，高效、低門檻解決大模型應(yīng)用落地最后一公里問題。

有了應(yīng)用后，云平臺提供的完善日志分析及告警系統(tǒng)，也確保了企業(yè)AI應(yīng)用的穩(wěn)定性，同時云平臺具備完善的模型安全以及高可用保障措施，提供模型使用的全方位安全保障。

所以整體從構(gòu)建、到運行，云平臺為企業(yè)在模型使用上提供了全流程保障，降本增效的同時也讓企業(yè)聚焦自身業(yè)務(wù)，更好的推動整個AI行業(yè)的發(fā)展。

問：作為一家出身創(chuàng)業(yè)公司的產(chǎn)品，DeepSeek這次爆火，在百度看來，它的出現(xiàn)有出乎咱們的意料嗎？咱們百度對待這次“爆火”內(nèi)部的態(tài)度是怎么樣的？

答：創(chuàng)新是不能被計劃的。你不知道創(chuàng)新何時何地到來，你所能做的是，營造一個有利于創(chuàng)新的環(huán)境。我們生活在一個非常激動人心的時代。在過去，當(dāng)我們談?wù)撃柖蓵r說，每18個月性能會翻倍、成本會減半；但今天，當(dāng)我們談?wù)摯笳Z言模型時，可以說每12個月，推理成本就可以降低90%以上。這比我們過去幾十年經(jīng)歷的計算機(jī)革命要快得多。大語言模型是一個非常龐大的領(lǐng)域。在中國，我們必須在推理和訓(xùn)練方面創(chuàng)新以降低成本。幸運的是，過去一年，我們看到了顯著進(jìn)步。

百度的技術(shù)背景是搜索引擎，它天然接近大語言模型，所以我們在2023年3月就推出了文心一言，我們也是上市公司中第一個推出類ChatGPT應(yīng)用的。谷歌后來推出了Bard,并將其更名為Gemini。正如我們今天所知。這是一個非常激動人心的時刻，我們到處都能看到創(chuàng)新，我們必須適應(yīng)這種快速變化的創(chuàng)新。

問：我們也觀察到，伴隨DeepSeek的爆火，全球許多大型芯片廠商和許多大型交易所的股價大幅下跌。原因是之前有令人瞠目結(jié)舌的數(shù)十億美元被投資于推理數(shù)據(jù)中心、訓(xùn)練這些人工智能系統(tǒng)和模型，伴隨著DeepSeek的出現(xiàn)市場不少人開始“看衰”這類投資，咱們百度對此怎么看？對于數(shù)據(jù)中心和AI基礎(chǔ)設(shè)施的未來咱們的理解是怎樣的？

答：從基本面來看，最重要的主題仍然是技術(shù)進(jìn)步非常快，成本每年降低約90%，性能越來越好。當(dāng)技術(shù)發(fā)展如此之快，你無法停止投入。你必須投入，以確保處于這場技術(shù)創(chuàng)新或革命的最前沿。我們?nèi)孕鑼π酒?、?shù)據(jù)中心和云基礎(chǔ)設(shè)施進(jìn)行持續(xù)投入，用于打造更好、更智能的下一代模型。

為此，需要使用更多的算力來嘗試不同的路徑。也許，在某個時刻你會找到一條捷徑，比如說只需600萬美元就能訓(xùn)練出一個模型，但在此之前，你可能已經(jīng)花費了數(shù)十億美元，用來探索哪條路才是花費這600萬美元的正確途徑。

我們對人工智能的未來持樂觀態(tài)度。我們認(rèn)為，即使在當(dāng)前水平下，大語言模型也已經(jīng)在各種場景中創(chuàng)造大量價值。我們有數(shù)十萬客戶在使用大模型提高招聘、電子商務(wù)、醫(yī)療保健甚至能源、電力等領(lǐng)域的效率。

我們已經(jīng)看到了很多這樣的應(yīng)用案例。在過去，他們可能需要花費不到1萬美元來實現(xiàn)某些目標(biāo)，而使用大型語言模型后，只需花費大約1000美元。所以，這已經(jīng)為他們創(chuàng)造了價值。

問：拋開外界的聲音，想正式了解下，此次DeepSeek-R1的發(fā)布及開源，對百度智能云業(yè)務(wù)有什么影響？

答：DeepSeek R1發(fā)布及開源，推動應(yīng)用爆發(fā)、帶動算力增加，最利好百度智能云。

1、首先產(chǎn)品上DeepSeek降低大模型應(yīng)用門檻，快速普及推動應(yīng)用落地更早，帶動算力增加；百度智能云在GPU時代更有優(yōu)勢地位。

a、全棧AI技術(shù)能力，尤其是近期點亮的昆侖芯萬卡集群：獨有的四層架構(gòu)，實現(xiàn)從云基礎(chǔ)設(shè)施、框架、模型到應(yīng)用端到端優(yōu)化；

b、2025年2月5日，百度智能云成功點亮昆侖芯三代萬卡集群，是國內(nèi)首個正式點亮的自研萬卡集群，并將進(jìn)一步點亮?3?萬卡集群。

c、百舸產(chǎn)品提供穩(wěn)定、極速、高效的算力平臺，極速滿足客戶全旅程算力需求，10萬卡時代企業(yè)保持領(lǐng)先的第一選擇。

d、領(lǐng)先的千帆大模型平臺：支持國內(nèi)外各種主流模型+豐富工具鏈，近期接入DeepSeek后首日調(diào)用客戶就多達(dá)1.5萬家，價格全行業(yè)最低；

2、商業(yè)化：百度智能云具備廣泛的市場認(rèn)可，GPU云優(yōu)勢帶動商業(yè)化進(jìn)展快速

a、中國最大的大模型產(chǎn)業(yè)落地規(guī)模，超60%以上的央企及大量民營企業(yè)使用，2024年大模型中標(biāo)第一（從中標(biāo)廠商看，百度智能云在中標(biāo)項目數(shù)、行業(yè)覆蓋數(shù)、央企中標(biāo)項目數(shù)這三個維度里均為第一。從行業(yè)分布看，百度智能云在能源、政務(wù)、金融這三個行業(yè)的中標(biāo)項目數(shù)位于所有廠商第一。）

b、2025年1月份，百度中標(biāo)項目和中標(biāo)金額雙第一