交流紀(jì)要,DeepSeek、昆侖芯內(nèi)部進(jìn)展|產(chǎn)業(yè)家獨家

創(chuàng)新不能被計劃,著眼當(dāng)下

 

交流紀(jì)要,DeepSeek、昆侖芯內(nèi)部進(jìn)展|產(chǎn)業(yè)家獨家

關(guān)于DeepSeek,百度智能云怎么看?

作者| 吳銘

出品|產(chǎn)業(yè)家

問:伴隨著DeepSeek的出現(xiàn),外界對咱們百度也有一些討論。想聊下目前百度智能云在部署適配方面有哪些最新動作?效果如何?

答:首先DeepSeek的爆火給AI行業(yè)注入了一股全新的活力,其實相較于外界的討論,我們更首要關(guān)注的是如何讓企業(yè)快速使用上優(yōu)質(zhì)模型去開發(fā)自身的應(yīng)用,千帆大模型平臺在近期上架了DeepSeek-R1和DeepSeek-V3模型,并同步推出了行業(yè)領(lǐng)先的超低價格方案。在整體部署適配過程中我們也結(jié)合百度智能云的優(yōu)勢去做了3個關(guān)鍵動作,在保證模型效果的同時進(jìn)一步降低使用成本以及使用門檻:

 

第一個,在算力層面,目前百度智能云成功點亮了昆侖芯P800萬卡集群,我們也基于百舸算力平臺適配了國產(chǎn)化P800芯片,來提供整個模型推理服務(wù),為DeepSeek提供優(yōu)質(zhì)且適配性強(qiáng)的環(huán)境,使模型發(fā)揮出更高的性能。同時,百度百舸基于昆侖芯P800,發(fā)布部署?“滿血版?DeepSeek R1 +?聯(lián)網(wǎng)搜索”?服務(wù),通過聯(lián)網(wǎng)搜索功能,將最新的互聯(lián)網(wǎng)數(shù)據(jù)融入答案生成,為企業(yè)提供更及時、準(zhǔn)確的信息支持。

 

第二個,在平臺層面,我們基于DeepSeek做了千帆大模型平臺工程架構(gòu)的優(yōu)化,通過自身在大模型推理性能優(yōu)化方向的技術(shù)積累,針對DeepSeek模型進(jìn)行了極致的性能優(yōu)化,比如通過高效的PD分離式推理架構(gòu),實現(xiàn)模型吞吐的大幅度提升,進(jìn)而顯著降低模型推理成本。

 

我們?yōu)橛羞M(jìn)一步應(yīng)用需求的企業(yè),千帆ModelBuilder提供基于模型開發(fā)工具鏈進(jìn)行一鍵部署、蒸餾這樣的能力,能讓企業(yè)客戶更好的將DeepSeek用起來,完成特定模型需求的再開發(fā);千帆AppBuilder全面接入DeepSeek模型,具備百度AI搜索及其他組件能力,還有更多RAG、Agent、工作流工具助力大模型應(yīng)用搭建。

 

千帆大模型平臺作為企業(yè)級一站式大模型與AI原生應(yīng)用開發(fā)及服務(wù)平臺,我們很高興可以看到像DeepSeek這樣擁有優(yōu)質(zhì)效果的國產(chǎn)模型出現(xiàn),來帶動國內(nèi)對于大模型的應(yīng)用,那自千帆上線R1和V3后首日就吸引超過1.5萬家客戶調(diào)用,這個客戶量還在不斷增長,我們也期待可以給更多企業(yè)高性能低成本模型的更好體驗,千帆也會為更多諸如DeepSeek這樣的優(yōu)質(zhì)模型提供優(yōu)質(zhì)土壤,帶來增益賦能。

 

第三個,在應(yīng)用層面,百度智能云旗下客悅、曦靈、一見、甄知四款大模型應(yīng)用產(chǎn)品,也正式上線接入DeepSeek模型的新版本,為企業(yè)智能外呼、數(shù)字人視頻腳本生成、視覺智能分析、知識管理等高價值業(yè)務(wù)場景,提供更加豐富的AI大模型應(yīng)用選擇,滿足用戶多元化落地需求。

 

同時,百度智能云正加速推進(jìn)金融、交通、政務(wù)、汽車、醫(yī)療、工業(yè)等行業(yè)應(yīng)用產(chǎn)品與DeepSeek模型的適配驗證工作,積極探索大模型在智能問數(shù)、公文寫作、理財助手、合規(guī)管理、醫(yī)療輔診等行業(yè)垂直業(yè)務(wù)場景中的能力拓展與應(yīng)用進(jìn)化。

問:隨著國產(chǎn)大模型的興起,萬卡集群已從單純算力供給逐漸向“有效”算力供給過渡,百度智能云在國產(chǎn)算力的構(gòu)建上有什么規(guī)劃?這些規(guī)劃實現(xiàn)起來對百度而言難度大嗎?(硬件、軟件都可以聊聊)

 

答:難度肯定是有的,但我們也在持續(xù)深耕算力基礎(chǔ)設(shè)施的建設(shè)。比如,最近百度智能云已經(jīng)成功點亮國產(chǎn)昆侖芯萬卡集群,未來還將進(jìn)行三萬卡集群的建設(shè),在這個過程中,從硬件到軟件,技術(shù)挑戰(zhàn)是全方位的。而24年9月升級的百度百舸AI異構(gòu)計算平臺4.0,圍繞落地大模型全旅程的算力需求,在集群創(chuàng)建、開發(fā)實驗、模型訓(xùn)練、模型推理四大方面,能為企業(yè)提供“多、快、穩(wěn)、省”的AI基礎(chǔ)設(shè)施,在萬卡集群的建設(shè)中發(fā)揮了至關(guān)重要的作用。

 

首先,突破硬件擴(kuò)展性瓶頸,如卡間互聯(lián)的拓?fù)湎拗?,避免通信帶寬成為瓶頸;同時,圍繞芯片及集群功耗,基于萬卡規(guī)模常規(guī)方案功耗可達(dá)十兆瓦或更高,采用創(chuàng)新性散熱方案,從而解決萬卡集群的能效與散熱問題;完善模型的分布式訓(xùn)練優(yōu)化,采用高效并行化任務(wù)切分策略,訓(xùn)練主流開源模型的集群MFU提升至58%;在提升穩(wěn)定性方面,提供容錯與穩(wěn)定性機(jī)制,避免由于單卡故障率隨規(guī)模指數(shù)上升而造成的萬卡集群有效性大幅下降,保障有效訓(xùn)練率達(dá)到98%;最后,針對機(jī)間通信帶寬需求,建設(shè)超大規(guī)模HPN高性能網(wǎng)絡(luò),優(yōu)化拓?fù)浣Y(jié)構(gòu),從而降低通信瓶頸,帶寬有效性達(dá)到90%以上。

 

昆侖芯作為百度自研的AI芯片,憑借其獨特的技術(shù)優(yōu)勢,在百舸4.0的能力加持下,在生成式人工智能時代展現(xiàn)出了巨大的競爭力。未來一年,將是各種AI原生應(yīng)用爆發(fā)的黃金時期。自研芯片和萬卡集群的建成帶來了強(qiáng)大的算力支持,同時有效提升百度和客戶的資源整體利用率,降低大模型訓(xùn)練成本,推動了模型降本的趨勢,為整個行業(yè)提供了新的思路和方向。

 

除此之外,百度智能云也提供百舸DeepSeek一體機(jī)、千帆DeepSeek一體機(jī),國產(chǎn)首個單機(jī)8卡支持DeepSeek滿血版和蒸餾版模型,實現(xiàn)模型的本地化開箱即用。

問:最近,我們也看到一個新的現(xiàn)象,百度智能云針對此次DeepSeek模型上線提供了超低推理價格,低至DeepSeek官方刊例價3-5折,這背后是由于什么樣的技術(shù)驅(qū)動的?是新一輪的價格戰(zhàn)打響了嗎?

答:真正的低價都是由技術(shù)驅(qū)動的。在看到的這個新價格背后,對應(yīng)的是百度智能云在推理引擎性能優(yōu)化技術(shù)、推理服務(wù)工程架構(gòu)創(chuàng)新以及推理服務(wù)全鏈路安全保障上的深度融合。百度智能云千帆ModelBuilder始終致力于為用戶提供全流程、一站式的?AI?服務(wù),除了強(qiáng)大的模型資源,還匹配了完善的一站式模型效果調(diào)優(yōu)工具鏈,包含數(shù)據(jù)加工、模型精調(diào)、模型評估、模型量化等關(guān)鍵環(huán)節(jié),助力企業(yè)根據(jù)自身業(yè)務(wù)需求深度優(yōu)化模型性能。同時,百度智能云千帆ModelBuilder具備卓越的模型推理托管能力,支持vLLM、LMDeploy、TensorRT-LLM、SGLang等各類主流推理框架,還支持模型的自定義導(dǎo)入與部署,為開發(fā)者提供了高度靈活的開發(fā)環(huán)境。

 

(1)推理引擎性能優(yōu)化技術(shù)

 

基于百度智能云在大模型推理性能優(yōu)化方向的技術(shù)積累,針對DeepSeek模型MLA結(jié)構(gòu)的計算進(jìn)行了極致的性能優(yōu)化,并通過計算、通信、內(nèi)存不同資源類型算子的有效重疊及高效的Prefill/Decode分離式推理架構(gòu)等,在核心延遲指標(biāo)TTFT/TPOT滿足SLA的條件下,實現(xiàn)模型吞吐的大幅度提升,進(jìn)而顯著降低模型推理成本。

 

(2)推理服務(wù)的工程架構(gòu)創(chuàng)新

 

在推理服務(wù)層面,進(jìn)行了深入的優(yōu)化與創(chuàng)新。針對推理架構(gòu),做了嚴(yán)格的推/拉模式的性能對比。經(jīng)驗證拉模式在請求處理的成功率、響應(yīng)延時以及吞吐量等關(guān)鍵指標(biāo)上均展現(xiàn)出更為卓越的性能。為了進(jìn)一步提升系統(tǒng)的穩(wěn)定性和用戶體驗,巧妙地設(shè)計了一種請求失敗的續(xù)推機(jī)制,這顯著增強(qiáng)了系統(tǒng)的容錯能力和服務(wù)SLA達(dá)標(biāo)率。同時針對多輪對話和system設(shè)定等場景中存在重復(fù)Prompt前綴的情況,實現(xiàn)了主流的KV-Cache復(fù)用技術(shù),并輔以全局Cache感知的流量調(diào)度策略。這一舉措有效避免了Token KV的重復(fù)計算,從而大幅降低推理延遲,提高了推理吞吐。

 

(3)推理服務(wù)的穩(wěn)定安全保障

 

千帆平臺基于百度自身長期的大模型安全技術(shù)積累,集成獨家內(nèi)容安全算子,實現(xiàn)模型安全增強(qiáng)與企業(yè)級高可用保障,基于大模型全生命周期數(shù)據(jù)安全與模型保護(hù)機(jī)制,在千帆平臺上的模型均擁有使用安全的安全保障;基于在安全方面的專項優(yōu)化,確保DeepSeek-R1&DeepSeek-V3模型,企業(yè)用戶在使用過程也具有更高的安全性。

問:現(xiàn)在不少企業(yè)會選擇直接通過模型API的方式來接入DeepSeek,想問下通過云平臺來調(diào)用新模型,為各行業(yè)應(yīng)用普及AI有怎樣的不同和優(yōu)勢?

 

答:通過云服務(wù)平臺來調(diào)用模型,我們覺得主要是從三個方面去滲透以及普及行業(yè)的,云平臺的核心為降低成本、提升大模型落地易用性以及助力企業(yè)更好地構(gòu)建AI原生應(yīng)用,通過云平臺提供的便捷的工具型服務(wù),企業(yè)能更聚焦在自身的業(yè)務(wù)發(fā)展。

 

首先我們覺得推動行業(yè)應(yīng)用普及最關(guān)鍵的就是降低成本,那以往企業(yè)引入?AI?需投入大量資金購買和維護(hù)硬件設(shè)備,而云平臺可以通過提供彈性計算資源,從“購買”到“租賃”,企業(yè)按需租用付費,在避免資源浪費同時,大大降低了AI應(yīng)用的初始成本。

 

其次,云平臺的另一個重要優(yōu)勢就是它具備很強(qiáng)的易用性,這對于各行業(yè)應(yīng)用?AI?起到了極大的推動作用。云平臺需要配備各種各樣豐富且實用的工具鏈,比如精調(diào)工具鏈、數(shù)據(jù)工具鏈、壓縮工具鏈等等,能夠幫助企業(yè)更好地構(gòu)建數(shù)據(jù)飛輪,實現(xiàn)模型效果的不斷迭代,更好的賦能應(yīng)用。那與此同時,平臺提供的工具鏈也要適配各種模型,企業(yè)隨時可以切換模型并且更快速便捷的用上效果更好的模型;以上兩點目前我們的千帆ModelBuilder也都提供了這樣高效便捷的工具鏈服務(wù)。

 

那最后,各行業(yè)AI的使用探索其實基于原生應(yīng)用的構(gòu)建。云平臺上面提供的多樣化組件及應(yīng)用開發(fā)的能力降低了AI原生應(yīng)用的構(gòu)建門檻,也為行業(yè)內(nèi)的應(yīng)用場景和商業(yè)模式帶來了更多創(chuàng)新可能。千帆AppBuilder也是這樣的一站式模型應(yīng)用開發(fā)平臺,高效、低門檻解決大模型應(yīng)用落地最后一公里問題。

 

有了應(yīng)用后,云平臺提供的完善日志分析及告警系統(tǒng),也確保了企業(yè)AI應(yīng)用的穩(wěn)定性,同時云平臺具備完善的模型安全以及高可用保障措施,提供模型使用的全方位安全保障。

 

所以整體從構(gòu)建、到運行,云平臺為企業(yè)在模型使用上提供了全流程保障,降本增效的同時也讓企業(yè)聚焦自身業(yè)務(wù),更好的推動整個AI行業(yè)的發(fā)展。

問:作為一家出身創(chuàng)業(yè)公司的產(chǎn)品,DeepSeek這次爆火,在百度看來,它的出現(xiàn)有出乎咱們的意料嗎?咱們百度對待這次“爆火”內(nèi)部的態(tài)度是怎么樣的?

 

答:創(chuàng)新是不能被計劃的。你不知道創(chuàng)新何時何地到來,你所能做的是,營造一個有利于創(chuàng)新的環(huán)境。我們生活在一個非常激動人心的時代。在過去,當(dāng)我們談?wù)撃柖蓵r說,每18個月性能會翻倍、成本會減半;但今天,當(dāng)我們談?wù)摯笳Z言模型時,可以說每12個月,推理成本就可以降低90%以上。這比我們過去幾十年經(jīng)歷的計算機(jī)革命要快得多。大語言模型是一個非常龐大的領(lǐng)域。在中國,我們必須在推理和訓(xùn)練方面創(chuàng)新以降低成本。幸運的是,過去一年,我們看到了顯著進(jìn)步。

 

百度的技術(shù)背景是搜索引擎,它天然接近大語言模型,所以我們在2023年3月就推出了文心一言,我們也是上市公司中第一個推出類ChatGPT應(yīng)用的。谷歌后來推出了Bard,并將其更名為Gemini。正如我們今天所知。這是一個非常激動人心的時刻,我們到處都能看到創(chuàng)新,我們必須適應(yīng)這種快速變化的創(chuàng)新。

問:我們也觀察到,伴隨DeepSeek的爆火,全球許多大型芯片廠商和許多大型交易所的股價大幅下跌。原因是之前有令人瞠目結(jié)舌的數(shù)十億美元被投資于推理數(shù)據(jù)中心、訓(xùn)練這些人工智能系統(tǒng)和模型,伴隨著DeepSeek的出現(xiàn)市場不少人開始“看衰”這類投資,咱們百度對此怎么看?對于數(shù)據(jù)中心和AI基礎(chǔ)設(shè)施的未來咱們的理解是怎樣的?

 

答:從基本面來看,最重要的主題仍然是技術(shù)進(jìn)步非常快,成本每年降低約90%,性能越來越好。當(dāng)技術(shù)發(fā)展如此之快,你無法停止投入。你必須投入,以確保處于這場技術(shù)創(chuàng)新或革命的最前沿。我們?nèi)孕鑼π酒?、?shù)據(jù)中心和云基礎(chǔ)設(shè)施進(jìn)行持續(xù)投入,用于打造更好、更智能的下一代模型。

 

為此,需要使用更多的算力來嘗試不同的路徑。也許,在某個時刻你會找到一條捷徑,比如說只需600萬美元就能訓(xùn)練出一個模型,但在此之前,你可能已經(jīng)花費了數(shù)十億美元,用來探索哪條路才是花費這600萬美元的正確途徑。

 

我們對人工智能的未來持樂觀態(tài)度。我們認(rèn)為,即使在當(dāng)前水平下,大語言模型也已經(jīng)在各種場景中創(chuàng)造大量價值。我們有數(shù)十萬客戶在使用大模型提高招聘、電子商務(wù)、醫(yī)療保健甚至能源、電力等領(lǐng)域的效率。

 

我們已經(jīng)看到了很多這樣的應(yīng)用案例。在過去,他們可能需要花費不到1萬美元來實現(xiàn)某些目標(biāo),而使用大型語言模型后,只需花費大約1000美元。所以,這已經(jīng)為他們創(chuàng)造了價值。

問:拋開外界的聲音,想正式了解下,此次DeepSeek-R1的發(fā)布及開源,對百度智能云業(yè)務(wù)有什么影響?

 

答:DeepSeek R1發(fā)布及開源,推動應(yīng)用爆發(fā)、帶動算力增加,最利好百度智能云。

 

1、首先產(chǎn)品上DeepSeek降低大模型應(yīng)用門檻,快速普及推動應(yīng)用落地更早,帶動算力增加;百度智能云在GPU時代更有優(yōu)勢地位。

 

a、全棧AI技術(shù)能力,尤其是近期點亮的昆侖芯萬卡集群:獨有的四層架構(gòu),實現(xiàn)從云基礎(chǔ)設(shè)施、框架、模型到應(yīng)用端到端優(yōu)化;

 

b、2025年2月5日,百度智能云成功點亮昆侖芯三代萬卡集群,是國內(nèi)首個正式點亮的自研萬卡集群,并將進(jìn)一步點亮?3?萬卡集群。

 

c、百舸產(chǎn)品提供穩(wěn)定、極速、高效的算力平臺,極速滿足客戶全旅程算力需求,10萬卡時代企業(yè)保持領(lǐng)先的第一選擇。

 

d、領(lǐng)先的千帆大模型平臺:支持國內(nèi)外各種主流模型+豐富工具鏈,近期接入DeepSeek后首日調(diào)用客戶就多達(dá)1.5萬家,價格全行業(yè)最低;

 

2、商業(yè)化:百度智能云具備廣泛的市場認(rèn)可,GPU云優(yōu)勢帶動商業(yè)化進(jìn)展快速

 

a、中國最大的大模型產(chǎn)業(yè)落地規(guī)模,超60%以上的央企及大量民營企業(yè)使用,2024年大模型中標(biāo)第一(從中標(biāo)廠商看,百度智能云在中標(biāo)項目數(shù)、行業(yè)覆蓋數(shù)、央企中標(biāo)項目數(shù)這三個維度里均為第一。從行業(yè)分布看,百度智能云在能源、政務(wù)、金融這三個行業(yè)的中標(biāo)項目數(shù)位于所有廠商第一。)

 

b、2025年1月份,百度中標(biāo)項目和中標(biāo)金額雙第一

本文來自投稿,不代表增長黑客立場,如若轉(zhuǎn)載,請注明出處:http://m.allfloridahomeinspectors.com/cgo/coo/131229.html

(0)
打賞 微信掃一掃 微信掃一掃 支付寶掃一掃 支付寶掃一掃
上一篇 2025-02-21 11:52
下一篇 2025-02-21 13:32

增長黑客Growthhk.cn薦讀更多>>

發(fā)表回復(fù)

登錄后才能評論