騰訊燈塔DataTalk——如同樂高，這是一個開放/自由的數(shù)據(jù)可視化世界

從DataTalk的名字就可以看出，用數(shù)據(jù)(data)去對話(talk)。數(shù)據(jù)驅(qū)動決策的理念已經(jīng)在不斷地深入人心，目前商業(yè)領(lǐng)域由數(shù)據(jù)驅(qū)動的程度與日俱增。小型和大型企業(yè)都利用數(shù)據(jù)來做出與銷售、招聘、目標以及他們擁有數(shù)據(jù)的所有領(lǐng)域相關(guān)的決策。盡管大多數(shù)企業(yè)都能訪問某種類型的數(shù)據(jù)，但在沒有數(shù)據(jù)分析或統(tǒng)計學(xué)背景知識的情況下，嘗試理解這些數(shù)據(jù)非常困難。

即便你確實了解數(shù)據(jù)，但以易于理解的方式展示數(shù)據(jù)并將其傳達給其他相關(guān)人員可能是一項巨大的挑戰(zhàn)。DataTalk 消除了數(shù)據(jù)分析和可視化過程中的困擾和麻煩。通過連接到不同的數(shù)據(jù)源，并使用安全、易于理解的界面，你可以快速輕松地與數(shù)據(jù)進行交互并理解數(shù)據(jù)，從而影響所有業(yè)務(wù)系統(tǒng)。

所以DataTalk是一款面向不同用戶角色、支持多種數(shù)據(jù)源、面向開放式的、自由的數(shù)據(jù)可視化平臺。

這個時候可能有同學(xué)會說，又造了個輪子，且慢，請先繼續(xù)看下面【我們的差異化、決心和信念】

從上圖也可以看到，我們站在巨人肩膀上取經(jīng)學(xué)習(xí)(羅盤、彩虹、show等平臺的經(jīng)驗)，考慮到了不同的用戶角色（例如：Twitter的早期大數(shù)據(jù)平臺架構(gòu)中，Tableau是供有統(tǒng)計學(xué)背景的分析師使用的，其自研的Birdbrain也可以確保從老板到銷售的不同角色均可使用。我們在DataTalk中也同時提供了簡易、高級兩種不同的模式，去滿足不同用戶角色的需求），支持連接不同的數(shù)據(jù)源，面向多端的場景，提供豐富的功能，以開放自由的思路去構(gòu)建。

熟悉燈塔分析(DataInsight)的小伙伴，這時可能會問，這二者又有何區(qū)別？DataInsight專注的是BI，包含著強大的融合分析引擎，擁有著諸多的分析模型，面對更多的是分析的場景。作為DataInsight的兄弟DataTalk，傳承著兄長的基因，又開疆拓土，提供更開放，更自由地構(gòu)建個性化的數(shù)據(jù)應(yīng)用能力。

多端應(yīng)用場景

通過DataTalk構(gòu)建的大屏、PC端、移動端場景應(yīng)用：（以下截圖數(shù)據(jù)來源于DEMO模擬數(shù)據(jù)，僅供參考）

【 直播活動實時數(shù)據(jù)看板「監(jiān)控大屏DEMO」 】

【實時看板「PC端DEMO」】

【會員業(yè)務(wù)收入看板「監(jiān)控大屏DEMO」】

【 人力資源月度報告「數(shù)據(jù)報表DEMO」 】

【業(yè)務(wù)周報「移動端DEMO」】

【產(chǎn)品月度使用小結(jié)「移動端DEMO」】

如上圖所見，通過DataTalk我們可以同時構(gòu)建PC端、移動端、大屏等多端的可視化數(shù)據(jù)應(yīng)用報表。在構(gòu)建PC端報表之后，只需要點擊適配，再簡單拖拽一下位置和大小就能在移動端達到想要的效果。

用戶體驗的打磨我們是高度重視的。

開放的數(shù)據(jù)源連接

我們目前支持的不同種類的數(shù)據(jù)源，可直連業(yè)務(wù)DB，燈塔分析轉(zhuǎn)存，以及各種數(shù)據(jù)庫和強大的燈塔融合計算引擎，本地文檔，騰訊文檔和OpenAPI等等，另外在后面也可以隨時、快速增加更多的數(shù)據(jù)源類型。

下面一起來看我們的數(shù)據(jù)請求流程：

開放豐富的組件

DataTalk中可以劃分出六大類基礎(chǔ)組件、以及提供多種主題、多種布局組件：

多種類別的組件

多種主題和布局

PS：更多的布局效果持續(xù)更新。

大家是否注意到上面的DIY圖表和開放擴展組件？其實理論上這里是可以無限擴展的，我們下面詳細介紹一下：

DIY圖表組件

究竟什么是DIY圖表組件呢？雖然我們上面提供了N種圖形，但實際的業(yè)務(wù)場景千變?nèi)f化，如果上面都無法滿足需求怎么辦？如何快速去完成一個心儀的圖形呢？

可以思考一下，一個圖表組件最重要的其實就兩點：

① 數(shù)據(jù)：數(shù)據(jù)可以通過DataTalk中的各類模型直接查詢出：拖拽查詢，手寫SQL查詢，業(yè)務(wù)API查詢等，最終得到一份Dataset數(shù)據(jù)。

② 圖形渲染：通過在線編碼的形式，給到用戶Dataset數(shù)據(jù)，再結(jié)合想要圖形的option結(jié)構(gòu)（Echarts），編寫一些數(shù)據(jù)轉(zhuǎn)換函數(shù)即可，因為不同的Echarts圖形所需要的數(shù)據(jù)結(jié)構(gòu)是不同的，又要滿足不同的個性化需求，因此這里讓用戶手動寫渲染函數(shù)。

說人話：拿到數(shù)據(jù)后(DataTalk幫你查詢了)，根據(jù)想要的圖形的數(shù)據(jù)結(jié)構(gòu)，寫數(shù)據(jù)轉(zhuǎn)換函數(shù)去適配即可。

其實這里也不一定非要前端同學(xué)寫，很多研發(fā)同學(xué)都可以很快上手，在DataTalk實際業(yè)務(wù)中也有很多大牛運營和產(chǎn)品、設(shè)計同學(xué)自己寫出精美的報表。

DIY圖形組件，我們也叫做CharCode組件，下面是原型：

流程和結(jié)構(gòu)：

實際的效果：

熟悉Echarts同學(xué)一看便知，其實就是我們查詢數(shù)據(jù)后，轉(zhuǎn)換成我們想要的option即可，所以只要你想要的圖形，理論上都可以在線完成(我們也會根據(jù)數(shù)據(jù)去分析用戶常用的圖形有哪些，根據(jù)數(shù)據(jù)去驅(qū)動，直接固化到我們的圖形組件中)。

自定義組件

上面提供了自定義圖表組件的能力，還不夠怎么辦，用戶擁有代碼能力，同時又很有創(chuàng)意，DataTalk又沒提供相應(yīng)的內(nèi)容怎么辦？我們通過【代碼組件】滿足您的需求！

在其中提供了一款WebIDE，支持在線編寫Vue template代碼，JS代碼，CSS代碼，支持在線調(diào)試等功能。開發(fā)者就可以基于它寫出自己想要的任意組件了。

我們不進行過多的封裝，我們只做代碼的搬運工

下面這張圖就是使用我們的【代碼組件】結(jié)合Ant Design Vue組件庫構(gòu)建的自定義組件，并且這里支持解析數(shù)據(jù)變量，這樣我們從拖拽分析模型，API模型，SQL模型等查出來的數(shù)據(jù)再結(jié)合這里，就可以打造出自己想要的前端組件了。

因此這里能影響我們的應(yīng)該只有創(chuàng)意了（當然我們還需要不斷迭代和優(yōu)化，虛心接受各方建議）。

開放擴展組建

如果以上類別還無法滿足您的訴求，沒關(guān)系，直接和我們一起共建開發(fā)吧，這里您無需了解DataTalk的復(fù)雜業(yè)務(wù)邏輯，我們完全抽象處理出組件內(nèi)容，只需要關(guān)心組件本身即可。

舉兩個例子：我們集成的cherryMarkdown和http://Draw.IO組件

其實在新增這類組件的時候，我們已經(jīng)將組件的邏輯完全抽象獨立出來了，開發(fā)者完全不需要關(guān)心畫布，拖拽，數(shù)據(jù)的獲取等復(fù)雜的業(yè)務(wù)邏輯，而更多關(guān)心組件本身，按照我們的組件結(jié)構(gòu)（展示、編輯、配置）去開發(fā)即可。

再舉個例子：

我們的可視化圖形也是基于公司oteam tvision構(gòu)建，tvision也致力于打造公司級的可視化項目。DataTalk很多圖形都出自于oteam同學(xué)的創(chuàng)作。

更多開放計劃

我們不滿足于此，目前正在更多地投入在DataTalk的組件開放能力建設(shè)中，后面我們會：

構(gòu)建DataTalk的SDK，推出DataTalk的NPM包，支持在外部系統(tǒng)嵌入dashboard和圖卡。

建設(shè)組件市場，讓更多用戶所編寫的創(chuàng)意組件沉淀下來，讓更多的同學(xué)可以使用。

Dashboard配置

下面是配置一張報表中的圖卡流程：

畫布

根據(jù)對比和調(diào)查發(fā)現(xiàn)，目前普遍為兩大類型畫布：自由畫布和柵格畫布，對比如下：

我們思來想去發(fā)現(xiàn)，大家都是成年人，兩個都要吧~

因此，DataTalk集成了【柵格畫布】和【自由畫布】兩套布局方式的畫布供大家選擇。

數(shù)據(jù)驅(qū)動UI

每一個數(shù)據(jù)應(yīng)用都由一張張數(shù)據(jù)看板組合而成，每一個數(shù)據(jù)看板，都是由一張張數(shù)據(jù)圖卡組合而成。而每張圖卡的數(shù)據(jù)可能來源于不同的指標和維度，也可能來自于不同的數(shù)據(jù)源。然而真實的業(yè)務(wù)場景會存在全局篩選過濾、局部過濾、數(shù)據(jù)下鉆、數(shù)據(jù)聯(lián)動等功能，而這些數(shù)據(jù)之間的交互在DataTalk中是通過【變量】去實現(xiàn)。

變量類型

枚舉變量

拖拽分析變量

通過拖拽指標、維度等條件，去DB中查詢數(shù)據(jù)后，存儲為變量。

并且支持對查詢結(jié)果通過JS的方式，進行二次加工處理，比如取得數(shù)據(jù)集合中第一行中的ds字段。

SQL變量

熟悉SQL的同學(xué)直接可以手寫SQL查出想要的數(shù)據(jù)，同時也支持使用JS對于結(jié)果集的后置計算。

PS：我們支持一鍵生成SQL

API變量

DataTalk支持任意API作為我們的數(shù)據(jù)源，因此這里只需要選擇對應(yīng)的API，輸入API所需要的查詢參數(shù)即可，同時也支持使用JS對于結(jié)果集的后置計算 。

函數(shù)變量

通過JS支持任意的組合，比如將各類不同的變量進行二次組合，或者通過JS取得一些URL參數(shù)等等。

變量的結(jié)構(gòu)和流程如下：

聯(lián)動和下鉆

推送

配置好的報表肯定需要定期的推送能力，在DataTalk中我們支持郵箱、企業(yè)微信、企業(yè)微信群等渠道進行推送配置。這里我們推送到郵箱是以截圖形式進行，那么截圖服務(wù)是基于puppeteer進行，后期也將整個截圖服務(wù)基于騰訊云ServerLess，使用FaaS進行了改造，并成為了組內(nèi)公共模塊，目前燈塔分析的推送截圖也是基于此。

我們也擁有實體表格(html)的推送，而非截圖的形態(tài)，滿足更多的用戶訴求，同時也在和企微Bot進行合作，在辦公協(xié)同這一塊不斷推進中，下面是我們的推送截圖服務(wù)和faas的改造流程：

下面是推送配置界面：

推送到企業(yè)微信中時，我們是支持根據(jù)變量獲取到實時數(shù)據(jù)的，下面就是通過OpenAPI作為數(shù)據(jù)源，將信息推送到企業(yè)微信的：

查詢和緩存

查詢流程

整個DataTalk報表的查詢流程如下：

我們以DataTalk中的拖拽分析模型為例來看下分析模型的架構(gòu)形態(tài)：

整體的結(jié)構(gòu)如下：

緩存和預(yù)刷

通過用戶的訪問行為和自動化配置在puppeteer進行預(yù)刷，提升查詢體驗。

DataTalk的建設(shè)我們還有很長的路要走，同時也一直虛心接受各種建議，不斷地優(yōu)化和打磨中，歡迎大家一起交流~了解更多，歡迎關(guān)注「騰訊燈塔」公眾號，有產(chǎn)品體驗、服務(wù)咨詢等其他需求，歡迎私信我們！

讓數(shù)據(jù)驅(qū)動為企業(yè)增長決策指引方向

燈塔是騰訊大數(shù)據(jù)平臺傾力打造的“一站式敏捷分析”平臺，借助大數(shù)據(jù)套件及各類型原子能力，為企業(yè)發(fā)展和增長提供：從“數(shù)據(jù)上報、接入，到自定義萬億級實時數(shù)據(jù)分析，再到數(shù)據(jù)行動、數(shù)據(jù)可視化”的全鏈路數(shù)據(jù)解決方案。