為了構(gòu)建更為完整的物聯(lián)網(wǎng)大數(shù)據(jù)處理生態(tài)，支持簡(jiǎn)單高效地從其他時(shí)序數(shù)據(jù)庫(kù)遷移到TDengine，濤思數(shù)據(jù)研發(fā)并正式發(fā)布了taosAdapter。

 

TDengine是濤思數(shù)據(jù)專(zhuān)為物聯(lián)網(wǎng)、車(chē)聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)、IT運(yùn)維等設(shè)計(jì)和優(yōu)化的大數(shù)據(jù)平臺(tái)。除核心的快10倍以上的時(shí)序數(shù)據(jù)庫(kù)功能外，還提供緩存、數(shù)據(jù)訂閱、流式計(jì)算等功能，最大程度減少研發(fā)和運(yùn)維的復(fù)雜度，且核心代碼，包括集群功能全部開(kāi)源。自TDengine于2019年7月宣布開(kāi)源以來(lái)，在世界最大的代碼托管平臺(tái)GitHub上已經(jīng)已經(jīng)獲得非常積極的反饋，有17,300多人給了star，4,100多人fork了代碼。越來(lái)越多的用戶(hù)開(kāi)始采用TDengine。

 

TDengine 在 GitHub 上開(kāi)源

taosAdapter是一個(gè)新的獨(dú)立程序，可以包含在TDengine 2.3.0.0及以上版本中。taosAdapter的核心出發(fā)點(diǎn)是解決用戶(hù)的痛點(diǎn)，降低遷移成本。

 

在物聯(lián)網(wǎng)和運(yùn)維監(jiān)控等領(lǐng)域，有些用戶(hù)還在使用傳統(tǒng)解決方案或者比較老的產(chǎn)品解決時(shí)序數(shù)據(jù)處理問(wèn)題，比如OpenTSDB。OpenTSDB也是一款開(kāi)源的分布式時(shí)序數(shù)據(jù)庫(kù)，它沒(méi)有自己的存儲(chǔ)引擎，相關(guān)功能完全基于HBase。因?yàn)楫a(chǎn)生時(shí)間較早，所以很多運(yùn)維監(jiān)控項(xiàng)目選擇了該系統(tǒng)。

 

以某物流科技公司為例，他們采用了OpenTSDB+HBase作為大數(shù)據(jù)監(jiān)控平臺(tái)全量監(jiān)控?cái)?shù)據(jù)的存儲(chǔ)方案。但是隨著該平臺(tái)接入的數(shù)據(jù)量越來(lái)越大，他們遇到了很多痛點(diǎn)，像系統(tǒng)依賴(lài)多、使用成本高和性能不如意等。

 

具體而言：

 

依賴(lài)多，穩(wěn)定性較差 ：大數(shù)據(jù)監(jiān)控平臺(tái)是底層的基礎(chǔ)設(shè)施，在數(shù)據(jù)存儲(chǔ)方面又要依賴(lài)Kafka、Spark和HBase等大數(shù)據(jù)組件。這樣數(shù)據(jù)處理鏈路就會(huì)很長(zhǎng)，而數(shù)據(jù)鏈路越長(zhǎng)，要保證系統(tǒng)的可靠性，挑戰(zhàn)也就越大。如果監(jiān)控系統(tǒng)本身出現(xiàn)問(wèn)題，也就無(wú)從基于它來(lái)發(fā)現(xiàn)和定位業(yè)務(wù)系統(tǒng)的問(wèn)題了。

 

使用成本高 ：監(jiān)控?cái)?shù)據(jù)的寫(xiě)入量非常大，而且為了追溯歷史問(wèn)題，他們需要將全量監(jiān)控?cái)?shù)據(jù)保存半年以上。數(shù)據(jù)存儲(chǔ)成本居高不下。

 

性能不能滿(mǎn)足需求 ：OpenTSDB作為全量監(jiān)控?cái)?shù)據(jù)存儲(chǔ)方案，在寫(xiě)入方面性能基本滿(mǎn)足需求，但是在日常大跨度和高頻次查詢(xún)方面已無(wú)法滿(mǎn)足要求。

 

為了解決這些痛點(diǎn)，當(dāng)時(shí)順豐科技的工程師們認(rèn)為有必要對(duì)全量監(jiān)控?cái)?shù)據(jù)存儲(chǔ)方案進(jìn)行升級(jí)。他們調(diào)研了多款時(shí)序數(shù)據(jù)庫(kù)產(chǎn)品，最終決定選擇TDengine。之后他們基于TDengine對(duì)系統(tǒng)進(jìn)行了改造。改造完成后，TDengine集群輕松扛住了全量監(jiān)控?cái)?shù)據(jù)寫(xiě)入，目前運(yùn)行穩(wěn)定。

 

這次改造帶來(lái)的效果提升非常亮眼：服務(wù)端物理機(jī)由21臺(tái)降至3臺(tái)，每日所需存儲(chǔ)空間同等條件下僅為OpenTSDB+HBase的約1/10，大大降低了硬件成本。在查詢(xún)性能方面，在使用預(yù)計(jì)算函數(shù)情況下，查詢(xún)p99都在0.7秒以?xún)?nèi)，已經(jīng)能夠滿(mǎn)足日常絕大部分查詢(xún)需求;在做大跨度(6個(gè)月)非預(yù)計(jì)算查詢(xún)情況下，首次查詢(xún)耗時(shí)在10秒左右，后續(xù)類(lèi)似查詢(xún)耗時(shí)會(huì)有大幅下降(2-3s)。

 

某物聯(lián)網(wǎng)平臺(tái)也遇到了類(lèi)似問(wèn)題，他們之前采用OpenTSDB存儲(chǔ)時(shí)序數(shù)據(jù)，功能上是能夠滿(mǎn)足需求的;但是由于OpenTSDB架構(gòu)復(fù)雜，體量過(guò)重，給開(kāi)發(fā)測(cè)試、安裝部署以及運(yùn)維管理等工作帶來(lái)了不小的麻煩，隨著業(yè)務(wù)規(guī)模的發(fā)展，問(wèn)題愈發(fā)嚴(yán)重。同樣在經(jīng)過(guò)調(diào)研之后，他們也選擇了TDengine。在升級(jí)改造的過(guò)程中，他們需要保留歷史數(shù)據(jù)，所以需要將歷史數(shù)據(jù)從OpenTSDB遷移到TDengine。為此他們還專(zhuān)門(mén)開(kāi)發(fā)了一個(gè)數(shù)據(jù)遷移工具，并進(jìn)行了詳盡的測(cè)試。

 

用戶(hù)的需求就是產(chǎn)品演進(jìn)的動(dòng)力。TDengine的研發(fā)團(tuán)隊(duì)開(kāi)始思考這個(gè)問(wèn)題：既然很多用戶(hù)都有這種遷移需求，那是不是可以官方給出一個(gè)統(tǒng)一的解決方案呢?

 

taosAdapter就是他們的答案。taosAdapter主要有以下功能：

 

RESTful接口

 

兼容InfluxDB v1 write接口

 

兼容OpenTSDB JSON和Telnet格式寫(xiě)入

 

無(wú)縫連接Telegraf、collectd、StatsD、Icinga、TCollector

 

它能夠兼容OpenTSDB的Telnet/JSON寫(xiě)入?yún)f(xié)議，對(duì)于運(yùn)維監(jiān)控類(lèi)業(yè)務(wù)，用戶(hù)可以將collectd和StatsD收集的數(shù)據(jù)通過(guò)taosAdapter直接推送到TDengine。在數(shù)據(jù)能夠正常寫(xiě)入TDengine后，可以調(diào)整適配Grafana，將寫(xiě)入TDengine的數(shù)據(jù)以可視化方式呈現(xiàn)出來(lái)。TDengine也為Grafana提供了連接插件。如果要遷移歷史數(shù)據(jù)，濤思數(shù)據(jù)還開(kāi)發(fā)了數(shù)據(jù)同步工具DataX的插件，能夠幫助用戶(hù)將數(shù)據(jù)自動(dòng)寫(xiě)入到TDengine中。用戶(hù)無(wú)需修改任何一行代碼，只需要改幾個(gè)配置，即可無(wú)縫遷移。

 

下一步，taosAdapter也將繼續(xù)完善，支持從更多平臺(tái)向TDengine遷移。

(新媒體責(zé)編：zpl05)