近年來，電子支付業(yè)務(wù)在全球蓬勃發(fā)展。電子支付已成為人們金融生活中占有重要地位的金融形勢。易寶支付與支付寶，財付通一樣，是中國領(lǐng)先的獨立第三方支付平臺。對于第三方支付公司要注重數(shù)據(jù)庫的穩(wěn)定性、安全性和高可用性。還要完美支持海量支付交易需求。如何保證數(shù)據(jù)研發(fā)、數(shù)據(jù)科學(xué)類的產(chǎn)品高效產(chǎn)出，這也是需要解決大多數(shù)計算邏輯清晰的產(chǎn)品底層技術(shù)實施。針對SQL成為數(shù)據(jù)工程與數(shù)據(jù)科學(xué)領(lǐng)域"瘦身"的問題，與易寶支付相關(guān)技術(shù)人士進行了探討，并做了以下梳理。

SQL優(yōu)化的意義

數(shù)據(jù)庫性能優(yōu)化是系統(tǒng)生命周期中不可缺少的一環(huán)，我們大多數(shù)的數(shù)據(jù)庫都或多或少遇到一些性能問題。特別是隨著業(yè)務(wù)的發(fā)展、數(shù)據(jù)量的增加、系統(tǒng)用戶數(shù)的增多、以及系統(tǒng)之間越來越復(fù)雜的接口，都會導(dǎo)致系統(tǒng)的性能越來越惡化。怎么樣去優(yōu)化一套數(shù)據(jù)庫，我們需要掌握很多的知識，包括存儲子系統(tǒng)、操作系統(tǒng)、數(shù)據(jù)庫甚至還有業(yè)務(wù)邏輯。很多人面對性能問題不知如何下手。

好在，數(shù)據(jù)庫的性能問題至少有80%以上都是由于SQL性能較差所導(dǎo)致，同時隨著硬件性能的提升和硬件價格越來越便宜，硬件所帶來的系統(tǒng)瓶頸相對越來越小，所以在大多數(shù)情況下，我們優(yōu)化數(shù)據(jù)庫也就是優(yōu)化SQL語句。這意味著只要我們做好了SQL優(yōu)化，我們在大多數(shù)情況下就能保證應(yīng)用系統(tǒng)在數(shù)據(jù)庫端是沒有明顯性能問題的。

SQL--數(shù)據(jù)技術(shù)棧中的"瘦身"

在計算機網(wǎng)路中，有個關(guān)于“細腰”的概念，說的是從底層硬件到頂層軟件的技術(shù)棧中，中間存在各種各樣異構(gòu)的底層網(wǎng)路硬件與頂層軟件。

需要一種可以承上啟下，以不變應(yīng)萬變的東西來屏蔽掉復(fù)雜的網(wǎng)絡(luò)請求，提供一套統(tǒng)一的協(xié)議來確保網(wǎng)絡(luò)之間可以相互連接與通信。

在如下協(xié)議棧中，IP層起到了通用語言的作用，上層協(xié)議“一切基于IP”，下層協(xié)議“IP兼顧一切”。

從 2013 年國內(nèi)的大數(shù)據(jù)元年開始，大數(shù)據(jù)相關(guān)領(lǐng)域爆發(fā)式增長，圍繞 Hadoop 生態(tài)圈的產(chǎn)品越來越多，如分布式存儲層(HDFS)、分布式數(shù)據(jù)庫(HBase, Mongodb, Cassandra等)、計算層中的MapReduce、Spark、Flink、消息總線(如 Kafka)、數(shù)據(jù)應(yīng)用(如報表)、交互式分析即席查詢、數(shù)據(jù)挖掘、可視化工具等等。

在這樣一個各層級有多種技術(shù)選型的復(fù)雜技術(shù)棧中，SQL 已經(jīng)成為一種公共語言，相當(dāng)于數(shù)據(jù)行業(yè)的默認的標準協(xié)議，各個層次各個組件都盡力實現(xiàn)一套近乎支持標準 SQL 語義的 sql layer 層作為對外交互方式。

在數(shù)據(jù)技術(shù)棧中，SQL 起到了通用語言的作用，上層“一切基于 SQL”，下層" SQL 兼顧一切"。

在數(shù)據(jù)產(chǎn)品的設(shè)計中，無論是數(shù)據(jù)工程還是數(shù)據(jù)科學(xué)，無論 UI 做的多靈活自然，你都不可避免的向 SQL 靠近。

數(shù)據(jù)平臺其實是個很大的概念，按照畢馬威的說法，企業(yè)的數(shù)據(jù)平臺等價于信息平臺。涉及數(shù)據(jù)的整合(數(shù)據(jù)清洗加工等)、數(shù)據(jù)治理(數(shù)據(jù)標準等)、數(shù)據(jù)應(yīng)用(數(shù)據(jù)報表、交互式分析、數(shù)據(jù)挖掘、機器學(xué)習(xí)等)、數(shù)據(jù)工程，還包括數(shù)據(jù)科學(xué)。

我們在構(gòu)建一個數(shù)據(jù)平臺的時候，應(yīng)該借鑒前人的經(jīng)驗，少走彎路，需要一套指導(dǎo)手冊起到這樣的"細腰"的作用，比如關(guān)于數(shù)據(jù)工程與數(shù)據(jù)科學(xué)的大作《數(shù)據(jù)即未來》, 一定程度上提供了道、術(shù)、器可被我們借鑒。

(新媒體責(zé)編：shang080503)