近年來，電子支付業(yè)務在全球蓬勃發(fā)展。電子支付已成為人們金融生活中占有重要地位的金融形勢。易寶支付與支付寶，財付通一樣，是中國領先的獨立第三方支付平臺。對于第三方支付公司要注重數(shù)據(jù)庫的穩(wěn)定性、安全性和高可用性。還要完美支持海量支付交易需求。如何保證數(shù)據(jù)研發(fā)、數(shù)據(jù)科學類的產(chǎn)品高效產(chǎn)出，這也是需要解決大多數(shù)計算邏輯清晰的產(chǎn)品底層技術實施。針對SQL成為數(shù)據(jù)工程與數(shù)據(jù)科學領域"瘦身"的問題，與易寶支付相關技術人士進行了探討，并做了以下梳理。

SQL優(yōu)化的意義

數(shù)據(jù)庫性能優(yōu)化是系統(tǒng)生命周期中不可缺少的一環(huán)，我們大多數(shù)的數(shù)據(jù)庫都或多或少遇到一些性能問題。特別是隨著業(yè)務的發(fā)展、數(shù)據(jù)量的增加、系統(tǒng)用戶數(shù)的增多、以及系統(tǒng)之間越來越復雜的接口，都會導致系統(tǒng)的性能越來越惡化。怎么樣去優(yōu)化一套數(shù)據(jù)庫，我們需要掌握很多的知識，包括存儲子系統(tǒng)、操作系統(tǒng)、數(shù)據(jù)庫甚至還有業(yè)務邏輯。很多人面對性能問題不知如何下手。

好在，數(shù)據(jù)庫的性能問題至少有80%以上都是由于SQL性能較差所導致，同時隨著硬件性能的提升和硬件價格越來越便宜，硬件所帶來的系統(tǒng)瓶頸相對越來越小，所以在大多數(shù)情況下，我們優(yōu)化數(shù)據(jù)庫也就是優(yōu)化SQL語句。這意味著只要我們做好了SQL優(yōu)化，我們在大多數(shù)情況下就能保證應用系統(tǒng)在數(shù)據(jù)庫端是沒有明顯性能問題的。

SQL--數(shù)據(jù)技術棧中的"瘦身"

在計算機網(wǎng)路中，有個關于“細腰”的概念，說的是從底層硬件到頂層軟件的技術棧中，中間存在各種各樣異構的底層網(wǎng)路硬件與頂層軟件。

需要一種可以承上啟下，以不變應萬變的東西來屏蔽掉復雜的網(wǎng)絡請求，提供一套統(tǒng)一的協(xié)議來確保網(wǎng)絡之間可以相互連接與通信。

在如下協(xié)議棧中，IP層起到了通用語言的作用，上層協(xié)議“一切基于IP”，下層協(xié)議“IP兼顧一切”。

從 2013 年國內(nèi)的大數(shù)據(jù)元年開始，大數(shù)據(jù)相關領域爆發(fā)式增長，圍繞 Hadoop 生態(tài)圈的產(chǎn)品越來越多，如分布式存儲層(HDFS)、分布式數(shù)據(jù)庫(HBase, Mongodb, Cassandra等)、計算層中的MapReduce、Spark、Flink、消息總線(如 Kafka)、數(shù)據(jù)應用(如報表)、交互式分析即席查詢、數(shù)據(jù)挖掘、可視化工具等等。

在這樣一個各層級有多種技術選型的復雜技術棧中，SQL 已經(jīng)成為一種公共語言，相當于數(shù)據(jù)行業(yè)的默認的標準協(xié)議，各個層次各個組件都盡力實現(xiàn)一套近乎支持標準 SQL 語義的 sql layer 層作為對外交互方式。

在數(shù)據(jù)技術棧中，SQL 起到了通用語言的作用，上層“一切基于 SQL”，下層" SQL 兼顧一切"。

在數(shù)據(jù)產(chǎn)品的設計中，無論是數(shù)據(jù)工程還是數(shù)據(jù)科學，無論 UI 做的多靈活自然，你都不可避免的向 SQL 靠近。

數(shù)據(jù)平臺其實是個很大的概念，按照畢馬威的說法，企業(yè)的數(shù)據(jù)平臺等價于信息平臺。涉及數(shù)據(jù)的整合(數(shù)據(jù)清洗加工等)、數(shù)據(jù)治理(數(shù)據(jù)標準等)、數(shù)據(jù)應用(數(shù)據(jù)報表、交互式分析、數(shù)據(jù)挖掘、機器學習等)、數(shù)據(jù)工程，還包括數(shù)據(jù)科學。

我們在構建一個數(shù)據(jù)平臺的時候，應該借鑒前人的經(jīng)驗，少走彎路，需要一套指導手冊起到這樣的"細腰"的作用，比如關于數(shù)據(jù)工程與數(shù)據(jù)科學的大作《數(shù)據(jù)即未來》, 一定程度上提供了道、術、器可被我們借鑒。

(新媒體責編：shang080503)