首屆 Kylin Data Summit 上，全球知名 IT 研究咨詢公司 Gartner 研究總監(jiān) Julian Sun 帶來了一場關于數(shù)據(jù)分析領域相關趨勢的演講。

Julian Sun 介紹了十大趨勢，我們整理了關鍵的幾個趨勢的內容。Gartner 發(fā)布的這十大趨勢是最近 3-5 年企業(yè)可以應用的技術，而非十年以外的技術趨勢。這些趨勢之間的關系是相緊密相連，互相能夠加強，而且都反映了三個主題：智能、新興和拓展。

智能

企業(yè)用戶都在面臨著一些前所未有的變化，這些變化有的來自技術，有的來自于業(yè)務。傳統(tǒng)數(shù)據(jù)方式可能沒有辦法在滿足日益變化的數(shù)據(jù)分析形勢，所以我們要借助機器學習幫助我們以更低門檻做更深度分析。

新興

由于機器學習跟 AI 介入，數(shù)據(jù)可能不再自上而下放一層不變地展現(xiàn)在用戶面前，更多根據(jù)用戶的行為，通過元數(shù)據(jù)形成更復雜的一種數(shù)據(jù)框架以更新興模式呈現(xiàn)到用戶，是一個更動態(tài)的形式。

拓展

作為一個數(shù)據(jù)分析平臺，更多需要考慮的是，這個平臺是否有足夠拓展性和延展性，可以將高階分析普惠到所有人。

趨勢 1：增強分析

增強分析是一種新興數(shù)據(jù)分析方式，借助了機器學習跟 AI，讓我們用戶可以更低門檻去將這個數(shù)據(jù)分析呈現(xiàn)出來。

 

 

過去，大家認為數(shù)據(jù)分析是一個結果，我們看了一些儀表盤，看了一些報告覺得自己做數(shù)據(jù)分析了，其實不然，數(shù)據(jù)分析是一個創(chuàng)新過程，需要用戶高度融合才可以產(chǎn)生新一輪結果。

增強分析可以在哪些環(huán)節(jié)幫助企業(yè)做數(shù)據(jù)分析呢?

在準備數(shù)據(jù)階段，增強分析可以為我們推薦一些業(yè)務剛好能用，剛剛夠的數(shù)據(jù)源，而不是雜亂無章的數(shù)據(jù)源，同時可以幫助用戶理解別的用戶，自己同一組用戶平時用的哪些數(shù)據(jù)。

在業(yè)務發(fā)現(xiàn)的時候，增強分析又可以幫助我們做一些自動建模，模型管理、代碼生成，從而使用戶可以去用一些更高階功能。

在分享的時候可以通過增強分析給我們帶來一些自動的業(yè)務發(fā)現(xiàn)，而不是讓我在很多的儀表盤，很多報告當中一個個摸索。這也是為什么增強分析不僅是 Gartner 今年數(shù)據(jù)分析十大趨勢，同時也是 Gartner 今年十大戰(zhàn)略趨勢，整體 IT 十大戰(zhàn)略趨勢之一。

為什么企業(yè)里面要用增強分析呢?

企業(yè)要分析的數(shù)據(jù)越來越復雜，探索的結構越來越復雜，業(yè)務用戶希望通過自己自服務形式做分析，他們的問題沒辦法用普通數(shù)據(jù)方式傳達的，所以用了增強分析，可以給他一種全新數(shù)據(jù)分析方式;同時增強分析還有一個很大作用，可以讓我們做數(shù)據(jù)分析、學習的時間大大降低，可以真正普惠所有的業(yè)務用戶，而不是讓數(shù)據(jù)分析只停留在企業(yè)當中的少部分人。

同時大家可以想象一下我們現(xiàn)在做數(shù)據(jù)分析的模式，無非是一種可視化形式，拖拉拽形式做數(shù)據(jù)分析，很有可能會造成另外一種孤島。我們常常說數(shù)據(jù)孤島，做分析也一樣，很可能產(chǎn)生分析孤島，導致我們做的數(shù)據(jù)分析和業(yè)務脫節(jié)。這個時候用增強分析可以把這樣的增強分析模式放到業(yè)務情景當中，提供最契合業(yè)務的真知。

舉一個簡單例子：美國有一家銀行，他在沒有使增強分析以前，他用了一個常規(guī)思路探索他們的客戶，他們對客戶做了一個畫像，覺得自己作為一個銀行可以把理財產(chǎn)品賣給年紀較大的用戶，一些 55 歲 -65 歲的用戶，這種固有思維一直存在于他們的數(shù)據(jù)模型當中，久而久之他們就發(fā)現(xiàn)丟失了很多客戶，于是他們用了增強分析模式并列了所有可能，最后發(fā)現(xiàn)真正愿意買他們理財產(chǎn)品的話，雖然他們錢不多，他們是 25-35 歲的用戶，歡迎大家咨詢 Gartner 報告，了解更多增強分析案例。

趨勢 2：商用人工智能機器學習會取代開源占據(jù)市場主流

這個趨勢可能與大家的普遍認知會有一些沖突。通過 Gartner 一些研究發(fā)現(xiàn)大多數(shù)的模型盡管有在被寫，有被用，但只是創(chuàng)造出來而已，并沒有放到運營和生產(chǎn)環(huán)境，也沒有真正普惠到所有業(yè)務人員。

 

 

我們看到了像谷歌，亞馬遜，微軟，他們其實都在和很多的開源架構進行結合，我們預測到了 2022 年這些廠商會占到數(shù)據(jù)科學平臺 20% 的份額。同時，這些平臺也一點點地演進自己，可以幫助我們提供更好一些生產(chǎn)環(huán)境特色，比如說數(shù)據(jù)的血緣分析、模型的復用、管理等，這些都是企業(yè)級用戶非常擅長，而不是開源平臺開發(fā)的初衷。

與此同時，這些平臺還能給我們帶來非常多益處，比如說我們要做我們的 AI 普惠性，作為開源平臺實際上很少會想到這個工具，我們怎么樣給到業(yè)務人員用，但是通過我們商用平臺，可以搭建一個比較好環(huán)境，讓我們的業(yè)務用戶使用。同時我們可以看見，真正能夠用到這些開源平臺，用到這些算法，其實是需要很高技能要求，并不是所有人都可以實現(xiàn)這點，所以說這一點我們會發(fā)現(xiàn)，那些數(shù)據(jù)科學家其實是非常花錢，商用平臺可以有一個更低的門檻讓用戶使用。

每個企業(yè)都在想怎么做數(shù)據(jù)化轉型，這個過程是非常漫長的，需要 18 個月到 3 年時間才可能去實現(xiàn)，這個時候該怎么辦呢?我們是不是看到開源市場不停有創(chuàng)新，不停有開源包出來呢，沒錯，但是通過一些開源包，通過一些開源結構完成一個長期的計劃，實際是很難摸索的。我們通過跟商用平臺合作可以明確知道這些商用平臺未來的發(fā)布計劃怎么樣，這樣能夠更好地幫助我們結合企業(yè)的開發(fā)和發(fā)展。同時我們也會發(fā)現(xiàn)現(xiàn)在越來越多商用平臺在把自己已經(jīng)訓練好的模型、算法直接放到平臺銷售，作為用戶可以更簡單地，直接購買這樣的算法，還有模型，模型將會更成為一種商品的形式被大家使用。

未來算法將會很容易獲得，不需要自己再去訓練，但是比較困難的點是什么呢?是數(shù)據(jù)。我們怎樣才能擁有一套可信的數(shù)據(jù)，去清洗它，訓練它，使用它呢?這將涉及到下一個比較重要的趨勢：數(shù)據(jù)管理相關的趨勢。

趨勢 3：Data Fabric

Data Fabric 一個比較大的框架，這個詞我們姑且稱之為數(shù)據(jù)編織。數(shù)據(jù)編織是一個概念，不是一個產(chǎn)品， 它并不是一個自上而下，以一個非常嚴苛固定的形式給到用戶的數(shù)據(jù)結構。它更多是基于企業(yè)用戶行為，自動建立起元數(shù)據(jù)之后一個新興數(shù)據(jù)結構，它是動態(tài)變化的。

 

 

數(shù)據(jù)編織這個概念在 Gartner 的數(shù)據(jù)管理組經(jīng)常被討論，每當討論到這個概念，就同時會提到數(shù)據(jù)虛擬化，以及如何去平衡?要么把數(shù)據(jù)從 A 移到 B ，B 移到 C，或者把數(shù)據(jù)全部連在一起，用虛擬化形式實現(xiàn)，這個平衡在企業(yè)里是非常難實現(xiàn)的，所以我們需要一個數(shù)據(jù)編織形式去管理這樣的平衡，并不是所有的數(shù)據(jù)結構。

同時我們也會看到這樣的一種新興數(shù)據(jù)結構涵蓋了很多東西，有數(shù)據(jù)湖，數(shù)據(jù)庫，分布式的存儲關系還有傳統(tǒng)的數(shù)據(jù)庫等。在這里元數(shù)據(jù)驅動了一切，我們希望花更多時間了解用戶行為，搭建這樣一個更靈活的數(shù)據(jù)編織。

從 usecase 角度看我們可以看見無論是數(shù)據(jù)倉庫，分布式流程，多樣式的數(shù)據(jù)來源都會以更新的形式、更符合業(yè)務訴求的形式，混合所有的數(shù)據(jù)存儲的 porfolio，而不是單純用單一技術，所以我會看見更多的廠商去做 datahub 的產(chǎn)品用來編織所有的數(shù)據(jù)。這樣的形式也能夠更方便符合現(xiàn)在不停變化的業(yè)務訴求。用更靈活的數(shù)據(jù)編織形式，我們建立一個統(tǒng)一的數(shù)據(jù)框架，管理所有數(shù)據(jù)。

 

 

那在這個背后支撐我們是什么呢?真正幫助我們做到一個非常好的管理應用是什么呢?這將涉及到下一個重點趨勢，今天大會最大的主題：增強數(shù)據(jù)管理。

趨勢 4：數(shù)據(jù)增強管理

“增強”這個詞，我們希望把數(shù)據(jù)分析背后機器學習和人工智能的能力，它真正體現(xiàn)在幫助用戶上，而不是取代用戶。增強型數(shù)據(jù)管理涵蓋數(shù)據(jù)管理方方面面，元數(shù)據(jù)管理，數(shù)據(jù)庫管理，還有數(shù)據(jù)整合，數(shù)據(jù)質量都涵蓋在內，它并不是一個單純的數(shù)據(jù)管理范式。它可以有效地依賴我們企業(yè)里用戶的行為，我們元數(shù)據(jù)的學習，去自動地生成行為數(shù)據(jù)。

過去，我們是非常被動做這樣的數(shù)據(jù)管理的。當我們我們做數(shù)據(jù)質量管理的時候，把所有數(shù)據(jù)拉出來，看數(shù)據(jù)有哪些異同點和趨勢，這個是非常消耗時間;同樣做數(shù)據(jù)庫管理的時候，我們要做優(yōu)化數(shù)據(jù)庫，建立索引，刪除索引，建立一個分區(qū)，刪除一個分區(qū)，這可能是用戶為我們提出的需求，DBA 需要花費特別大量的時間。

 

 

由“增強”技術帶來的減少的任務量是為了幫助我們而不是為了取代任何人，“增強”是為了使我們的工作更容易、更創(chuàng)新，更主動。

在進行數(shù)據(jù)運維時，很多時候是用到元數(shù)據(jù)的，但元數(shù)據(jù)的生成和學習是需要花時間的。應用到機器學習、AI 技術，我們希望最終能實現(xiàn)的是，看見數(shù)據(jù)，學習用戶行為，創(chuàng)造元數(shù)據(jù)，整合數(shù)據(jù)管理工具 ， 創(chuàng)建數(shù)據(jù)質量規(guī)則，最后在數(shù)據(jù)上建立 Scheme，讓數(shù)據(jù)真正被業(yè)務用戶使用，這將是一個完整的“增強型數(shù)據(jù)管理”希望實現(xiàn)的效果。

 

 

增強型數(shù)據(jù)管理涵蓋面更廣，用一個自動駕駛的例子來說，自動駕駛并不是為了學習這個車怎么開，更多是為了學習外部路況、環(huán)境，道面交通擁堵狀況，這是我們初衷。跟增強型數(shù)據(jù)管理也一樣，我們更希望從用戶行為，從元數(shù)據(jù)當中獲取真知，去創(chuàng)造元數(shù)據(jù)，幫助我們更好做數(shù)據(jù)管理，涵蓋數(shù)據(jù)質量管理，主數(shù)據(jù)管理，數(shù)據(jù)集成，數(shù)據(jù)庫管理，元數(shù)據(jù)管理方方面面。

今天圍繞著“增強型分析”給大家?guī)�來了這樣一些總結和分析，云是在這張圖背后的，這些趨勢緊密相連。這些趨勢固然都很好，但是大家不要盲目地順從某些趨勢，作為企業(yè)管理者，更應該看到業(yè)務中痛點和欠缺的地方，查找整個系統(tǒng)中欠缺的部分，再運用這些技術。我們這些趨勢是最近三五年發(fā)現(xiàn)的，可以幫助我們企業(yè)快速應用，但是這個順序和重點依舊取決于你們企業(yè)自身業(yè)務重點。

 

 

演講嘉賓：

Julian Sun (孫鑫)先生在 Gartner 擔任研究總監(jiān)，負責商業(yè)智能及數(shù)據(jù)科學領域。他主要建議數(shù)據(jù)分析領導者架構，部署并演化現(xiàn)代化商業(yè)智能平臺。其主要研究方向集中在可以幫助業(yè)務用戶提升數(shù)據(jù)分析能力的新興分析技術，由 AI 驅動的增強型分析，數(shù)據(jù)分析最大化業(yè)務價值的方法及簡化企業(yè)員工使用數(shù)據(jù)科學流程的最佳實踐。他同時對管理企業(yè)級分析平臺的技術架構有所研究。

標簽： 數(shù)據(jù)分析 大數(shù)據(jù)

版權申明：本站文章部分自網(wǎng)絡，如有侵權，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權歸原作者所有，如需使用，請與原作者聯(lián)系。