我們?yōu)槭裁匆獙W(xué)數(shù)據(jù)分析?

學(xué)習(xí)新的數(shù)據(jù)結(jié)構(gòu)和新的數(shù)據(jù)算法將會(huì)是新時(shí)代我們的使命。

很多寫程序的人都聽說過一個(gè)公式：程序設(shè)計(jì) = 算法 + 數(shù)據(jù)結(jié)構(gòu)，我也相信很多人認(rèn)為算法是編程里的基礎(chǔ)。

在我看來，這個(gè)公式應(yīng)該過時(shí)了。從我 10 歲開始學(xué)編程時(shí)，我就被灌輸了這個(gè)認(rèn)知。所以，那時(shí)候我們學(xué)二叉樹，學(xué)隊(duì)列，學(xué)一些數(shù)組的表達(dá)方式，包括一些快速排序、排序的方法等等。

而現(xiàn)在，很多的數(shù)據(jù)結(jié)構(gòu)，包括我們排序的算法，都已經(jīng)不需要我們?nèi)ゾ帉懘�碼了。我們直接調(diào)用一行命令，通過封裝的方式，就可以拿來即用。

我再舉個(gè)簡(jiǎn)單例子，在我很小的時(shí)候，有一門課叫匯編語言。它非常基礎(chǔ)，比如，把一個(gè)字母 A 打到這個(gè)顯示屏里面分多少步?它分了 32 個(gè)步驟，是如何從計(jì)分器里面讀出去，最后讓顯示器里面顯示出來。這是一個(gè)很簡(jiǎn)單的事，現(xiàn)在大家已經(jīng)不需要關(guān)注到匯編語言的底層，很多的語言越來越高級(jí)，我們的知識(shí)已經(jīng)封裝的越來越完善。

我覺得在新的時(shí)代里面，如何去更新我們新的數(shù)據(jù)結(jié)構(gòu)和新的數(shù)據(jù)算法，這是我們的使命。再給大家一個(gè)數(shù)據(jù)，我們近三年，所有互聯(lián)網(wǎng)數(shù)據(jù)的總和等于 4 萬年數(shù)據(jù)的總和。知識(shí)處于一個(gè)非常爆炸的過程，而且我們相信，在未來的三年，它整個(gè)的總和又是以前的雙倍。

在這個(gè)海量的數(shù)據(jù)時(shí)代里面，它需要更加新型的存儲(chǔ)的方式，舉個(gè)例子，我們現(xiàn)在會(huì)接觸到矩陣的運(yùn)算，包括這些大型矩陣之間的向量表達(dá)方式和特征的抽取，包括以前我們可能會(huì)關(guān)注到一些快速排序等一系列的算法。我們現(xiàn)在最主要關(guān)心的是，如何從這些數(shù)據(jù)里面找出關(guān)聯(lián)關(guān)系出來，如何進(jìn)行分類，如何進(jìn)行聚類?

這個(gè)是在新的一個(gè)時(shí)代里面的算法的數(shù)據(jù)結(jié)構(gòu)和基礎(chǔ)的能力，也是一個(gè)非常重要的核心，也是這個(gè)市場(chǎng)上一個(gè)新的需求。我專門做了一個(gè)關(guān)于“程序員薪資情況”的調(diào)查，我發(fā)現(xiàn)在招數(shù)據(jù)分析，尤其是算法數(shù)據(jù)挖掘工程師，他們的薪資普遍比其他的工程師薪資要高。

為什么?一方面是企業(yè)及整個(gè)市場(chǎng)的需求都很大，以數(shù)據(jù)挖掘?yàn)槔�，三到五萬的月薪并不奇怪，甚至更高的月薪都會(huì)存在;另一方面市場(chǎng)缺口也很大，在 2020 年，就是一年之后，整個(gè)數(shù)據(jù)人才的需求量是現(xiàn)在的兩倍，而且它能創(chuàng)造出來更多的價(jià)值。

總結(jié)而言，我們是不是需要更新我們 20 年前的認(rèn)知?那一陣學(xué)的算法和數(shù)據(jù)結(jié)構(gòu)基礎(chǔ)，是否能讓我們更跟上時(shí)代的步伐?

這也是我開設(shè)專欄的一個(gè)初衷，想讓大家通過這個(gè)專欄的學(xué)習(xí)，掌握到新的數(shù)據(jù)結(jié)構(gòu)和新的算法的能力。

沒有編程基礎(chǔ)，也能學(xué)好數(shù)據(jù)分析

請(qǐng)，不要灰心。

有編程基礎(chǔ)和沒有編程基礎(chǔ)是相對(duì)的，就算你有編程基礎(chǔ)，但你未必有數(shù)據(jù)編程的能力。我想說的是，如果你沒有編程基礎(chǔ)，也不要灰心。因?yàn)閿?shù)據(jù)分析是一個(gè)很新的領(lǐng)域，這幾年也是非常的火爆，而且出現(xiàn)了很多新的理論�？赡茉� 5 年前，有些理論是之前沒有的。所以，無論是新人還是老人，起跑線都是很接近的。請(qǐng)，你不要灰心。

第二方面，我在這個(gè)專欄著重重強(qiáng)調(diào)的學(xué)習(xí)方法是 MAS 學(xué)習(xí)方法。

M-Multi-Dimension：想要掌握一個(gè)事物，就要從多個(gè)角度去認(rèn)識(shí)它。也就是說要學(xué)習(xí)數(shù)據(jù)分析，你需要從不同的緯度跟人家去打交道，不管是知識(shí)概念的緯度，從工具的緯度，還是從實(shí)戰(zhàn)的緯度，你都需要與其建立起聯(lián)系。

A-Ask：不懂就問，程序員大多都很羞澀，突破這一點(diǎn)，不懂就問最重要。以往如果我們沒有專欄可以一對(duì)一去互動(dòng)，或者答疑解惑，你可能通過網(wǎng)上去找答案，但是網(wǎng)上的答案有的時(shí)候不一定是正確的，或者你不一定能找到答案，但是通過專欄留言、社群答疑，我可以幫你來去進(jìn)行解答，這是非常好的方法。(進(jìn)入數(shù)據(jù)分析社群，可加專欄運(yùn)營 Monica 微信：imonica，了解入群規(guī)則。)

S-Sharing：最好的學(xué)習(xí)就是分享。用自己的語言講出來，是對(duì)知識(shí)的進(jìn)一步梳理。我看到專欄里的很多同學(xué)，現(xiàn)在逐漸養(yǎng)成分享的習(xí)慣。當(dāng)你把這個(gè)內(nèi)容分享給其它人的時(shí)候，這個(gè)內(nèi)容才是你自己的，而不是老師的。我非常鼓勵(lì)大家去寫筆記，也有好多人把自己整理的內(nèi)容放到幕布或者博客上面，這是非常好的方法。

 

 

其中一個(gè)用戶總結(jié)的思維導(dǎo)圖，很贊!

我總結(jié)以下兩點(diǎn)：

1、如果你沒有編程的基礎(chǔ)，沒有關(guān)系，你可以跟上我的專欄，你跟大家的速度是一樣的，甚至你會(huì)比別人跑得更快;

2、另外，掌握好的學(xué)習(xí)方法真的非常重要，MAS 是個(gè)很不錯(cuò)的學(xué)習(xí)方法。這也是我專欄想達(dá)到的一個(gè)目的，授人以魚不如授人以漁。

即使數(shù)學(xué)高考考 9 分，也不妨礙你學(xué)習(xí)數(shù)據(jù)分析

高考是封閉環(huán)境下的能力測(cè)試，考的是你的計(jì)算能力

哈哈，數(shù)學(xué)高考考 9 分也是非常了不起的一件事。我是這么看的，高考的是計(jì)算能力。舉個(gè)例子，讓你去求一個(gè)排列組式。我們知道，在實(shí)際的工作中，我們做的不是閉卷答案，在開卷環(huán)境下，你是可以用計(jì)算器或者提問的方式去解決問題。就是說，你現(xiàn)在的工作環(huán)境和以前上學(xué)的考試是兩種完全不同的狀態(tài)。工作上，最重要的方法是：“不懂就問“，你求助于別人，這是最省時(shí)省力的解決問題的方法。

另一方面，有些人跟我說，他的計(jì)算能力、數(shù)學(xué)能力都比較差。其實(shí)，這是有解的。在我的專欄里，我會(huì)讓你去了解一些概念，你知道該怎么去用就好了，你完全沒有必要去做推導(dǎo)。你只需要知道，我要用哪個(gè)公式，或者說我要用哪個(gè)算法，這個(gè)算法可能抽樣出來就是一行代碼，如果是可視化工具，根本就不用代碼。

總而言之，即使你的數(shù)學(xué)基礎(chǔ)不好，不妨礙你去學(xué)這個(gè)專欄，掌握它的概念以及方法。

很多人會(huì)望而卻步，覺得中間是否需要一些數(shù)學(xué)的推導(dǎo)和運(yùn)用。其實(shí)，大家應(yīng)該從白話的角度去理解這個(gè)專欄，因?yàn)閷�欄里�?huì)有很多案例、比喻等等，會(huì)讓大家更容易去理解概念，比如什么叫數(shù)據(jù)挖掘，什么叫分類，什么叫聚類，什么叫關(guān)聯(lián)分析。

打個(gè)比方，你同時(shí)認(rèn)識(shí)了兩個(gè)漂亮女孩，你要追哪一個(gè)成功概率比較高?這就可以用到數(shù)據(jù)分析的一些原理，比如，你想知道這個(gè)漂亮女孩，她到底是御女還是蘿莉?這就會(huì)用到分類的算法;你認(rèn)識(shí)女孩的渠道比較多，比說朋友會(huì)介紹，或者網(wǎng)上認(rèn)識(shí)等等，就會(huì)要用數(shù)據(jù)集成的知識(shí)，因?yàn)椴煌�的渠道你需要匯總到同一個(gè)渠道里面。不同朋友推薦同一個(gè)女孩，這時(shí)候就要做數(shù)據(jù)清洗了。

再舉個(gè)例子，假設(shè)你認(rèn)識(shí)的女孩數(shù)量不只兩個(gè)，假設(shè)有五萬個(gè)，這時(shí)候決策該怎么做?那你要把這些女孩進(jìn)行分組，把五萬個(gè)人劃分成五個(gè)組，每個(gè)組采用相同的決策，這叫聚類。聚類的方式是把一個(gè)個(gè)緯度的目標(biāo)換成一個(gè)緯度，由原來的五萬人變成了五個(gè)組，就大大提升了效率，采用一種降緯的思維。最后，這個(gè)數(shù)據(jù)它產(chǎn)生什么樣的結(jié)果，你就需要采用數(shù)據(jù)可視化的方式幫你實(shí)現(xiàn)：我到底得出什么樣的規(guī)律，或者我最后采用什么樣的決策。

通過這個(gè)例子，我們可以看習(xí)數(shù)據(jù)挖掘?qū)ξ覀儗?shí)際的幫助是很大的，它可以幫助你解決實(shí)際中遇到的一些問題，抽象出來，利用數(shù)據(jù)挖掘、清洗等方式去解決。

數(shù)據(jù)分析學(xué)到什么程度，能找到工作?

我把它分成三個(gè)階段：初級(jí)，中級(jí)和高級(jí)。

初級(jí)：你需要了解基本的概念，會(huì)使用簡(jiǎn)單的工具。比如說你要做數(shù)據(jù)采集的話，你不會(huì) Python 沒有關(guān)系，我會(huì)教你八爪魚怎么使。因?yàn)樗�是一個(gè)可視化的軟件，拿來即用。另外，我也會(huì)講解一些軟件的使用，如果你也能學(xué)會(huì)用一些軟件的話，也可以拿到很高的薪水。

中級(jí)：需要自己動(dòng)手去寫一些代碼。在這個(gè)專欄里，我會(huì)主推 Python 去做數(shù)據(jù)分析，比如分類的算法、聚類的算法、關(guān)聯(lián)分析的算法，包括數(shù)據(jù)預(yù)測(cè)。而一個(gè)算法需要一個(gè)好的語來實(shí)現(xiàn)言而，Python 是非常直接的語言，會(huì)讓你得到更多可視化的結(jié)果。

高級(jí)：熟練度，還有就是效率上的提升。我舉個(gè)例子，我之前做過深度學(xué)習(xí)，最開始是去調(diào)試一個(gè)圖像識(shí)別算法過程，需要兩到三周的時(shí)間。后來，我有了更多的經(jīng)驗(yàn)之后，我知道哪些參數(shù)該進(jìn)行優(yōu)化，且這個(gè)參數(shù)在什么樣的情況下可以采用什么樣的收斂模型，中間的層次該怎么去調(diào)。之前需要花三周時(shí)間去完成的事情，就被縮短為三天，整個(gè)工作效率提升了 10 倍。

在我的專欄里，我特意設(shè)置了一個(gè)專屬題庫。為什么我要做題庫吶?因?yàn)�，我覺得知識(shí)要被消化吸收最快的方法，就是練習(xí)，不斷地反復(fù)練習(xí)。只有練習(xí)了，把知識(shí)點(diǎn)融會(huì)貫通，知識(shí)才會(huì)是你的。這些題庫，我也都做會(huì)講解。

我在專屬題庫里列了十多個(gè)項(xiàng)目，都是非常實(shí)戰(zhàn)的項(xiàng)目。多練習(xí)、多實(shí)戰(zhàn)，你完全可以把這些項(xiàng)目寫到自己的簡(jiǎn)歷里，包括數(shù)據(jù)的描述及解題過程，最好用自己的話去做總結(jié)，并用博客的方式去呈現(xiàn)。這是非常棒的經(jīng)歷。

Q&A

問：本人已經(jīng)工作 7 年了，做運(yùn)維開發(fā)也有 5 年之多，主流語言也是 Python，個(gè)人對(duì)大數(shù)據(jù)開發(fā)，數(shù)據(jù)分析，數(shù)據(jù)挖掘之類的工作也特別感興趣，所以毫不猶豫就買了老師的課程。之前空閑之余也看過相關(guān)數(shù)據(jù)挖掘的知識(shí)，比如 svm xgboot 手寫體之類的。但找類似的工作突然發(fā)現(xiàn)沒有底氣，原因是沒有數(shù)據(jù)挖掘相關(guān)的工作經(jīng)驗(yàn)，我怕以后轉(zhuǎn)行越來越困難，再加上一旦轉(zhuǎn)行沒有我現(xiàn)在的工資高，想想又放棄了，又不甘心，我該如何抉擇?

答：首先這是一個(gè)先有雞，還是先有蛋的問題。

我想你是認(rèn)可數(shù)據(jù)挖掘，也對(duì)數(shù)據(jù)分析很有興趣。最著急的是簡(jiǎn)歷中沒有相關(guān)的經(jīng)驗(yàn)。

確實(shí)很多公司很看重背景，而且你工作 7 年，又不能從初級(jí)職位開始，即使你對(duì)數(shù)據(jù)分析很感興趣。

我建議你還是以豐富簡(jiǎn)歷為目標(biāo)，在簡(jiǎn)歷中要想辦法增加 數(shù)據(jù)分析，數(shù)據(jù)挖掘的比例。

我的專欄里會(huì)有 10+ 個(gè)項(xiàng)目，當(dāng)然這些項(xiàng)目都不是太復(fù)雜。我建議你把它都做一遍，然后用自己的語言做項(xiàng)目總結(jié)，這些可以放到簡(jiǎn)歷中。作為數(shù)據(jù)分析，數(shù)據(jù)挖掘的經(jīng)驗(yàn)

沒有其他的捷徑，如果你在這方面的簡(jiǎn)歷不豐富 HR 很難給你一個(gè)滿意的薪水。所以你就需要在工作之外，自己來訓(xùn)練，整理這些項(xiàng)目筆記。我專欄中的很多數(shù)據(jù)都來自于 Kaggle，這里有很多實(shí)戰(zhàn)的項(xiàng)目，你如果完成了我的專欄，還想進(jìn)一步豐富項(xiàng)目經(jīng)驗(yàn)，可以做更多 Kaggle 項(xiàng)目。同樣采用我的方式，把它作為項(xiàng)目背景，自己寫項(xiàng)目總結(jié)，作為項(xiàng)目經(jīng)驗(yàn)。

問：數(shù)據(jù)挖掘預(yù)測(cè)部分會(huì)有哪些內(nèi)容?

答：數(shù)據(jù)挖掘，我列了 10 大算法，都是最經(jīng)典的算法，包括：決策樹 C4.5，CART，樸素貝葉斯、SVM、KNN、K-means、EM 聚類、Apriori、PageRank、Adaboost。這些主要是分類、聚類、關(guān)聯(lián)分析、連接分析的算法。當(dāng)然現(xiàn)在深度學(xué)習(xí)很火，后面如果大家有需求的話，可以在算法介紹完之后，加餐個(gè)深度學(xué)習(xí)。不過這里最好要有 GPU 運(yùn)行環(huán)境了，要不運(yùn)行起來會(huì)有些吃力。

問：推薦一些數(shù)據(jù)分析的書

答：思維：《思維簡(jiǎn)史：從叢林到宇宙》;

數(shù)據(jù)處理：《數(shù)據(jù)挖掘：概念與技術(shù)》;《Pentaho Kettle 解決方案》;《精益數(shù)據(jù)分析》;《Small Data》;《利用 Python 進(jìn)行數(shù)據(jù)分析》

作者：陳旸

標(biāo)簽： 大數(shù)據(jù) 大數(shù)據(jù)開發(fā) 代碼 互聯(lián)網(wǎng) 互聯(lián)網(wǎng)數(shù)據(jù) 數(shù)據(jù)分析 數(shù)據(jù)預(yù)測(cè)

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。