近期，來(lái)自CMU和斯坦福的Zachary C. Lipton和Jacob Steinhardt兩位研究員為頂會(huì)ICML舉辦的Machine Learning: The Great Debate發(fā)表文章，并指出現(xiàn)在機(jī)器學(xué)習(xí)研究中的四大危機(jī)：混淆闡述與推測(cè)、無(wú)法明確得到較好結(jié)果的原因、數(shù)學(xué)公式堆積以及語(yǔ)言誤用。

 

 

學(xué)術(shù)界在大家的印象里一般是很嚴(yán)肅的，但近期AI頂會(huì)ICML在斯德哥爾摩舉辦了一個(gè)辯論會(huì)—Machine Learning: The Great Debates (ML-GD)，專供各家學(xué)者、研究人員積極探討領(lǐng)域內(nèi)技術(shù)的現(xiàn)狀、瓶頸及對(duì)社會(huì)的影響。

有AI小網(wǎng)紅之稱的Zachary C.Lipton攜手斯坦福研究員Jacob Steinhardt發(fā)表了參會(huì)的論文《Troubling Trends in Machine Learning Scholarship》，并發(fā)推文，引發(fā)了熱烈的討論。

 

 

觀點(diǎn)提出背景

機(jī)器學(xué)習(xí)(ML)研究人員正在致力于有關(guān)“數(shù)據(jù)驅(qū)動(dòng)算法”知識(shí)的創(chuàng)建和傳播。據(jù)研究，許多研究人員都渴望實(shí)現(xiàn)以下目標(biāo)：

理論性闡述可學(xué)習(xí)內(nèi)容

深入理解經(jīng)驗(yàn)嚴(yán)謹(jǐn)?shù)膶?shí)驗(yàn)

構(gòu)建一個(gè)有高預(yù)測(cè)精度的工作系統(tǒng)

雖然確定哪些知識(shí)值得探究是很主觀的，但是一旦主題確定，當(dāng)論文為讀者服務(wù)時(shí)，它對(duì)社區(qū)最有價(jià)值，它能創(chuàng)造基礎(chǔ)知識(shí)并盡可能清楚地進(jìn)行闡述。

什么樣的論文更適合讀者呢?我們可以列出如下特征：這些論文應(yīng)該

(i)提供直觀感受以幫助讀者理解，但應(yīng)明確區(qū)別于已證明的強(qiáng)有力結(jié)論;

(ii)闡述考量和排除其他假設(shè)的實(shí)證調(diào)查 ;

(iii)明確理論分析與直覺(jué)或經(jīng)驗(yàn)之間的關(guān)系 ;

(iv)利用語(yǔ)言幫助讀者理解，選擇術(shù)語(yǔ)以避免誤解或未經(jīng)證實(shí)的內(nèi)容，避免與其他定義沖突，或與其他相關(guān)但不同的概念混淆。

機(jī)器學(xué)習(xí)研究中的四大危機(jī)

 

 

盡管機(jī)器學(xué)習(xí)最近取得了一些進(jìn)展，但這些“理想”狀態(tài)往往與現(xiàn)實(shí)背離。在這篇文章中，我們將重點(diǎn)放在以下四種模式上，這些模式在ML學(xué)術(shù)(schoolar-ship)中似乎是最流行的:

1. 無(wú)法區(qū)分客觀闡述和推測(cè)。

2. 無(wú)法確定得到較好結(jié)果的原因，例如，當(dāng)實(shí)際上是因?yàn)閷?duì)超參數(shù)微調(diào)而獲得好效果的時(shí)候，卻強(qiáng)調(diào)不必要修改神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

3. 數(shù)學(xué)公式堆積：使用令人混淆的數(shù)學(xué)術(shù)語(yǔ)而不加以澄清，例如混淆技術(shù)與非技術(shù)概念。

4. 語(yǔ)言誤用，例如，使用帶有口語(yǔ)的藝術(shù)術(shù)語(yǔ)，或者過(guò)多的使用既定的技術(shù)術(shù)語(yǔ)。

雖然這些模式背后的原因是不確定的，但會(huì)導(dǎo)致社區(qū)的迅速擴(kuò)張、評(píng)閱的人數(shù)不足，以及學(xué)術(shù)和短期成功衡量標(biāo)準(zhǔn)(如文獻(xiàn)數(shù)量、關(guān)注度、創(chuàng)業(yè)機(jī)會(huì))之間經(jīng)常出現(xiàn)的不平衡。雖然每種模式都提供了相應(yīng)的補(bǔ)救措施(但不建議這么做)，我們還將討論一些關(guān)于社區(qū)如何應(yīng)對(duì)這些趨勢(shì)的推測(cè)性建議。

有缺陷的學(xué)術(shù)研究可能會(huì)誤導(dǎo)大眾，并阻礙學(xué)術(shù)未來(lái)的研究。實(shí)際上，這些問(wèn)題有許多是在人工智能的歷史(更廣泛地說(shuō)，是在科學(xué)研究)中循環(huán)出現(xiàn)的。1976年，Drew Mc-Dermott[1]指責(zé)人工智能社區(qū)放棄了自律，并預(yù)言“如果我們不能批判自己，別人就會(huì)幫我們解決問(wèn)題”。

類似的討論在整個(gè)80年代、90年代和2008年都反復(fù)出現(xiàn)[2,3,4]。在心理學(xué)等其他領(lǐng)域，糟糕的實(shí)驗(yàn)標(biāo)準(zhǔn)削弱了人們對(duì)該學(xué)科權(quán)威的信任。當(dāng)今機(jī)器學(xué)習(xí)的強(qiáng)勁潮流歸功于迄今為止大量嚴(yán)謹(jǐn)?shù)难芯�，包括理論研究[5,6,7]和實(shí)證研究[8,9,10]。通過(guò)提高清晰明了的科學(xué)思維和交流，我們可以維持社區(qū)目前所享有的信任和投資。

總結(jié)

 

 

可能有人會(huì)認(rèn)為這些問(wèn)題可以通過(guò)自律、自我糾正來(lái)改善。這個(gè)觀點(diǎn)雖然是正確的，但是機(jī)器學(xué)習(xí)社區(qū)需要反復(fù)討論如何構(gòu)建合理的學(xué)術(shù)標(biāo)準(zhǔn)以實(shí)現(xiàn)這種自我修正。

文獻(xiàn)原文地址：https://www.dropbox.com/s/ao7c090p8bg1hk3/Lipton%20and%20Steinhardt%20-%20Troubling%20Trends%20in%20Machine%20Learning%20Scholarship.pdf?dl=0

參考文獻(xiàn)：

[1]Drew McDermott.Artificial Intelligence meets natural stupidity. ACM SIGART Bulletin,(57):4-9,1976.

[2]Timothy G Armstrong, Alistair Moffat, William Webber, and Justin Zobel. Improvements that don’t add up: ad-hoc retrieval results since 1998. In Proceedings of the 18th ACM conference on Information and knowledge management. ACM, 2009.

[3]Paul R Cohen and Adele E Howe. How evaluation guides ai research: The message still counts more than the medium. AI magazine , 9(4):35, 1988.

[4]RE Korf. Does deep blue use articial intelligence? ICGA Journal , 20(4):243{245, 1997.

[5]Leon Bottou and Olivier Bousquet. The tradeos of large scale learning. In Advances in neural information processing systems (NIPS) , 2008.

[6]John Duchi, Elad Hazan, and Yoram Singer. Adaptive subgradient methods for online learning and stochastic optimization. Journal of Machine Learning Research (JMLR) , 12(Jul), 2011.

[7]Yoav Freund and Robert E Schapire. A decision-theoretic generalization of on-line learning and an application to boosting. Journal of computer and system sciences , 55(1):119{139, 1997.

[8]James Bergstra and Yoshua Bengio. Random search for hyper-parameter optimization. Journal of Machine Learning Research (JMLR) , 13(Feb), 2012.

[9]Xavier Glorot and Yoshua Bengio. Understanding the diculty of training deep feedforward neural networks. In International conference on articial intelligence and statistics (AISTATS) ,2010.

[10]Kevin Jarrett, Koray Kavukcuoglu, Yann LeCun, et al. What is the best multi-stage architecture for object recognition? In International Conference on Computer Vision (ICCV) . IEEE, 2009.

標(biāo)簽： 網(wǎng)絡(luò)

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。