如何建立AI研究實驗室？Yoshua Bengio 有話要說
2018-08-13 來源：raincent
Graham Taylor 是 CIFAR「Learning in Machines & Brains」項目中的一位 Azrieli 全球學者，也是圭爾夫大學工程系、向量學院(Vector Institute)的副教授。Yoshua Bengio 是 CIFAR「Learning in Machines & Brains」項目的聯合主任，蒙特利爾大學計算機科學系正教授。這篇文章是 Graham Taylor 與 Yoshua Bengio 的交流對話，談到了如何建立研究實驗室，非常具有啟發(fā)性。
項目聯合主任，Yoshua Bengio
Graham Taylor (GT)：可以說說你的第一份教職工作嗎?
Yoshua Bengio (YB)：當時我是蒙特利爾大學唯一做機器學習與神經網絡的。我非常積極，對所有來找我的學生都來者不拒。但其實我應該更有選擇性一些。當時，我得益于部門之外的關系網，尤其是那些讀博士后時一起工作的人。我聯系了 Geoff Hinton 和一些在多倫多的朋友。與志同道合的人建立聯系非常重要，尤其當時我是這里唯一一個做這類事情的人，我需要外部支持。
GT：從一開始就這樣嗎?
YB：是的。所以，前 7 年只有兩門而不是三門課程。后來我成了加拿大研究委員會的主席。這對我來說可能是最具挑戰(zhàn)性的事情，教學和開辦實驗室讓我不堪重負，我被教員職位壓得喘不過氣來�；叵肫饋恚冶究梢愿玫仄胶馍�。
GT：內部有人指導過你嗎?
YB：沒有。也許我應該聯系一些年長的教授，哪怕是與我研究方向不同的人。如果我膽大點兒，也許就可以得到更多反饋。我當時沒想到這些。新教員應該主動接觸別人，與其他人建立聯系。各部門都應該做到這一點。高級教員雖然不會主動找你，但他們會樂于提供幫助。
GT：所以就是盡管去請教對吧，即使這不是大學里的明文規(guī)定?
YB：是的。
GT：從這些外部關系網當中，作為一名教員，你得到的最好建議是什么?
YB：在我當教授的第一個十年里，我和 Geoff Hinton 有過不少交流，盡管我們相距甚遠。這些交流讓我更加專注于重要的事情。
得益于他們的一個建議是，不要把自己的專注點分散到不同的地方，更不要為了去追求某一刻的想法，而忘記長期的挑戰(zhàn)。在你已經有一定事業(yè)地位的基礎上，做到這一點并不容易，因為你渴望出版足夠的書來獲得終身職位。但你至少得花點時間來關注長遠的發(fā)展，這才是你事業(yè)成功與否的關鍵。如果太過沉迷于生存方式，則很容易陷入其中，你可能會錯過一些重要的事情。我和 Geoff 的討論幫我避免了這一點。
GT：隨著應用機器學習成為關注焦點，越來越多的公司或合作者帶著項目來找你，并要求你把它應用到一個非常具體的問題上時，上述的這種情況會加劇嗎?會不會再次對你的專注點造成威脅?
YB：我想每個人都要找到屬于自己的路。要想有所成就，有所突破，你就必須成為專家。所以如果你要做應用，特別是如果你是一名年輕的教員，那么你就更應該只專注于一個方向，然后成為這個領域上最厲害的人。
這是應用機器學習的一個危機。但它的確可以用于很多事情，對吧?在 90 年代，我接觸了很多應用。
CIFAR Azrieli 全球學者，Graham Taylor
GT：也就是說和現在相比沒啥太大不同?
YB：上世紀 90 年代，人們對神經網絡和機器學習產生了濃厚的興趣。加拿大的制度鼓勵與工業(yè)界的合作，這樣做可以為基礎科學獲得資助。所以我用一些合同資金來資助一些長期研究。也許這不是預期的結果，但該制度確實通過資助基礎研究含蓄地鼓勵了神經網絡和機器學習的發(fā)展。我們應該更加重視長遠的問題，因為使我們在人工智能領域取得驚人進展的正是這些問題。
我可以補充一些關于贈款的內容。
有一件事我開始時沒有意識到，當你給一個組織寫提案時，比如加拿大自然科學與工程研究委員會(NSERC)，他們并不關心你打算干什么。他們只希望你做好工作，然后可以幾年后匯報給他們。
在研究中，你很難去預測什么是熱點，你會遇到什么樣問題。所以適應性很重要，NSERC 也同樣適用。不過，當你和一家公司簽訂合同時，倒不一定非得這樣。只要讓金主滿意就行，不必被自己說過的話束縛住。在 NSERC 資助的情況下，基本上就是做好科學工作，發(fā)表文章，在科研道路上保持靈活。
GT：管理實驗室時有哪些比較好的做法嗎?我們都知道你們有很多學生，很多設備，很多項目。
YB：尋求幫助。早期我沒法為博士后提供很多資助。所以我會選擇那些已經知道這些東西的博士后，這樣他們就不需要兩年的時間來提升，并且可以幫助管理一個更大的團隊。在攻讀博士學位時，我們不知道如何管理一個團隊或領導一個團隊，但我們覺得應該這樣做。讓我受益匪淺的一件事就是發(fā)現學生在領導能力方面的天賦。我經常發(fā)布實習機會，所以我的實驗室有來自其他地方的本科生或研究生，也有想管理并擅長于此的博士生。有些最終也不太擅長管理;有些最終可以管理多個學生。有時候，年輕人的確比年長的管理者做得更好。
GT：現在提供給博士后的工作種類越來越多，聘請高質量的博士后是否變得越來越困難?
YB：這個不確定，畢竟我也不是一個很好的例子。
GT：好吧，但還是有很多人被吸引到這里。請問您有什么判斷方法嗎?
YB：有一個方法對我來說很有效，那就是找一個有數學或物理背景并且涉足機器學習的人：這些人可以很快學會這些技能。所以可以考慮讀博兩至三年的博士后，這類人值得招聘。他們目前還無法在 Google Brain 或其他類似的大公司找到工作，因為他們還沒有證明自己的機器學習能力。這是一場賭博，但在有些情況下對我很有利。
GT：你一般如何說服博士后們去接受一個博士后的職位，而不是馬上進入工業(yè)界呢?
YB：如果他們來到機器學習實驗室并參與發(fā)表的研究，這將大大增加他們的工業(yè)價值。所以如果他們做博士后，即使以后他們想進入工業(yè)界，他們也能獲得更好的職位，更高的薪水。當然了，這因人而異。有些博士生并不需要博士后來獲得高薪職位，對吧?產生這種情況的原因可能是對方想從事學術工作，因為金錢并不是人們唯一關心的事情。做一個博士后實際上也很不錯：可以了解更多關于學術界的事，可以參與管理，甚至寫作等等。
GT：在人員方面，你認為理想的規(guī)模是多少?
YB：這取決于教授，以及他管理團隊的經驗。我一開始只有三個人，但現在我有一個龐大的團隊。我不可能一下子做到這一點。所以我逐漸學會了如何管理更多的人，建立基礎設施，以及融資。你應該根據自己的成長速度來發(fā)展。有些人和五六個以上的學生在一起就會感到不舒服，這是說得過去的。當然，當你有更多的學生時，你可以產生更多的論文。但是你花在每個學生身上的時間更少了，所以這對他們來說可能沒有什么好處。
我曾與一個大團隊友好共事 15 年的關鍵就是促進合作。換句話說，不要讓每個學生分散開來做各自的項目，而是讓他們靈活地展開新合作。那么他們就不是一對一的關系了，而是一個大網絡中的一部分。
GT：點對點通信是不?
YB：完全正確。更多的是社交價值。如果他們依靠一個人來獲得反饋，而這個人剛好這方面不是很在行的話，他們就會感覺不舒服。但如果他們有 10 個同事，就會建立一個更豐富的網絡。
GT：那么創(chuàng)建這種環(huán)境的機制是什么呢?我想可能有物理上的機制，也有微妙地改變實驗室文化的活動。
YB：物理上的親近：讓學生在實驗室里而不是在家工作。給他們自由，除了你的項目之外，他們可以與其他教授合作，完成新的項目。減少學生與不同教授之間的隔閡。這樣可以使得學生群體更強大，學生可以自由地與其他教師進行討論。然后我們組織定期的活動，如閱讀小組，研討會和課外活動。
GT：最近，我與一位在美國工作過的人進行了一次關于合作監(jiān)管的對話。這位人士說，在美國，監(jiān)管人員的第一個話題是資金如何分配。而在加拿大，這個問題還沒提出來。
YB：這里的學生比美國便宜很多，這是一個很大的因素，是吧?但也許這也是一種文化問題。放下資金方面的事情，優(yōu)先合作，而不是抱著期望工作，這點很重要。
在主實驗室，我們有一個非正式的概念：有一個大的資金池，你可以和任何人合作，無論怎樣你都會得到資助。
GT：這是因為參與項目的主要研究人員決定資金池的運用嗎?
YB：雖然我的資金變成了公共資金池，這并不是一種固定模式，但如果項目里有一位資深教授的話，通常更容易獲得資金。所以項目組在向我請求資金時，我們寫的是贈款。合同也是一樣。
GT：找到自己的領域對于新教員來說非常重要——是否要去一個沒有其他人的領域工作?或者去一個已有教員和資深研究者的地方與他們合作?
YB：是的。去一個現有的團體要容易得多，只要你能和團隊的主要成員和睦相處。對于初級教員來說，如果他們喜歡這個團隊的精神，那就可以很輕易地開展工作。他們不必擔心資金問題，可以提出想法，共同督導，還可以在工作初期獲得反饋。
GT：我想談談招生問題。在最近的深度學習熱潮之前，情況可能有所不同。當你不太感興趣時，你會如何回應? 而當你很有興趣時，你又會怎么做?
YB：首先，要做的不僅僅是做研究，同時還要被大家熟知。參加研討會和會議，參觀其他實驗室。你不必等著被邀請。你可以說，「嘿，我要去那個地方。要我去做演講嗎?「然后你就能在網絡中被人所知。如果你想要通過贈款進行正式合作，同樣，這也會涉及到網絡方面。
這對招聘和教學都有很大幫助。教學的一個潛在影響就是學生會了解你。尤其是你的研究生班或者本科生畢業(yè)班。你可以談論你關心的事情并建立關系。你可以看到一些有潛力的學生，并試圖說服他們到你的實驗室。
所以我從大學和其他地方找了一些暑期實習生。這樣，你就能看到一個人是否有研究的潛力。這樣做比從一場面試中招聘一個人要安全得多，畢竟這個人會在這里待五年，對吧?
當然，我想去年這里大概有 700 份申請，今年可能會有 1000 份，申請渠道就有幾十個。所以你必須有條理。你需要秘書的幫助，需要那些定計劃的人來確保這份工作的流程自動化。如果你不這樣做，那事情就會變得很難辦了，因為你會被大量的應用程序淹沒，不能親自回復每一封電子郵件。
GT：最后我們要討論的是產業(yè)合作。你怎么知道合作是否合適?
YB：一開始你是不知道的，一般要在幾年后才意識到。通常情況下，雙方的期望都不匹配，所以你必須小心謹慎，并提醒業(yè)內人士，告訴他們學術界能為他們做些什么。重要的是，他們要明白，學者不是廉價勞動力。他們不生產產品，但卻可能會有變革商業(yè)的驚人創(chuàng)意。因此，業(yè)界需要明白，這只是投資的一部分。他們還必須讓人從算法和原型出發(fā)理解產品，否則合作注定失敗。我們總是不太想去討論這個問題，因為這意味著公司的成本會增加。但是你必須這么做。
GT：你是否曾被迫與公司解約?
YB：沒有，一般是雙方都認為沒必要續(xù)簽合同。
GT：我猜他們通常有固定的期限?
YB：是的，合同通常是 1 年，2 年或 3 年。
GT：最后，還有什么我們沒有注意到的，你想和新教員分享的嗎?
YB：要多傾聽自己的直覺。許多人缺乏必要的自信，因此錯過了機會。作為研究人員，我們的主要工作是提出一些有用的想法來推動知識的進步。這些想法總是隱藏在我們大腦的某個地方，我們必須培養(yǎng)自己的能力，給這些想法足夠的孕育時間。你需要一周的時間去思考，而不是去編程、寫作甚至閱讀。就想想那些困擾你的大問題就行。
GT：謝謝你!我認為你說的很多內容都是我在工作的幾年里學到的最重要的經驗。但如果有人能在一兩年后看到這一點，那就很有價值了。就像你說的，你并沒有被訓練成一個領導實驗室的博士。
原文鏈接：https://www.cifar.ca/news/news/2018/08/01/q-a-with-yoshua-bengio?platform=hootsuite
版權申明：本站文章部分自網絡，如有侵權，請聯系：west999com@outlook.com
特別注意：本站所有轉載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權歸原作者所有，如需使用，請與原作者聯系。
