嗨, 伊恩，謝謝您今天的參與 謝謝您的邀請 Andrew. 我很高興能在這裡 今天, 您是世界上最引人注目的深度學習研究人員之一 跟大家分享一下您個人的故事 您怎麼會從事這項工作？ 是的。這聽起來很棒 我想我開始對機器學習有興趣是在剛遇見您之前 在此之前我一直從事於神經科學, 我的大學導師 Jerry Cain, 在史丹佛鼓勵我去上您的 AI 課程 喔， 我並不知道 所以在那之前我想 AI 是個好主意 但在實用上, 主要 的觀念會像是遊戲 AI 人們有很多寫死的規則對於 遊戲中非玩家角色說著 不同的腳本在不同的時間點 然後，當我上了您的 AI 入門課程， 涵蓋了像 線性迴歸分析跟線性迴歸分析的誤差變異分解 我開始意識到這是真的科學我真的可以 有科學職涯在 AI 而不是神經科學 好的, 然後發生了什麼事？ 後來我回來成為您的助教 對了, 我的助教 所以對我來說真的很大的轉捩點是在我當助教那個時候 一位學生 我的朋友 Ethan Dreifuss 對於 Geoff Hinton 的深度信念網路論文有興趣 瞭解 我們兩個人建立了第一個 GPU CUDA環境的機器在 史丹佛為了跑華生機器在我們寒假的空閒時間裡 瞭解 在那個時候, 我開始有 很強的直覺認為深度學習會是未來要走的路 我做過的很多其他的演算法 像是支援向量機 似乎不是正確的漸進 您加入更多的資料它們會變慢 或者相同的資料量 很難透過改變設定來讓它們的表現好很多 從那個時候起我開始盡可能專注在深度學習 我記得 Richard Reyna 很老的 GPU 論文 認可您在早期做了很多工作 是的, 那篇論文使用一些我們建立的機器 是的.是的. 第一台機器我們建立在 Ethan 媽媽家用我們自己的錢 然後, 我們用史丹佛實驗室的錢建了第二跟第三個 哇, 真棒, 我不知道這個故事 在今天, 有一件 事真的掀起 深度網路世界的風暴是您發明了 GANs (生成對抗網路) 所以您怎麼產生這種想法的? 長久以來我一直在研究生成模型 所以 GAN 是一種方式來做 生成模型, 您有很多訓練資料您想要 去學習去製造更多的資料來像是訓練資料， 但它們是想像的資料 它們從未被用這種方式見過 有好幾種其他方式來產生模型 在我有 GAN 的主意之前好幾年 在我使用所有這些方式在我的博士研究時 我知道所有其他架構像是 玻爾茲曼機跟稀疏編碼的優缺點 跟所有其他已經好幾年很熱門的方向 我在尋找一種方式來一次避免所有的缺點 最後, 當我在酒吧跟我的朋友爭論有關生成模型的時候 一些事情被點到了 我開始談到您要做這個 這個跟這個然後我發誓這可行 我的朋友不相信這樣可行 我應該是要寫深度學習教科書在那個時候 瞭解 但我強烈的相信這個可行 我回到家, 在同一晚寫完程式, 而它的確可行 所以您花了一個晚上來建置第一個 GAN ? 我在半夜建置它 在我從酒吧回來那一晚, 我的朋友的離別聚會 瞭解 而第一個版本就成功 真的很幸運 我並不用去搜尋超參數或是其他的 在某個地方我讀過一個故事說 您有一次瀕死經驗讓您更堅定承諾於 AI 告訴我們這個故事 是, 我實際上並不是瀕死而是我覺得如此 我有很嚴重的頭痛, 一些 醫生認為我可能腦內出血 就在我等著 我的 MRI 報告是否有腦內出血的結果時 我發現我大部分的想法是在 確認其他人最終會 嘗試我那時候的的研究觀點 瞭解 現在回想起來, 其實是很傻的研究觀點 瞭解 但在那時候 我覺得我人生最重要的優先事項 是完成我機器學習的研究工作 是的, 真棒 當您覺得您可能很快死掉 您只是想如何完成您的研究 是的.是的. 是的。這是承諾 是的.是的. 在今天, 您依然是很多 GAN 活動的核心 也就是生成對抗網路 告訴我們您如何看 GAN 的未來 現在, GAN 被用在很多不同的東西上, 像是半監督式學習 為其他模型產生訓練資料甚至模擬科學實驗 理論上, 所有這些東西可以用其他生成模型產生 我想 GAN 在一個很重要的十字路口上 現在, 它們有時候作用得很好 但這可能是一種藝術而不是科學來真的讓它表現 它有點像深度學習在十年前 那時候, 我們使用 深度信念網路像是玻爾茲曼機當作建置礎石 而他們是很挑剔的 隨著時間推移, 我們換成像線性整流函數跟批次正常化 而深度學習變得更可靠 如果我們可以讓 GAN 變得像深度學習一樣可靠 我想我們會看到 GAN 用在 所有今天用到的地方而更加成功 如果我們無法找出如何穩定 GAN 的方式 我想它對深度學習歷史的貢獻 是它會告訴人們如何做 所有這些事情涉及生成模型 最後我們會用其他種生成模型來取代它 所以我也許花大約 40% 的時間在試著穩定 GAN 瞭解, 很酷, 很多的人們 參與深度學習已經 10 年了, 就像您 變成是先鋒 也許人們今天參與 GAN 如果成功了, 就會是先鋒 有很多人已經是 GAN 的先鋒 我想如果您要瞭解目前為止 GAN 的歷史 您真的需要提及其他團體像是 Indico 跟臉書及柏克萊對於他們做過的不同事情 除了您做的研究外 您也合著了一本深度學習的書， 情況如何? 是的, 跟 Yohua Bengio 及 Aaron Courville 是我的博士聯合顧問 我們寫了第一本現代版本深度學習的教科書 一直很受歡迎 無論是在英文版和中文版 我想我們兩個語言加起來賣了約 7萬本 有很多的學生反應他們從中學習了很多 我們跟其他書的不同點是我們是從 很注重在您需要在深度學習用得到的數學開始 我想從您在史丹佛的課程學到的是 線性代數跟機率是很重要的 人們對於機器學習演算法很興奮 但如果您要變成真正優秀的從業者 您首先需要掌握基本的數學基礎這是整個方法的基石 我們確定先給予 很聚集的數學基礎在這本書的開端 這樣,您不需要再去學整個線性代數 您可以獲得 很快的速成課程 對於深度學習最有用的線性代數 所以即使有人的數學基礎不太穩固，或好幾年沒碰過數學 也是可以從您的書開始 得到一些背景知識來進入深度學習? 所有您需要知道的事實都在書中 肯定需要花一些功夫來練習它們 是的.是的. 是的.是的. 太棒了 如果有人真的很怕數學 這可能會是有點痛苦的經驗 但如果您準備好來學經驗且您相信您可以掌握它 我想您所需要的工具都在那裡 當作一位長期在深度學習工作的人 我很好奇, 如果您回頭看這些年 告訴我們您如何看 AI 跟深度學習這些年的演進 十年前，我覺得這個社群 最大的挑戰來自於如何讓 機器學習或者 AI 真的可行 我們有很棒的工具用在簡單任務上 我們想在識別模式中如何萃取特徵 設計這些的人們可以做很多 工作來建立這些特徵然後交給電腦跑 這是很棒的對於不同的事情 像是當使用者點擊時的預測 或者不同的基本科學分析 但我們很難去做一些牽涉到百萬像素的圖像或者 原始音訊波型這些 系統需要從頭開始來建立它的理解 我們也許在五年前終於跨越了一些障礙 而現在, 我們在這一點上是 有很多不同的路徑開放給想要進入 AI 的人 也許他們面對最難的問題是他們要走哪條路 您要做強化學習還是監督式學習? 您要做非監督式學習或是監督式學習? 您要確認機器學習演算法是公平的且 不反應我們希望避免的偏差? 您要確認 AI 圍繞的社會議題是好的 就是確認 AI 對每個人都有益 而不是引起社會動盪跟失業的問題? 我認為現在 真的有很驚人數量的不同事情可以做 既要防止 AI 的負面影響，還要確保 我們利用它帶給我們所有的好處 所以在今天很多人想要進入 AI 您會給這些人什麼建議? 我想很多想進入 AI的人想說 他們絕對需要博士學位或者類似的憑證 我不覺得這是絕對必要的 您可以得到關注的一種方式是寫一些好程式把他們放在 GitHub 上 如果您有一個有趣的專案解決了 一些在上層工作的人想要解決的問題 當他們發現您在 GitHub 的資料庫 他們會找到您邀請您去幫他們工作 我雇用了很多人 去年在 OpenAI , 今年在 Google 我有興趣跟他們一起工作因為 我看到了他們在開源論壇發佈的東西 撰寫論文然後將它們放在 Archive 也是很好 很多時候 比較難達到您有閃亮到足以 對於科學文獻來講新的學術貢獻 但通常您可以早一點做到一些有用的軟體 所以讀您們的書 練習一些東西放在 GitHub 上或者也許 Archive 上 我想如果您用讀書的方式來學習 同時做一個專案也是很重要的 也許選擇一些 您已經感興趣的領域應用機器學習 像是如果您是野外生物學家您像進入深度學習 也許您可以用來辨識鳥類 如果在您的生活中您沒有任何應用機器學習的想法 您可以選擇像是街道住址號碼分類器 所有個資料集已經都設置了讓您用起來很直接 這樣, 您可以練習所有 基本技巧當您讀這本書的時候或者當 您看 Coursera 影片在解釋一些概念時 在過去幾年 我看到您也做一些工作在對抗例子上 告訴我們吧 我想對抗例子是 新興的領域我稱為機器學習安全 在過去, 我們看到電腦安全問題 攻擊者可以騙電腦來跑一些錯誤的程式 這稱為應用程式級安全 然後有一種攻擊是人們可以騙電腦相信 網路的訊息是從一個人其實並不是他們宣稱的那個人來的 這是稱為網路級安全 我們現在開始看到您可以騙 機器學習演算法做他們不該做的事 即使跑在機器學習演算法的程式是正確的程式 即使跑在 機器學習的程式認識 真的從網路來的訊息的來源 我想建立安全性在 於新的科技在開發階段的一開始是很重要的 我們發現先建立一個可行的系統以後再加上安全管制很難 我對於這個觀念很興奮如果 我們現在栽進去開始參與機器學習的安全性 我們可以確定這些演算法從頭開始是安全 與其過幾年後回溯再來修補它 謝謝, 真棒 有很多很迷人的您個人的故事 儘管已經認識您好幾年 我真的不知道, 謝謝您跟我們分享 不客氣, 謝謝您邀請我, 真的很棒 Okay?
Thank you.謝謝. 不客氣