イアン 今日は来てくれて
どうもありがとう ご招待ありがとうございます アンドリュー
来れて嬉しいです あなたは最も目立っている深層学習の研究者の１人です 個人的な物語を
少し共有していただけませんか 今しているこの研究を
どんな経緯でするようになったか はい
是非やりましょう 実のところあなたに最初に会う直前に
機械学習に興味をもちました 以前は神経科学の研究をしていたのですが
スタンフォードで 学部生の顧問をしていたジェリー・ケインが
「イントロ・トゥ・AI」クラスを取るように勧めてくれました あれ それは知りませんでした それまでAI は良い考えだと思っていましたが 実践では主に起こっていたのは ゲームAI というようなものでした 人間のプレイヤーでないゲームのキャラクターが ハードコードされたルールで 異なる時に異なる既に書かれたセリフを
言うよう使われ方でした その後 あなたの「イントロ・トゥ・AI」の授業を
受けた時には 線形回帰や線形回帰の
予測誤差のバイアス・バリアンスの分解のような話題を扱っていました これが本当の科学で
神経科学ではなくAI で 科学者の道を歩めると確信し始めました なるほど
そしてどうなったのですか コースを受け終わって
後にTA として戻ってきました なるほど
１TAとしてね 大きな転換点は
コースのTA をしていた時に 学生の１人で友達の イーサン・ドライファスが ジェフリー・ヒントンの信念ネットワーク(DBN)の論文に
興味持って I see. スタンフォードでボルツマン・マシンを
実行するための初期のGPU CUDA を使ったマシンを 冬休みの余った時間を使って
２人で作ってしまいました I see. このころには 深層学習が将来の方向性だという
強い直感を持つようになりました 私が使っていたサポートベクターマシーンのような 他のアルゴリズムの多くは 適切な漸近解析を備えているとは
思えませんでした より多くの学習データを与えると
速度が低下していましたし 同じ量の学習データでも 設定を変更することによっても
大きく性能を上げることは難しいです これに気付いた頃から
可能な限り深層学習に集中するようにしました リチャード レイナの
とても古いGPU の論文で あなたの初期の多くの研究を
認めていたのを覚えています そうなんです
私たちが作ったマシンを使ってあの論文は書かれています なるほど。 最初のマシンは
イーサンのお母さんの家で自分たちのお金を使って 作っただけのような物でした その後は 研究所のお金を使って
スタンフォードの研究所用の最初の２、３台を作りました すごいですね
この物語は全く知りませんでした  よかったです そして今日では 深層学習の世界に起こった旋風は あなたがGAN を
発明したことです どうやって思いついたのですか 生成モデルを
長い間研究していました GANは
生成モデルの１つの方法でした 生成では多くの学習データがある時に 学習させて学習データに似たデータを作ることを目指していますが
想像上のものでした 以前はそのような形のものは
見られませんでいした わたしがGAN を思いつく前にも
他のいくつかの方法を使う生成モデルがあり 数年は人気でした 博士号の期間のほとんどを
他の方法を使った研究をしていたので ボルツマン・マシンや
スパース符号化などや 何年にも渡って人気な他の方法の
利点や欠点を 知っていました これらの欠点のすべてを
避けられるなにかをずっと探していました そして最後にバーで
友達と生成モデルについて議論していた時に 何かのスイッチが入って こんな風に話し始めました
これをして これとこれをすれば
絶対に上手くいくさと言いました 友達はうまくいくとは
信じませんでした その時は深層学習のテキストを
書かなければいけなかったのですが I see. この方法が動作するという
強い確信があったので 家に帰って コーディングを書き上げて
きちんと動作しました では 最初のGAN は
たった一晩で実装したのですね 友達のさよならパーティーがあったバーから 家に帰ってから
深夜に実装しました I see. 最初に作ったバージョンが
きちんと動きました これはとても幸運でした ハイパーパラメーターや他の方法を
探す必要がありませんでした こんな話をどこかで読みました あなたは死にかける経験をして
そのことでAI に献身していることを再確認した話を読みました この話を聞かせてください そう 実は死にかけたわけではなかったのですが
そうなったのだと思った瞬間がありました 非常にひどい頭痛を経験して 医師の中に脳内出血しているかもしれないと
考えた人がいました この時私は 脳内出血があるかどうか確認するMRI を
待っていました この時に考えていたことのほとんどは
どうすれば他の人たちによって その当時研究として考えていたことを 結果的に確実に実行できるか
と気が付きました I see. I see. 振り返ると
とても馬鹿げた研究の考えでしたが I see. その時点では 機械学習の研究を実施していくことが 実際に人生で最も優先することだと
実感しました なるほど
それは素晴らしいです もうすぐ死ぬかもと思った時でさえ 研究を完了してもらうことだけを
考えていたのですね なるほど。 それは献身ですね なるほど。 現在でも GAN の多くの動きの中心にいますね 敵対的生成ネットワークのです GAN は今後どうなっていくと考えているのか
教えてもらえますか 現在は GAN は
色々な用途に使われています 半教師あり学習であったり 他のモデルのために学習データを生成したり
科学実験をシミュレーションすることにまで使われています 原理的には これらの用途は
他の種類の生成モデルで実現することもできます このため GANは
重要な岐路に立っています 今は 上手く効果がでるときもありますが GAN で性能を上げるのは
科学というよりは芸術になっています 人々が10年前に深層学習に感じていたのと
多かれ少なかれ同じようなものです 当時は ボルツマン・マシンを部品として
信念ネットワーク(DBN)が使われていました DBN は
とても繊細でした 時が経つと Rectified Linear Units や
バッチ正規化に乗り換えて そして深層学習が
かなり頼れるものになりました GAN を深層学習と同じように
頼れるものにできたら 現在使われているところで
GAN が使われているのを ずっと目にするでしょうが
より大きく成功しているでしょう GAN を安定させる方法を
見つけることができなかったとしたら 深層学習の歴史に貢献した主なものは 生成モデルで行う作業の 行い方を示したことになるでしょう 最終的には GAN は
他の形の生成モデルで置き換えられるでしょう なので 私はおよそ40%を
GANを安定させるために使っています ではあなたのように約10年前に 深層学習を始めた人たちが
気付けば先駆者になっていたというような ことのように 今 GAN を始めた人たちが 上手く制御できたら
初期の先駆者になることもあるでしょう そうです 既に多くの人が
初期の先駆者です GAN のこれまでの歴史を
語るとしたら Indico、フェイスブック、バークレー校などの 様々なことを成し遂げた他のグループを
挙げる必要があります あなたはあなたの研究以外にも 深層学習の本も共著してます
これはどういう経緯だったのですか ヨシュア・ベンジオ、アーロン・カービルとの共著です 彼らは私の博士課程での
共同アドバイザーでした 現代版の深層学習についての
最初のテキストを書きました 英語版と 中国語版のどちらでも
とても人気です この２言語版で約７万部を
売り上げています この本から多くのことを学んだと
学生からの感想を多く聞いています 他の本と少し異なるやり方を
したことの１つは 深層学習に必要な種類の数学を
最初に焦点を当てて紹介している点です あなたのスタンフォード大学でのコースで
分かったことの１つは 線形代数と確率が
非常に重要な一方で 人々は機械学習のアルゴリズムに夢中になっていることです しかし優秀な実践者になりたければ 最初から全てで使う方法の基礎となる基本的な数学を
習得しておく必要があります このため
目指したのは 本の最初で数学の基礎に焦点を当てた例示を
しているということです この方法なら
線形代数の全てを学ぶ必要はなく 深層学習で 最も役に立つ
線形代数を 短期集中で見ることができます 数学が少しあやふやだったり
数年間見てなかったりした人には 本の最初から始めれば
数学の背景を知り 深層学習を
学び始められるのですね 知る必要がある事実は
本に入っています 利用できるように集中して
努力することが絶対に必要です なるほど。 なるほど。 立派なことです。 もし数学がすごく苦手だと 少し苦痛を伴う経験ではあるでしょうが 学習の経験の覚悟があって
習得できると信じていれば 必要なツールは
全て含んでいます 私は深層学習の研究を
長くしてきた１人として 興味があります
もし過去を振り返ったとして AI や深層学習が
何年かを経て 進化してきたことについて
どう考えているか教えてください 10年前には
コミュニティとしての 深層学習の最も大きな課題は AI に関連するような作業について
一体どうすれば効果を持つかということでした 単純な作業については
とても良いツールがありました 手作業で抽出した特徴でのパターンを認識させたいときは 人の設計者が多くの調整をして 特徴を創り出して
コンピューターに手渡していました この方法は様々なことで
効果を上げていました 例えば どの広告をユーザーが
クリックするか予測したり 他の様々な基礎的な科学分析にはよかったですが 大変苦労していたものは
画像の数百万のピクセルに関するものや 音のウェイブ形式のファイルに関するものでした 何もないところから
システムは理解を築く必要がありました ５年ほど前に これらの障壁を
やっと越えることができました 現在は
非常に多くの道があり もしAI に関することがしたい人にとって どの道を進むのかを
選ぶことが最も難しい問題かもしれません 教師あり学習が効果があるのと同じように
強化学習をうまく動くようにするのか 教師あり学習のように
教師なし学習を動作するようにするのか 機械学習のアルゴリズムが
公平で避けたい偏見を 反映させないことを目指すのか AI を取り巻く社会的問題が
うまく行くようにして AI が社会の激変や失業の問題を起こすのではなく みんなに恩恵をもたらすことを
確実にすることを目指すのか 現代は 驚くべきほどの種類のことを
行うことができます AI の影の部分を防ぐためのことだったり AI がもたらす利点の全てを
さらに引き出すこともできます 現在は 非常に多くの人が
AI に関わることをしたがっています こういう人たちへは
どんな助言はありますか AI の道に入りたい人たちの多くが 博士号や同様の資格が
絶対に必要だと考え始めるようですが 実はもう必須ではなくなってきたと思います 多くの注目を集める方法の１つとしては
良いコードを書いてGitHub に上げることがあります 最上級で働く人が 解決しようとしている問題を
解決する面白いプロジェクトをあなたが行っていて あなたのGitHub のリポジトリを
見つけたらすぐに あなたを見つけられますし
働かないかと誘われるでしょう 私がOpenAI や グーグルで採用したり募集した人の多くは インターネットのオープンソースのフォーラムで その人たちが貢献したものを見て
そこから興味を持ったからです 論文を書いてArchive に載せることも
良いことではあるのですが 多くの場合に 科学的機関誌に新たに学問的に発行されるほどに 何かを洗練された形にするのは
非常に困難ですが 役に立つソフトウェアの形にするのは
かなり早期に到達することができます あなたの本を読んで 資料で練習しGitHub に公開し
できればArchive に公開ですね 本を読むことで学んだ場合には 同時にプロジェクトで
作業することが本当に大切です 既に興味を持っていた領域へ 機械学習を適用する方法模索するのもこの１つです 例えば 野外生物学者で
深層学習を始めたいなら 鳥を識別するために使うかもしれません もしくは 人生でどこに機械学習を使うのか
考えつかない場合でもこれももう１つの方法です ストリートビューを使った住所の表記の分類機を作るようなものを
選んでもいいかもしれません この問題ならデータセットが準備されていて
使いやすい状態になっています この方法なら 本を読んだり Coursera で見て その中で説明されている概念の全ての基本的なスキルを
実行することができるでしょう 過去数年で 敵対的攻撃の防御の先例の研究を
ますます行われているのを見てきました これを少し教えていただけますか ええ 敵対的攻撃の防御例は 機械学習へのセキュリティという
新しい領域の始まりです 過去には
コンピューターのセキュリティ問題というのは 攻撃者がコンピューターを騙し
悪いコードを実行するものでした これはアプリケーションレベルでの
セキュリティーと呼ばれています また身元を偽って送られてきたメッセージを 正しい人から送られてきたと
コンピューターに信じさせる攻撃もあります これはネットワークレベルでの
セキュリティーと呼ばれています 現在では 機械学習アルゴリズムを騙して 行うべきでない想定のことを
実行させるものも出てきました 機械学習アルゴリズムを実行しているマシンは
正しいコードを実行しているにも関わらずです 同時に機械学習アルゴリズムを 実行しているプログラムには ネットーワークのどこからメッセージが来たのか
分かっているにも関わらずです 進化の始まりのうちに
新しい技術に セキュリティーを組み込むのが
重要と考えます 動作するシステムをまず作ったあとで
セキュリティーを追加するのは非常に困難だと気付きました とても楽しみにしています この時点でこの領域に飛び込み
機械学習のセキュリティー問題を予測し始めるなら 何年後かに
遡って直すのではなく 初期の段階から
アルゴリズムが守られるようにできます ありがとうございます
素晴らしかったです あなた自身に関する魅力的な話が
たくさんありました 何年もあなたを知っていましたが 実は知らなかったです
色々と共有いただいてありがとうございます どういたしまして
お招きありがとうございます 楽しく話せました この線の勾配になります。この導関数項はこの線の勾配となります。しかしこの
ありがとうございます どういたしまして