イアン 今日は来てくれて どうもありがとう
ご招待ありがとうございます
アンドリュー 来れて嬉しいです
あなたは最も目立っている深層学習の研究者の１人です
個人的な物語を 少し共有していただけませんか
今しているこの研究を どんな経緯でするようになったか
はい 是非やりましょう
実のところあなたに最初に会う直前に 機械学習に興味をもちました
以前は神経科学の研究をしていたのですが スタンフォードで
学部生の顧問をしていたジェリー・ケインが 「イントロ・トゥ・AI」クラスを取るように勧めてくれました
あれ それは知りませんでした
それまでAI は良い考えだと思っていましたが
実践では主に起こっていたのは
ゲームAI というようなものでした
人間のプレイヤーでないゲームのキャラクターが
ハードコードされたルールで
異なる時に異なる既に書かれたセリフを 言うよう使われ方でした
その後 あなたの「イントロ・トゥ・AI」の授業を 受けた時には
線形回帰や線形回帰の 予測誤差のバイアス・バリアンスの分解のような話題を扱っていました
これが本当の科学で 神経科学ではなくAI で
科学者の道を歩めると確信し始めました
なるほど そしてどうなったのですか
コースを受け終わって 後にTA として戻ってきました
なるほど １TAとしてね
大きな転換点は コースのTA をしていた時に
学生の１人で友達の
イーサン・ドライファスが
ジェフリー・ヒントンの信念ネットワーク(DBN)の論文に 興味持って
I see.
スタンフォードでボルツマン・マシンを 実行するための初期のGPU CUDA を使ったマシンを
冬休みの余った時間を使って ２人で作ってしまいました
I see.
このころには
深層学習が将来の方向性だという 強い直感を持つようになりました
私が使っていたサポートベクターマシーンのような
他のアルゴリズムの多くは
適切な漸近解析を備えているとは 思えませんでした
より多くの学習データを与えると 速度が低下していましたし
同じ量の学習データでも
設定を変更することによっても 大きく性能を上げることは難しいです
これに気付いた頃から 可能な限り深層学習に集中するようにしました
リチャード レイナの とても古いGPU の論文で
あなたの初期の多くの研究を 認めていたのを覚えています
そうなんです 私たちが作ったマシンを使ってあの論文は書かれています
なるほど。
最初のマシンは イーサンのお母さんの家で自分たちのお金を使って
作っただけのような物でした
その後は 研究所のお金を使って スタンフォードの研究所用の最初の２、３台を作りました
すごいですね この物語は全く知りませんでした よかったです
そして今日では
深層学習の世界に起こった旋風は
あなたがGAN を 発明したことです
どうやって思いついたのですか
生成モデルを 長い間研究していました
GANは 生成モデルの１つの方法でした
生成では多くの学習データがある時に
学習させて学習データに似たデータを作ることを目指していますが 想像上のものでした
以前はそのような形のものは 見られませんでいした
わたしがGAN を思いつく前にも 他のいくつかの方法を使う生成モデルがあり
数年は人気でした
博士号の期間のほとんどを 他の方法を使った研究をしていたので
ボルツマン・マシンや スパース符号化などや
何年にも渡って人気な他の方法の 利点や欠点を
知っていました
これらの欠点のすべてを 避けられるなにかをずっと探していました
そして最後にバーで 友達と生成モデルについて議論していた時に
何かのスイッチが入って
こんな風に話し始めました これをして
これとこれをすれば 絶対に上手くいくさと言いました
友達はうまくいくとは 信じませんでした
その時は深層学習のテキストを 書かなければいけなかったのですが
I see.
この方法が動作するという 強い確信があったので
家に帰って コーディングを書き上げて きちんと動作しました
では 最初のGAN は たった一晩で実装したのですね
友達のさよならパーティーがあったバーから
家に帰ってから 深夜に実装しました
I see.
最初に作ったバージョンが きちんと動きました
これはとても幸運でした
ハイパーパラメーターや他の方法を 探す必要がありませんでした
こんな話をどこかで読みました
あなたは死にかける経験をして そのことでAI に献身していることを再確認した話を読みました
この話を聞かせてください
そう 実は死にかけたわけではなかったのですが そうなったのだと思った瞬間がありました
非常にひどい頭痛を経験して
医師の中に脳内出血しているかもしれないと 考えた人がいました
この時私は
脳内出血があるかどうか確認するMRI を 待っていました
この時に考えていたことのほとんどは どうすれば他の人たちによって
その当時研究として考えていたことを
結果的に確実に実行できるか と気が付きました
I see. I see.
振り返ると とても馬鹿げた研究の考えでしたが
I see.
その時点では
機械学習の研究を実施していくことが
実際に人生で最も優先することだと 実感しました
なるほど それは素晴らしいです
もうすぐ死ぬかもと思った時でさえ
研究を完了してもらうことだけを 考えていたのですね
なるほど。
それは献身ですね
なるほど。
現在でも GAN の多くの動きの中心にいますね
敵対的生成ネットワークのです
GAN は今後どうなっていくと考えているのか 教えてもらえますか
現在は GAN は 色々な用途に使われています
半教師あり学習であったり 他のモデルのために学習データを生成したり 科学実験をシミュレーションすることにまで使われています
原理的には これらの用途は 他の種類の生成モデルで実現することもできます
このため GANは 重要な岐路に立っています
今は 上手く効果がでるときもありますが
GAN で性能を上げるのは 科学というよりは芸術になっています
人々が10年前に深層学習に感じていたのと 多かれ少なかれ同じようなものです
当時は
ボルツマン・マシンを部品として 信念ネットワーク(DBN)が使われていました
DBN は とても繊細でした
時が経つと Rectified Linear Units や バッチ正規化に乗り換えて
そして深層学習が かなり頼れるものになりました
GAN を深層学習と同じように 頼れるものにできたら
現在使われているところで GAN が使われているのを
ずっと目にするでしょうが より大きく成功しているでしょう
GAN を安定させる方法を 見つけることができなかったとしたら
深層学習の歴史に貢献した主なものは
生成モデルで行う作業の
行い方を示したことになるでしょう
最終的には GAN は 他の形の生成モデルで置き換えられるでしょう
なので 私はおよそ40%を GANを安定させるために使っています
ではあなたのように約10年前に
深層学習を始めた人たちが 気付けば先駆者になっていたというような
ことのように
今 GAN を始めた人たちが
上手く制御できたら 初期の先駆者になることもあるでしょう
そうです 既に多くの人が 初期の先駆者です
GAN のこれまでの歴史を 語るとしたら
Indico、フェイスブック、バークレー校などの
様々なことを成し遂げた他のグループを 挙げる必要があります
あなたはあなたの研究以外にも
深層学習の本も共著してます これはどういう経緯だったのですか
ヨシュア・ベンジオ、アーロン・カービルとの共著です
彼らは私の博士課程での 共同アドバイザーでした
現代版の深層学習についての 最初のテキストを書きました
英語版と
中国語版のどちらでも とても人気です
この２言語版で約７万部を 売り上げています
この本から多くのことを学んだと 学生からの感想を多く聞いています
他の本と少し異なるやり方を したことの１つは
深層学習に必要な種類の数学を 最初に焦点を当てて紹介している点です
あなたのスタンフォード大学でのコースで 分かったことの１つは
線形代数と確率が 非常に重要な一方で
人々は機械学習のアルゴリズムに夢中になっていることです
しかし優秀な実践者になりたければ
最初から全てで使う方法の基礎となる基本的な数学を 習得しておく必要があります
このため 目指したのは
本の最初で数学の基礎に焦点を当てた例示を しているということです
この方法なら 線形代数の全てを学ぶ必要はなく
深層学習で
最も役に立つ 線形代数を
短期集中で見ることができます
数学が少しあやふやだったり 数年間見てなかったりした人には
本の最初から始めれば 数学の背景を知り
深層学習を 学び始められるのですね
知る必要がある事実は 本に入っています
利用できるように集中して 努力することが絶対に必要です
なるほど。 なるほど。 立派なことです。
もし数学がすごく苦手だと
少し苦痛を伴う経験ではあるでしょうが
学習の経験の覚悟があって 習得できると信じていれば
必要なツールは 全て含んでいます
私は深層学習の研究を 長くしてきた１人として
興味があります もし過去を振り返ったとして
AI や深層学習が 何年かを経て
進化してきたことについて どう考えているか教えてください
10年前には コミュニティとしての
深層学習の最も大きな課題は
AI に関連するような作業について 一体どうすれば効果を持つかということでした
単純な作業については とても良いツールがありました
手作業で抽出した特徴でのパターンを認識させたいときは
人の設計者が多くの調整をして
特徴を創り出して コンピューターに手渡していました
この方法は様々なことで 効果を上げていました
例えば どの広告をユーザーが クリックするか予測したり
他の様々な基礎的な科学分析にはよかったですが
大変苦労していたものは 画像の数百万のピクセルに関するものや
音のウェイブ形式のファイルに関するものでした
何もないところから システムは理解を築く必要がありました
５年ほど前に これらの障壁を やっと越えることができました
現在は 非常に多くの道があり
もしAI に関することがしたい人にとって
どの道を進むのかを 選ぶことが最も難しい問題かもしれません
教師あり学習が効果があるのと同じように 強化学習をうまく動くようにするのか
教師あり学習のように 教師なし学習を動作するようにするのか
機械学習のアルゴリズムが 公平で避けたい偏見を
反映させないことを目指すのか
AI を取り巻く社会的問題が うまく行くようにして
AI が社会の激変や失業の問題を起こすのではなく
みんなに恩恵をもたらすことを 確実にすることを目指すのか
現代は
驚くべきほどの種類のことを 行うことができます
AI の影の部分を防ぐためのことだったり
AI がもたらす利点の全てを さらに引き出すこともできます
現在は 非常に多くの人が AI に関わることをしたがっています
こういう人たちへは どんな助言はありますか
AI の道に入りたい人たちの多くが
博士号や同様の資格が 絶対に必要だと考え始めるようですが
実はもう必須ではなくなってきたと思います
多くの注目を集める方法の１つとしては 良いコードを書いてGitHub に上げることがあります
最上級で働く人が
解決しようとしている問題を 解決する面白いプロジェクトをあなたが行っていて
あなたのGitHub のリポジトリを 見つけたらすぐに
あなたを見つけられますし 働かないかと誘われるでしょう
私がOpenAI や
グーグルで採用したり募集した人の多くは
インターネットのオープンソースのフォーラムで
その人たちが貢献したものを見て そこから興味を持ったからです
論文を書いてArchive に載せることも 良いことではあるのですが
多くの場合に
科学的機関誌に新たに学問的に発行されるほどに
何かを洗練された形にするのは 非常に困難ですが
役に立つソフトウェアの形にするのは かなり早期に到達することができます
あなたの本を読んで
資料で練習しGitHub に公開し できればArchive に公開ですね
本を読むことで学んだ場合には
同時にプロジェクトで 作業することが本当に大切です
既に興味を持っていた領域へ
機械学習を適用する方法模索するのもこの１つです
例えば 野外生物学者で 深層学習を始めたいなら
鳥を識別するために使うかもしれません
もしくは 人生でどこに機械学習を使うのか 考えつかない場合でもこれももう１つの方法です
ストリートビューを使った住所の表記の分類機を作るようなものを 選んでもいいかもしれません
この問題ならデータセットが準備されていて 使いやすい状態になっています
この方法なら
本を読んだり Coursera で見て
その中で説明されている概念の全ての基本的なスキルを 実行することができるでしょう
過去数年で
敵対的攻撃の防御の先例の研究を ますます行われているのを見てきました
これを少し教えていただけますか
ええ 敵対的攻撃の防御例は
機械学習へのセキュリティという 新しい領域の始まりです
過去には コンピューターのセキュリティ問題というのは
攻撃者がコンピューターを騙し 悪いコードを実行するものでした
これはアプリケーションレベルでの セキュリティーと呼ばれています
また身元を偽って送られてきたメッセージを
正しい人から送られてきたと コンピューターに信じさせる攻撃もあります
これはネットワークレベルでの セキュリティーと呼ばれています
現在では 機械学習アルゴリズムを騙して
行うべきでない想定のことを 実行させるものも出てきました
機械学習アルゴリズムを実行しているマシンは 正しいコードを実行しているにも関わらずです
同時に機械学習アルゴリズムを
実行しているプログラムには
ネットーワークのどこからメッセージが来たのか 分かっているにも関わらずです
進化の始まりのうちに 新しい技術に
セキュリティーを組み込むのが 重要と考えます
動作するシステムをまず作ったあとで セキュリティーを追加するのは非常に困難だと気付きました
とても楽しみにしています
この時点でこの領域に飛び込み 機械学習のセキュリティー問題を予測し始めるなら
何年後かに 遡って直すのではなく
初期の段階から アルゴリズムが守られるようにできます
ありがとうございます 素晴らしかったです
あなた自身に関する魅力的な話が たくさんありました
何年もあなたを知っていましたが
実は知らなかったです 色々と共有いただいてありがとうございます
どういたしまして お招きありがとうございます 楽しく話せました
この線の勾配になります。この導関数項はこの線の勾配となります。しかしこの ありがとうございます
どういたしまして