ピーター きょうは
来てくれてありがとう
多くの人があなたを
有名な機械学習、深層学習 ロボットの研究者として知っています
みなさんにあなたの物語を 聞かせてくれませんか
どのようにして 今の仕事にたどり着いたのでしょうか
もし14才の時に何をしたいと思っているかと 聞いてくれたら
いい質問でしたね
こんな風には なるつもりはありませんでした
実は その当時は
プロのバスケットボール選手になるのが 良い道だと思っていましたが
実現するのは 無理だと思いました
バスケットボールでは うまくいかなくて
機械学習は 運が良かったです
そうです うまくいきませんでした
バスケットボールは楽しかったですが 職業にするのは
うまくいきませんでした
学校で本当に好きだったのは 物理と数学で
そこから
物理と数学を 実世界で適用するような
工学を学ぶのは とても自然に思えました
そして実は 電気工学を学部で学んだあとは
何をすれば良いか 分かりませんでした
というのも文字通り 工学なら何でも面白く思えました
どんなものでもなぜ動くのかを理解するのは 面白く思えましたし
作ることも 面白く
そして ある意味で
人工知能は様々な方法ですべての分野を
助けることになると思えたので 人工知能が勝ち上がりました
またすべてのものの 核になるようにも思えました
機械が考えられる方法を考えることは
特定の分野を選ぶことよりも これがより全てのことの核かもしれません
わたしはAI は次世代の電気だと言い続けています
まるで14才版のあなたは
これの初期版が すでに見えていたかのようです
過去数年には 強化学習の 多くの研究をされています
なにが起こっているのですか なぜ強化学習は突然うまく行き始めたのですか
深層強化学習に取り組む前は
強化学習を多く研究しました
実のところ あなたと スタンフォードのデュラントととです
自律飛行ヘリコプターに 取り組んだのち
バークレーで ロボットに洗濯物を
折りたたませる研究をしていた学生と 一緒に研究しました
この研究を特徴づけていたのは
学習なしでは実現できないことを 実現することと
学習と共に多くの専門知識の組み合わせが この領域をうまく動かすには必要でした
そして とても興味深いのは
というのは専門知識が必要で
専門知識を得るのは楽しかったですが
新しい適用例で成功するには とても時間がかかるものでした
専門知識が必要で しかも機械学習の専門知識が必要でした
私にとっては 2012年の
トロントのジェフリー・ヒントンのグループの ImageNet での画期的な成果がありました
AlexNetでは 突然 教師あり学習が
その領域の工学的な知識を ほとんど必要としないことを示していました
AlexNet では視覚の工学的な知識は ほとんど使われていませんでした
知識が不要なことは 強化学習でも
同じような視点で 再思考してみることが必要だと考えさせられました
強化学習が成果を出せるように 転用してみて
深層教師あり学習で起こったように 同じように興味深いことができないか考えさせられました
あなたは深層強化学習の可能性を
多くの人が見つけるよりも 早くから見ていたように聞こえます
では未来を見た場合に
次はなにが見えるでしょうか
あなたは 深層強化学習での
次に来るいくつかの波を どう予測されていますか
深層強化学習で面白いのは 教師あり学習よりも
ある意味で より多くの課題があるということです
教師あり学習では 入力と出力を学習させることが核心です
一方 強化学習では データをどこから得るのかという疑問があります
これは調査問題です
データがある場合には 貢献度分配の問題があり
どの先行するアクションに対して 報酬を与えるべきかを解釈する問題があり
さらに安全性の課題もあります
自律的にデータを 収集するシステムの場合
多くのケースで 実はかなり危険です
自動運転車の会社が
深層強化学習を行うと 言ったらどうなるでしょうか
この会社の車が 使えるものになる前に
多くの事故にあうのは かなりあり得る話です
確かに 学ぶための負例が 要りますね
はい どうにかして 負例を入手する必要があります
そして 良いことに正例もです
深層強化学習には
まだ課題が多くあります
うまく動作するようにするには 詳細を調整する必要があるという点です
困難な部分は 表現ですが
強化学習そのものも いまだに多くの課題があります
ここで思うのは
深層学習が 進歩することで
強化学習の課題のひとつに対して 大きく答えを出そうとしています
これは表現の部分です
パターンがあれば 深層ネットワークで
表現を表わすことができて パターンを捉えることができたとしても
パターンをどう分けるかが 強化学習での大きな課題のひとつです
そして 大きな課題は
長期的な観点で システムが理由付けできるようにすることです
現在は 深層強化学習の成功は
非常に短期的な観点のものです
こんな問題があります
５秒の観点で 上手くいって
この間は問題全体で 上手くいったとして
５秒間の尺度は １日の尺度とは大きく異なるものです
ロボットだったりソフトウェアのエージェントとして 生きる能力としても大きく異なります
このように 多くの課題があります
また安全性も 多くの課題があります
どのようにして安全に学んで
一旦上手くなったとして どう学習しつづけるかという点についてです
もう一度 身近な例の
自動運転車を 例にあげましょう
自動運転車が 人間の運転者よりもうまくなるには
人間の運転者が３～５百万キロに１度くらいの頻度で 大きな事故を引き起こすとして
一旦人間と同じくらい上手になったとして
負例に出会うまでに 長い時間がかかります
もし人間の運転者よりも 自動運転車の方が上手にしたい場合には
この状態まで到達すると システムを向上できるような
この重要なデータを収集するのは 非常に困難になります
探索に関する多くの課題があり これに関連しています
今 一番楽しいと 思っていることは
一歩立ち戻って 強化学習のアルゴリズムを 学習させられないかということです
強化学習はとでも複雑です
貢献度分配も 探索も非常に複雑です
このため
教師ありでの深層学習では ドメインの専門性を置き換えることができたように
学習するようなプログラムを 作れるかもしれません
私たちが詳細を 設計するのではなく
強化学習のプログラムが これをすべて行います
報酬関数をですか それともプログラム全体ですか
強化学習のプログラム全体を 学ぶ方法のものです
想像してみてください
どんなものになるとしても 強化学習のプログラムがあり
問題を投入してみて どれくらいの時間で学習できるのか見てみます
ある程度の時間が かかったとします
また別のプログラムで この強化学習プログラムを変更します
変更後に どの程度速く学習できるか見てみます
もし より速く学習できれば
良い変更として保管して そこから改善していきます
素晴らしいです 難しくて熱意が要る方針ですね
たぶん このことは
利用できるようになる計算力の量と 大きく関連しています
この場合には ループの中で 強化学習を実行させることになります
現在は 強化学習を 最終的なものとして実行していますが
より多くの計算力が あればあるほど
包み込むアルゴリズムの中で 強化学習を
ループさせるようなものが 可能になります
さて 14才のときのあなたから 始まり
AI を20年以上 研究されてきました
その間に AI に関する理解が どのように進化したか少し聞かせてください
まずAI を見始めた 最初のころは
非常に興味深く思えました
スタンフォードに博士号を取りに来た時と 偶然にも一致して
アイコンとなるような人がいました ジョン・マッカーシーもいて話しました
彼は非常に異なる方法を 使っていました
2000年の当時は
他のひとは異なる方法を 使っていました
ダフネ・コラーとも話しました
わたしの最初のAI の考えは ダフネの考えで形成されたと思います
彼女のAI の授業や 確率的グラフィカルモデルの授業にもです
本当に好奇心を そそられていました
多くのランダム変数の分布があり 一部の変数の条件を付けることで
残りの部分についての結論を 導びけるということは
もし計算で扱いやすくできれば 非常に役立つものでした
計算できるようにするのは 間違いなく挑戦でした
その後
修士号を始めるころに あなたがスタンフォードに来ました
あなたは本当に役立つ 現実性のチェックをしてくれました
先ほどの方法が研究を評価するのに 正しい測定基準ではなくて
研究しているものと その研究がもたらす影響の関連性を
測ろうとするものでした
研究にどんな数学が使われているかではなく どんな変化をもたらすかを測ろうとしてくれました
それは素晴らしいです
気付いてませんでした 忘れていました
ほとんどの人たちが尋ねることは別として 本当に特別なものでした
もし何か１つ肝に命じていることがあるとしたら 何ですかと聞かれたら
「それによって実際に何かができるかどうかという 関連性を見られるようにしなさい」というアンドリューの助言です
あなたはAI での素晴らしいキャリアを 築いてきましたし これからもそうでしょう
このビデオを見ている人たちに対して
もしAI のキャリアを 始めて追求したいとしたら
どんな助言をしますか
人工知能の領域に参入するのは とても良い時だと思います
人の需要をみると かなり高いです
多くの求人があり
研究にしても 起業にしても
それ以外にも 多くのことができます
実際に取り掛かってみるのは 間違いなく賢い選択だと思います
多くのものが 自習で学べます
学校に通っいても いなくてもです
多くのオンラインのコースが あります
例えば あなたの機械学習のコースだったり
他にもアンドレ・キャパシーの
深層学習のコースもあります オンラインのビデオを公開していて
始めるには 素晴らしい方法です
バークレーは 深層強化学習のコースがあり
これも全ての講義が オンライン公開されています
これらはすべて 始めるのに良い場所です
大切なことの大部分を占めるのは 自分で試してみることです
読んだり ビデオを見るだけでなく 試してみることです
TensorFlow などの フレームワークだったり
Chainer、Theano PyTorch だったりをです
どれでもいいのですが
始めるのはとても簡単で 非常に早く何かを作って動かせるようになります
自分自身で 練習してみることですね
なにが動作して動作しないかを 実装して結果を見てみることですね
先週ですが Mashable に記事がありました
英国の16才の人のことで
Kaggle の競技でも 成績のよい人の１人です
記事によれば
彼は一旦始めると 学習し
オンラインで資料を見つけ 自分で学んで
いわゆる正式なコースは 全く受けていないとのことでした
そして Kaggle の競技で 非常に競争力のある16才が生まれたのです
間違いなく可能です
学びたい人にとっては
良い時代に暮らしてます
確かにそうです
あなたが必ず質問を 受けていそうなことの１つは
もしAI か 機械学習か深層学習を
始めようとしている人がいたら 博士課程に出願すべきか 大きな企業での仕事に就くべきでしょうか
これはどれくらいの指導を得られるかと 大きく関係があると思います
博士課程では
保証されています
教授の仕事は
あなたの顧問であり
あなたの面倒を見ることです
教授はできることをなんでもして
あなたが
例えばAI などのやっていきたいことに 強くなれるように助けることです
とても明確に特別に割り当てられた人がいて 時に２人のこともあります
文字通りこれが教授の仕事で それが教授である理由でもあります
教授がその仕事で好きなことは 多くの場合
学生がより能力を付けるように 育てることです
必ずしも企業では できないというわけではありません
多くの会社には 良いメンターがいて
新しく入社した人の教育や育成を 助ける人たちがいますが
博士課程に 入学することほどには
保証されていたり 前提になっていないでしょう
課程の最重要点は 学ぼうとしているということと 助けてくれる誰かがいることです
それぞれの会社や博士課程次第 ということでしょうか
もちろんです 多くのことを 自分自身で学ぶことができますが
鍵となるのは より経験を積んだ人がいたり
教える側の責任として 時間を使って
進行度合いを加速させてくれる人がいると より速く学べるということです
あなたは強化学習の領域で 継続的に最も注目を集めているリーダーの１人です
深層強化学習で
上手くいっていることは 何でしょうか
深層強化学習が 成功している例を見ると
非常に好奇心を そそるものです
例えば ピクセルをもとに アタリ製のゲームを扱うように学習することです
ただの数字であるピクセルを
なんらかの方法で処理して ジョイスティックの行動に変換します
他の例では バークレー校で
私たちが研究した 歩行を閃いたロボットがあります
報酬は 北に行けば行くほどほど良くて
地面との衝撃が少ないほど 良いというものでした
どのようにかして 歩行や走行が 発明すべきものと判断しました
誰かが 歩行や走行が何かを 見せたわけではないのにです
子供用のおもちゃで遊んで 空いているところが合致するように
組み合わせていくことを 学んだロボットがあります
これらの例での 生のセンサー入力から
例えば駆動系のトルクなどの生の制御までを 学べることは
非常に興味深いことだと思います
しかし それと同時に
単一のアルゴリズムで済むことも 非常に興味深いです
Trust Region Policy Optimization (TPRO) では
走ることを 学ぶロボットがいたり
立ち上がることを 学ぶロボットがいたり
２本足のロボットを
４本足のロボットと交換しても
同じ強化学習のアルゴリズムを使って 依然として走ることを学ばせることができます
つまり 強化学習のアルゴリズムは 全く変更しません
般化できるものです アタリのゲームも一緒です
DQN はどのゲームに対しても 同一のDQN でしたが
現在まだ不可能なところに
最先端に ぶつかりはじめました
それぞれのタスクに対して ゼロから学べるのは良いことですが
過去に学んだものを再利用して 次のタスクをより速く学べれば
より素晴らしいことです
これはまだ最先端の領域で まだ可能になっていません
基本的に 常にゼロからの開始が必要です
いつ頃に 深層強化学習が
私たちの周りのロボットに 配置されると思いますか
現在 配置されようとしている所にいる ロボットです
実践では 現実的なシナリオでは
教師あり学習から始まり
人の行動を真似するもので 人が作業をします
多くのビジネスはこのような方法で 作られるでしょう
人が裏で多くの仕事を するような状態です
フェイスブックの メッセンジャーアシスタントを考えてください
影には人がいて 多くの作業を行います
このようなアシスタントが できるでしょう
機械学習が人の行うことに 合致するものを人に提案することで
人の選択肢を少なくして クリックするだけで良いようにします
時とともに
とても良くなったところで
強化学習を導入し始めて 影の人に合致させるだけではなく
実際に目的を与えるようにします
与えるようにする達成目的は
メッセンジャーの２人が どれだけ早く会議を設定できるかだったり
飛行機を予約できるかだったり するようなものになります
どのくらい時間が かかっただったり
どの程度 満足いくものだったか
しかし 人が どう行動するのかを見せて
行動を真似させるには 多くのものをゼロから作る必要があるでしょう
つまり 行動を真似させるときには 教師あり学習で
人の行動を真似させて あとで段階的に
強化学習を行って より長い時の観点で考えられるようにする
このような要約で 正しいでしょうか
そう言えるでしょう
ゼロからの強化学習は とても見ていて面白いもので
好奇心をそそるもので 強化学習ロボットが何もないところから
色々と閃いていくところを見ることほど 面白いものはなかなかありません
時間のかかることですし いつも安全にできるわけではありません
どうもありがとうございました 素晴らしかったです
話す機会ができて 本当によかったです
アンドリュー お招きいただきありがとう 非常に感謝しています