比戸です。スムージーの美味しい季節ですね。
今回は「ディープラーニングの未来」というパネルディスカッションに関するブログの翻訳をお送りします。なぜなら、この業界の有名人が多数参加していて、かつとても興味深い内容だからです。
そのパネルディスカッションは2015年7月に開かれた機械学習の国際会議、ICML内のディープラーニングワークショップでの企画でした。オリジナルのブログはBrief Summary of the Panel Discussion at DL Workshop @ICML 2015であり、著者のKyunghyun Cho氏の許可を得て、日本語訳を掲載します。
— ここから翻訳
<はじめに>
ICML 2015で開かれたワークショップのフィナーレは、ディープラーニングの未来についてのパネルディスカッションだった。数週間に及ぶワークショップ主催者間のメール往復と議論の末、我々は以下の6人のパネリストを招いた。
ディープラーニングによる近年の革命はアカデミアとインダストリー（民間企業）の両方が支えてきたものなので、聴衆がそれぞれに属する専門家の主張を聞けるよう、偏りない人選に最善を尽くしたつもりである。内容について記す前に、まず登壇してくれたパネリストの皆さんに感謝したい。
パネルのモデレータはMax Wellingが務めてくれた。個人的にも、彼は完璧なモデレータだったと思う。ディープラーニングの未来における重要なトピックの議論を、6人の素晴らしいパネリストを巻き込んで、1時間というタイトなスケジュールの中、Max以上にうまくハンドルできる人は思いつかない。主催者を代表して（実はMaxもその中の一人だが）彼に感謝したい。
すでにパネルディスカッションは終了したが、6人のパネリストから聞くことができたことをこのブログにまとめて残したいと考えている。残念ながらディスカッションが始まった後に、私はノートを持ってないことに気がついた。あわててバックパックを引っ掻き回して1枚の紙見つけたが、言い換えれば、十分な余白がなかったわけなので、ここに記すものはそこでの議論を全てを正確にカバーしているわけではない。
いま飛行機でこれを書いているため、この後（あるいは前）の記述には誤りがあるかもしれないが、どうか許して欲しい。ただ、ディスカッションの熱が冷め切ってしまう前に書き留めておきたかったのだ。なお、引用符マークの中の記述はほぼ引用ではなく言い換えである。
<ディープラーニングの現在と未来>
このトピックはまずBengioの指摘から始まった。自然言語処理（NLP）の分野では過去1年間で様々な研究上の進展があったものの、（訳注：音声認識や画像認識と比較すると）ディープラーニングによる革命が起こったとまでは言えない、という。BengioはNLPがディープラーニングの次の大きな応用分野（next big thing）になる可能性があると信じている。また、Bengioはディープラーニングによる教師無し学習についても、もっと研究的な努力が割かれるべきだと考えており、LeCunやHassabis、Schmidhuberも同調していた。
興味深いことに、6人のパネリスト中4人、LeCun、Hassabis、Lawrence、Murphyが、医療／ヘルスケアがディープラーニングのnext big thingになるだろうと考えていた。彼らが興味を持っている応用分野は、例えば医療画像解析（LeCun）や創薬（Hassabis）などである。これに関しては、Lawrenceがすでのその方向で研究を進めており（当日彼が招待講演で触れたDeep Healthがそうだ）、そのアプローチをGoogle DeepMindやFacebookのそれと後日比較すれば面白い結果になるだろう。
LeCunとHassabisは共に、NLPにおける質問応答（QA）システムと対話システムを、next big thingとして取り上げていた。特に、知識ベース推論や知識獲得、プランニングなど（訳注：いわゆる伝統的な人工知能の研究分野）を、いかにニューラルネットワーク（あるいは、実際には他のどの機械学習モデルでもいい）と組み合わせるか、という視点をLeCunが持っていたのに私は感銘を受けた。この組み合わせについてはHassabisとSchmidhuberの2人の口からも繰り返されていた。
SchmidhuberとHassabisは連続した意思決定が次の重要な研究トピックになると考えているらしい。Schmidhuberが語ったカプチン・モンキー（訳注：オマキザル、高い知能を持つことで知られる）の例は楽しく気付きのあるものだった（彼がカプチーノ・モンキーと間違って発音したことだけでなく）。カプチン・モンキーは、木の上にある果物を取るために、順序だったサブゴールを難なく設定することができるという。例えば、木に近づく、木に登る、果物を掴む、などである。Schmindhuberの予測によれば、機械がこのような動物レベルの知能を持つのは10年以内だという（例えばカプチン・スマートフォンだろうか）。
他のパネリストとは少し異なり、LawrenceとMurphyは、人間がうまく解決できない種類のタスクやデータセットにも、ディープラーニングの成功をもたらすことに深い関心があるようだった。ここではそのようなタスクを”非認知的タスク”（non-cognitive task）と呼びたい。Lawrenceの指摘では、これまでディープラーニングが成功した応用先は、人間であれば難なくこなせるタスクに限定されているという。だが、今後はそれが非認知的タスクまで広がる可能性がある。もしそうなれば、モデルの解釈可能性がさらに価値のあるものになるだろうとMurphyは付け加えた。
階層的なプランニング、知識獲得そして非認知タスクの実行能力などが合わさると、自動化された研究環境（automated laboratory）というアイデアが自然に現れると、MurphyそしてSchmidhuberは説明した。そこでは、機械が能動的にゴールを設定し、（実験と観測により）知識を拡大でき、世界で起きている事象についての洞察（つまり解釈）を与えることができるという。
<インダストリーとアカデミアの格差について>
LeCunの驚くべき主張では、インダストリーとアカデミアの研究組織の研究インフラにおける格差は、今後拡大するのではなく、むしろ縮小していくということだった。もしそうであれば素晴らしいことだが、私は今のところLeCunよりも悲観的だ。
LeCunは続いてFacebook AI Research (FAIR)におけるオープンな研究インフラに関する取組みを説明した。彼によれば、FAIRだけでなくインダストリーがオープンな研究を推進すべき理由は以下の3つだという。
それが一般に科学が進む道であるから
外部にいる潜在的な社員／研究員に対して会社を魅力的なものにできるから
それが他社との研究競争において一歩先行し続ける手段であるから
にわかには信じがたいが、HassabisによればGoogle DeepMind（以下単にDeepMindとする）は研究用のTorchベースのソフトウェアフレームワークをFAIRと共有することで合意したという。そのような噂をしばらく前に何となく聞いたような記憶はあるが、まさにそれが実現したというのである。この合意が、FAIRとDeepMind両社の研究をさらに加速することは間違いないだろう。一方で、すでにディープラーニング研究者が集中している2大組織がコードベースを共有することが、他の研究組織（例えば大学）にとってもメリットがあるのかどうかは、今後の進展を見守る必要がありそうだ。
Hassabis、Lawrence、MurphyそしてBengioの4人は、インダストリーの研究組織に多くのリソース（訳注：人やデータや計算機すべてを含むだろう）が集まってることは、アカデミアの研究組織にとってそこまで大きな問題にはならないと考えているという。データ・ドリブンな会社（GoogleやFacebookを考えて欲しい）に限らず、多くの会社は大量に蓄積されたデータの恩恵を受けているというよりも、むしろその扱いに困っている状態にあって、それがアカデミアの研究組織の研究者にとって大きなチャンスであるとLawrenceは述べた。Murphyは、現在のアカデミアの状況を、宇宙開発競争をアメリカとの間で繰り広げていた時代のロシア（訳注：当時はソ連）にたとえた。つまりリソース不足は、アルゴリズムのブレークスルーにとって依然有用か、もしかしたら必要条件であるかもしれない、とBengioやHassabisは考えているのだ。さらにHassabisは、人工的なデータの生成が容易であるタスクや問題を見つけるのも、一つの手であると指摘した（例えばゲームなど）。
Schumidhuberの答えは最もユニークで、真に人間レベルに達した人工知能エージェントのコードは、高校生でも触れるほどシンプルかつ短いものになるだろう、という。言い換えれば、インダストリーが人工知能とその研究を独占してしまうという恐れはないということだ。全く心配ない！
<バブルと二度目の人工知能の冬の危機について>
（訳注：冬は三度目だと思われるが、これまで2度あった人工知能ブームの終焉後にやってきた、研究も投資も下火になった不遇の時代のこと）
ジャーナリストのインタビューの度に、人工知能への過度の期待がバブルになって弾けること（訳注：以下overhypeと呼ぶ）について尋ねられてきたLeCunが、この話題の口火を切った。やはりoverhypeの危険であり、4つの要因があるという。
- 研究資金を必要とし自己欺瞞に陥ったアカデミアの人間
- 投資を必要としているスタートアップ創業者
- 投資会社の投資担当者
- ジャーナリストの暴走（おそらく彼らも原稿料を欲している）
ディープラーニングにおけるoverhypeではこれまで、4.のジャーナリストが主要な役割を果たしてきており、想像とは違って、全てのニュース記事がGoogleやFacebookの熱心なPRの結果というわけではないという。そういう状況なので、ナンセンスな記事を書いてしまう前に研究者に意見を尋ねるのは好ましいことだとLeCunは語った（訳注：研究者にインタビューしないジャーナリストの記事が酷い、という意味か）。
LeCunとBengioは、研究スピードを維持しながらoverhypeを防げる可能性のある解決策として、オープンなレビューシステムを考えている。そこでは（本物の）科学者や研究者が論文を発表して公開の場でコメントを付け合うことが出来る。そうすれば、人々は各論文の利点だけでなく欠点も理解できる（そしてその単一の論文がいきなりシンギュラリティを引き起こすなどありえないないことも）。この方向性をさらに押し進めて、Murphyは論文で使用されたコードを公開することの重要性を強調し、論文で提案された手法の弱みや制約について第三者が容易に把握できるようにすべきだと言った。またその上で、提案アプローチの限界については論文の中で著者らが明確に述べることも重要だ、と付け加えた。もちろん、それにはLeon BottouがICML本会議の講演で語ったような査読環境が条件とはなるけれども（著者が自ら提案手法の限界について考察することが、論文を抹殺する＝リジェクトする根拠として査読者に使われてしまうのは望ましいことではなく、むしろ推奨されてしかるべきである、ということ）。
同様に、我々研究者や科学者はゆっくりと、だが着実に、一般大衆にアプローチしていくべきだとLawrenceは提案した。もしジャーナリストが信用出来ないならば、我々自身でその役割を果たす必要があるかも知れない、と。その良い例は、Ryan AdamsとKatherine Gormanによる”Talking Machine”ポッドキャストである。
Hassabisは、overhypeは危険だが、同時に3度目の人工知能あるいはニューラルネットワークの冬は今後起きないだろうと信じているとのことだった。理由としては、我々はこれまでの冬の時代をもたらした原因（訳注：人工知能がすぐに人間を超えるような楽観的な主張・宣伝で過度の期待を集めすぎたこと）をより良く理解しており、今なら我々は度を越した誇張をせずに上手く対応出来るはずだからだ。もし私が意見を加えるならば、Hassabisに同意したい。何故なら特に、ニューラルネットワークはすでに商用アプリケーション（Google音声検索を考えて欲しい）で広く使われており、冬がもう一度訪れることは今後より難しくなるからだ（つまり、ニューラルネットワークはすでに社会で使われている！）。
Schumidhuberも、人工知能の冬について心配は無いという点については他のパネリストに同意しつつ、そこには別の理由があると言った。それは、より再帰型ニューラルネットワーク（Recurrent Neural Network）型に近いアーキテクチャを指向した（つまり脳の構造に近い）ハードウェア技術の進展だという。彼が信じるところでは、今こそニューラルネットワークにより適した（特に再帰型の）ハードウェア・アーキテクチャに移行すべき時であり、それは多くの短い配線と少数の長い配線で接続された多数のプロセッサが詰まった、小型の3次元集積回路だという。
私が一番感心したMurphyのコメントはこうだ。「それは、まさに人間の脳の仕組みそのものだ。」
<人工知能脅威論とシンギュラリティについて>
イーロン・マスクやスティーブン・ホーキング博士、ビル・ゲイツなどの超有名人から最近投げかけられた人工知能の危険性への指摘だが、DeepMindのHassabisは確実にその核心にいる人物だ。何故ならHassabisが人工知能をイーロン・マスクに紹介したことが、彼にその警戒心を与えたかもしれないからだ。しかしながら、最近数ヶ月のうちにHassabisはイーロン・マスクを説得し、ホーキング博士とも3時間に渡るチャットを行ったという。Hassabisによれば、ホーキング博士の懸念は以前よりも和らいだという。一方、我々は未来を恐れるのではなく、それに備えるべきだということを彼は強調した。
Murphyはこの類の人工知能脅威論とシンギュラリティ論争は大いなる無駄ではないかと述べた。何故なら、気候変動や経済格差の拡大など、今すぐ注目を集めるべき重要な問題が世界には他にもたくさんあるからだという。人工知能脅威論は過度に耳目を集める憶測に過ぎず、今すぐやめるべきだと言い、それにBengioとLeCunも同意していた。同じように、Lawrenceも人工知能脅威論は心配に値する問題ではないと考えており、むしろデジタル寡占やデータ格差の方に重大な関心を寄せていた（訳注：個人に関するデータの企業による所有や、そこから得られる知見・予測を商用利用する権限の範囲に関するもの）。
LeCunからは、我々はインテリジェンス（の有無）とその性格を区別するよう注意すべきだ、という興味深い主張がなされた。多くの人が人工知能を恐れる理由である、様々な問題行動（訳注：シンギュラリティの文脈で語られる破滅的な振る舞い）というのは、およそ全て人間にも成しうるものだが、その場合でも人間が十分に賢いからではなく、その性格（訳注：悪意や不注意をもたらすもの）に原因がある。そしてインテリジェントな機械は、そのような性格まで受け継ぐとは限らないのだ。
Schumidhuberはこの問題に関して、とてもユニークな視点を持っていた。彼が言うには、有能な人工知能エージェントとそれほどでもないエージェントのコミュニティが現れ、そしてそれらはお互いに興味を持つが、人類に対してはそれほど関心を持たないかもしれないという（10歳の女の子が同年代の女の子と遊ぶことに興味を持つように、あるいはカプチン・モンキー同士がそうであるように）。さらに、人工知能エージェントの集団は、人類（あるいはSchumidhuber）よりも圧倒的に賢くになる一方、人間の性格のようなものを持たないとSchumidhuberは考えている。これはLeCunの主張と似ている。
<オーディエンスからの質問>
質疑応答の間、残念ながら私はマイクを持って動き回っていたので、結果としてメモを取ることが出来なかった。そこでは素晴らしい質問（例えばTijmen Tielemanのもの）とパネリストと返答があった。もしこれを読んで、他の質疑応答を覚えている人がいたらコメント欄に書いてもらいたい。
私が覚えている質問の一つが、Tielemanからのものだ。彼はパネリストに、能動的な学習と探索が効率的な教師無し学習に使えるという点に関しての意見をぶつけた。SchumidhuberとMurphyが答えたが、内容を明らかにする前に、私が本当にこの質疑応答を気に入ったことを記しておく。簡単にいえば（あるいは私の記憶が定かであると言える範囲では）、世の中の事象をより正しく説明することを推奨すれば、機械が能動的な探索を行うようになるのは必然ということだ。周囲の環境（世界）に対する知識とその蓄積は報酬を与えられるべきことなので、その報酬を最大化するために、人工知能エージェントまたはそのアルゴリズムは能動的に周囲の環境を探索するようになる（たとえ教師有り学習の設定でなくても）。Murphyによれば、これは赤ん坊が教師ありデータどころか教師無しデータも十分にない状況で、あのように迅速に学習する仕組みに近いのかもしれないという（能動的に探索することが、品質の高い教師無しデータの収集を促進し、その不足を補っている）。
実は、幸運なことに私が最後の質問をすることができた。主にHassabis、LeCun、Murphyに直接向けたものである。その質問は、もしインダストリーの企業が（偶然にしろ意図的にしろ）真の知能を持つ人工知能エージェント（その定義には拘らない）を作り上げたとしたら、どうするのだろうか、というものである。まだ社会的な準備ができてないことを考えて封印するのか？商用化のチャンスを考えて秘密にしておくのか？ここに彼らの返答をまとめたいと思う（もちろん私が覚えている限りであり、繰り返しになるが、メモは無い）。
彼らの反応に共通していたのは、真の人工知能の実現はそんな風には起こらない、ということだ（つまり、偶然によって思考する機械が誕生することはない）。LeCunの返答は、だからそんな心配は無用とのことだった。完璧な人工知能の達成は、アカデミアとインダストリーの多くの科学者が皆で努力した結果として徐々に実現されるはずだという。HassabisもLeCunと同様に考えており、そのように完璧な人工知能が誕生することは想像できないし、もしそれが起きたとしても、秘密にはしておけないだろう（もし起きれば人類の歴史において最大の機密漏洩になるだろう）という返答だった。しかしHassabisはまた、私が意味したような真に思考する機械を手にする未来に向けて、我々人類は準備をすべきだとも付け加えた。HassabisとLeCunは2人とも、今年公開された映画「Ex-Machina」（訳注：「エクス・マキナ」日本未公開）について触れ、とても良く出来た美しい映画だが、あんなことは起きないと言った（ところで、私は今のところ今年の映画の中で一番好きだ）。
私もパネリストらの返答は全て正しいと思う。しかし残念ながら、私の質問には別の意図もあったのだが彼らは触れなかった（明らかに時間制限のせいだが）。それは、もし我々が実際に「思考する」アルゴリズムや機械を手にして、かつその仕組みの重要な部分が少数の営利企業（つまりHassabisやLeCunやMurphy達が所属するような企業＝GoogleやFacebook）によって開発されたとしたら、一体誰がその極めて重要なコンポーネントの権利を持つのか？開発した少数の企業や個人が独占的に所有するのか？それとも公的なもの（人工知能に関する普遍的な権利のような何か）にされるべきなのか？そして最も重要なこととして、これらの選択肢の中から、誰が決断を行うのか？
<結論（？）>
（ディープラーニングの未来に関して）結論なんていうものが無いことは明らかだ。それはこれからも続いていく取り組みであり、私、そして我々ワークショップ主催者はこのパネルディスカッションがディープラーニングの未来そして汎用的な人工知能へ至る道に少なくともうっすら明かりを当てることができていたら、と期待している（ところで、Lawrenceは”汎用的な人工知能”という言葉の不合理さについて、Zoubin Ghahramaniの言葉を引用した「鳥が飛ぶことを飛行と呼ぶなら、飛行機のそれは人工的な飛行なのだろうか？」）。
- ただ、個人的にとても興味深く、気付かされた点についていくつかまとめさせて欲しい。
強化学習としての教師無し学習とautomated laboratory：各教師無しサンプルを個別に扱うよりも、集積された知識の量に応じて定義された報酬を最大化するようにモデル自身が選択的に教師無しサンプルの一部を選ぶようにすべきである
- overhypeは、研究者が最新の成果やアイデアを広めることに積極的に参加すればかなり防げるものであり、それは（ジャーナリストなどの）非専門家が（一般の）非専門家に対して語るよりも効果的である。その手段としてポッドキャストやオープンな論文レビューシステム、ブログ記事はどれも役立つだろうが、単一の解というのはなく、組み合わせる必要がある。
インダストリー対アカデミアのトピックについては、合意されたことは何一つなかったようだ。ただ、インダストリーとアカデミアはそれぞれ（単一の大いなる目標に向けて）一部異なるが重複する役割を担っている、という点では、アカデミア側のパネリスト3人もインダストリー側の3人と同じ考えを持っているように見受けられた
- ディープラーニングは人間が得意とするタスクで成功を収めてきた（例えば画像認識や音声認識）。今後は研究者として我々も、人間が決して得意ではない（あるいは習熟に時間がかかりすぎる）種類のタスクやデータについても取り組んだほうがよい。その意味では、医療／ヘルスケアはパネリストの多くが興味を持ち、そしておそらく研究努力をすでに投じている分野のように思われた
パネルディスカッションを行うと、残念ながらいくつか不満な点が出てくることが多い。私はたいていの場合それらに耐えられるが、どんなトピックであろうともまず避けられないことだ。今回最も不満だったのは、1時間という自分たちで決めた時間制限だった。これは、聴衆と共有しきれないほどの知見を持つ6人の素晴らしいパネリストを迎えておきながら、平均して1人あたり10分しか時間が許されていなかったということになる。主催者の一員として述べるが、この誤った決定の責任の一部は私にある。パネルディスカッションが1日開催で、より多くのパネリストとトピックと聴衆を迎えられていればどれだけ良かったことか（少なくとも私はそうしたかった！）。しかし、もちろん、3日間続くワークショップというのは我々の業界ではありえないことだ。
もう一点、改善できるはずだと思うのは、パネルディスカッションの非継続性である。このようなパネルディスカッションは、毎年恒例のイベントにもなりうる。ワークショップと並列開催にできるかもしれないし、オンラインで行うことだって可能だ。それは、パネリストの多くが指摘したように、我々（そして他の人々が）ディープラーニングの研究成果、あるいはより広大な機械学習分野の未来について、overhypeを引き起こすことを抑制できるだろう。それは今よりはるかに多くの聴衆、それもベテラン・若手研究者だけでなく、興味を持つ一般人にもアプローチできる素晴らしい機会となるだろう。もしかしたら、私か、この記事を読んだあなたが、”Talking Machines”の責任者にEメールを送ってそれを提案すべきかもしれない。
<（追記）Schmidhuberからのコメント>
パネリストの1人、Schmidhuberがこの投稿を読んで幾つかの点をはっきりさせたいとしてコメントを送ってきてくれた。許可を得て、彼のコメントをここに原文のまま記す。まとめてくれたことに感謝したい。もしかしたら詳細な原稿を出版するのも良いかもしれないと私も思う。とりあえずいまはただいくつか説明を加えさせて欲しい。
—
我々が持つハードウェアは、物理法則によってもっと3次元RNN型に（つまり脳型に）近づかざるをえない。それは多数の短い配線と少数の長い配線で接続され高密度に3次元集積されたプロセッサの集合だ（例）。
物理法則自体がその3次元ハードウェアアーキテクチャを示唆しているようであり、その物理法則こそが高性能なコンピュータと我々の脳の双方が似たものになる理由なのだ。つまり、生物学的な動機付けを一切抜きにしたとしても、RNN型のアルゴリズムは今後ますます重要になるということであり、そうすればニューラルネットワークの冬の再来の可能性は見当たらない。
私は「心配することは何もない」とは言っていない。ただ、遠い未来に過度に賢くなった人工知能からの保護望むとすれば、それは彼らがほとんど人類に興味を持たないという点においてだろうと、以下のコメントのように主張しただけだ（証拠）。そして近い将来について言えば、ビジネス的な激しいプレッシャーによって、フレンドリーだがそれほど賢くはない人工知能が、ユーザー満足度向上のために使われるだけだろう。
子供のように柔軟に学習できる人工知能ができたとすると、残念なことにそれを少年兵（（訳注：人間に危害を加えうるもの）のように訓練することは、倫理的に問題のある人間がいればできてしまうかもしれない。それは恐ろしいことだろう。なので、私は「全く心配ない」とは決して言わないが、それと同時に、有名なSF映画（「Matrix」や「ターミネーター」等）のストーリーによくある、ロボットと人類の馬鹿げた対立は全く考慮に値しないと思と思っている。
以上。
Juergenより
—
— ここまで翻訳
いかがだったでしょうか。以下は比戸個人の感想です。
- 教師無し学習と探索の組み合わせ
- 連続的な意思決定
- 非認知的タスク
このあたりがディープラーニングの次のターゲットになると、アカデミアだけでなくDeepMindやFacebook AI Researchのトップが考えているというのは知っておいたほうが良いと思いました。
一方で、人工知能の脅威論やバブル崩壊については日本と同様にメディア側が過熱しすぎてる現状があって、それに主体的に触れたことがある人からすると、海外の大物たちも自分たちと同じような感想を抱いているというのは、安心できることではあります。
SchumidhuberはICML前にLeCunと論文の引用の仕方について議論を起こすなどしていましたが、視点や言動もユニークな人のようですね。特に「フレンドリーだがそれほど賢くはない人工知能が、ユーザー満足度向上のために使われる」という辺り、ニクいですね。
論文のオープンなレビューシステムについては、arXivの各論文ページの下の余白にReddit／スラドのようなモデレーション付きスレッド型掲示板があったら、それで機能しそうな気がしました。
まとまらないですが、このへんで。
