Clik here to view.
深層学習モデルを用いたノンパラメトリック回帰問題に関する最近の研究
図1：ReLU-MLPによる2次関数の近似．このネットワークを用いるとHölder関数を効率的に近似できる（[Yarotsky, 2017]より引用）...
View ArticleClik here to view.
分散深層学習における耐故障性と可塑性
ImageNetを15分で学習して以来 [1]、Chainerと沢山のGPUを使って深層学習を並列化し、一回の学習に必要な時間を大きく短縮することができるようになりました。その後、ImageNetの学習は深層学習における並列化 ・高速化のデファクト標準ベンチマークとなりました...
View ArticleClik here to view.
ニューラルネット3D表現に対する微分可能レンダラー
本記事は、2019年夏のインターンシップに参加された島田直治さんによる寄稿です。 PFNの2019年夏季インターンシップに参加させていただいた東京大学大学院・情報理工学系研究科・修士2年の島田直治 (http://ut25252.starfree.jp/) です。大学ではCG (コンピューター・グラフィックス)...
View ArticleClik here to view.
Implicit biasによる正則化効果
本記事は，2019年度インターン生だった東京大学 D1 の中島蒼さんによる寄稿です．中島さんはインターンシップにおいて，畳み込みニューラルネットワークの学習について研究を行いました．この記事は，インターンシップ中に文献調査していたimplicit bias に関するレビューとなっています． NN の学習はなぜうまくいくのか 畳み込みニューラルネットワーク（Convolutional NN;...
View ArticleClik here to view.
Chanier Chemistryの大規模グラフのタスクへの拡張
本記事は、2019年インターンシップで勤務した 阿部健信 さんによる寄稿です。 こんにちは。2019年夏季インターンに参加した東京大学の阿部健信です。「Chanier-Chemistryの大規模グラフのタスクへの拡張」というテーマで取り組んだ内容を説明させていただきます。インターン内容のスライドはこちらにアップロードされています。 PFN Summer Internship 2019 /...
View ArticleClik here to view.
視覚からの触覚特性の推定 (ICRA2019 Best Conference Paper Award Finalist)
リサーチャーの高橋城志（Takahashi Kuniyuki）です． 2019年5月にロボティクス分野のトップ会議であるICRA2019が開催されました．そこに投稿された約2900件の論文から3件だけ選ばれるBest Conference Paper Award Finalistを受賞しました．この論文はリサーチャーのJethro...
View ArticleClik here to view.
化学反応におけるDeep learningの適用
近年様々な分野に対してDeep learningの応用が研究されてきています。 化学の分野でも物性値の予測モデルや、化合物の生成モデルの研究などが盛んになってきています。最近では、有機化合物の合成を行う際に必要な化学反応の予測をDeep learningで行うという試みが行われてきているのでその先行研究サーベイをしました。 サーベイ資料はこちらのSlideshareにアップロードしています。...
View ArticleClik here to view.
再計算でニューラルネット学習時のメモリ消費を減らす
エンジニアの楠本です。深層学習で再計算と呼ばれる手法を使って学習時のメモリ消費を削減する研究や実装に取り組んでいるのでその紹介をしたいと思います。 背景 大規模なニューラルネットの学習ではしばしば誤差逆伝播（以下同様）で GPU のメモリ不足に陥ることがあります。 通常、誤差逆伝播ではパラメータについての勾配を求める際に必要な順伝播の計算結果を (途中の計算結果も含めて)...
View ArticleClik here to view.
GraphNVP
本記事は、2018年インターンシップ・PEとして勤務した Kaushalya Madhawa さんによる寄稿です。 本記事はこちらの英語ブログの日本語訳です。 本記事では、私たちが最近投稿した論文 “GraphNVP: An Invertible Flow Model for Generating Molecular Graphs” を紹介します。 コードも公開しています → Github...
View ArticleClik here to view.
プログラミング教育推進月間の教材について
PFNフェローの丸山です。2月18日に、PFNは文部科学省、総務省及び経済産業省の「未来の学び プログラミング教育推進月間」に協力して、小学校向けのプログラミング教材を作成することを発表しました。この教材は、今年の9月に一部の小学校で、総合学習の一環として利用されることを目指しています（指導案のページはこちらです）。この記事では、私達PFNがなぜこのような活動をしているかをお話ししたいと思います。...
View ArticleClik here to view.
分散深層学習とモデル並列性
（本記事は、2016年インターンシップを経て現在はアルバイトとして勤務されている包さんによる寄稿です） はじめまして。Preferred Networksの分散深層学習チームでアルバイトをしている包です。私は分散深層学習の中でも主にモデル並列に関する機能実装を行っています。今回はモデル並列性の概要と、ChainerMNにおいてどのようにモデル並列性を実現しているのかについて紹介します。...
View ArticleClik here to view.
ハイパーパラメータ自動最適化ツール「Optuna」公開
ハイパーパラメータ自動最適化フレームワーク「Optuna」のベータ版を OSS として公開しました。この記事では、Optuna の開発に至った動機や特徴を紹介します。 公式ページ 公式ドキュメント チュートリアル GitHub ハイパーパラメータとは？...
View ArticleClik here to view.
Emergence of Locomotion Behaviors in Rich Environment の追試
１.内容紹介 はじめまして。PFNでSummer Internship 2017に続き、アルバイトをしている東京大学の西浦です。現在は駒場２キャンパスの先端研で神経科学・循環器系の数理モデルの研究をしています。 さて、2017年の春頃、DeepMindから”Emergence of Locomotion Behaviours in Rich...
View ArticleClik here to view.
CHI 2018とPacificVis 2018
PFNでヒューマン・コンピュータ・インタラクション（HCI）を研究するリサーチャーのファブリスです。 現在ディープ・ニューラル・ネットワーク（DNN）を基にした自動化システムは急速に進化していますが、その過程に伴う人的要因を軽視しない「Human in the...
View ArticleClik here to view.
Chainerの可視化・実験管理を支援するChainerUIを公開
Chainer上の実験中の学習ログの可視化や実験管理機能を追加するパッケージ、ChainerUIを公開しました。 GitHub ChainerUIは、多くのChainerユーザが持つ「学習中の実験ジョブの進捗を手軽に知りたい」、「複数の実験ジョブの手軽に管理したい」ニーズに応えるために開発しました。 具体的には、下記の機能を備えています。 学習ログの可視化 実験履歴閲覧 実行中の実験に対する操作...
View ArticleClik here to view.
化学、生物学分野のための深層学習ライブラリChainer Chemistry公開
* English blog is also written here. Chainer [1]を使った、化学、生物学分野のための深層学習ライブラリ Chainer Chemistry を公開しました。 Github page: https://github.com/pfnet-research/chainer-chemistry Documentation:...
View ArticleClik here to view.
実センサを搭載したロボットカーの深層強化学習による自律制御
はじめに はじめまして。PFNで夏季インターンに続き、アルバイトをしている宮下恵です。普段は東京農工大学大学院で強化学習に関する研究をしており、ものづくりやロボットに興味があります。 「実センサを搭載したロボットカーの深層強化学習による自律制御」について報告させていただきます。 背景...
View ArticleClik here to view.
ニューラルネットの逆襲から５年後
私が2012年にニューラルネットの逆襲（当時のコメント）というのをブログに書いてからちょうど5年が経ちました。当時はまだDeep Learningという言葉が広まっておらず、AIという言葉を使うのが憚られるような時代でした。私達が、Preferred Networks（PFN）を立ち上げIoT、AIにフォーカスするのはそれから1年半後のことです。...
View ArticleClik here to view.
分散深層学習パッケージ ChainerMN 公開
Chainer にマルチノードでの分散学習機能を追加するパッケージ ChainerMN のベータ版を公開しました。 GitHub ドキュメント ChainerMN とは ChainerMN は Chainer の追加パッケージで、Chainer を用いた学習を分散処理により高速化できます。柔軟で直感的に利用できる Chainer の利便性をそのままに、学習時間を大幅に短縮できます。1...
View Article
