HTML5 Webook

14/16

図　RaNNC概要超巨大ニューラルネットワークのための分散深層学習フレームワークの開発田仲 正弘（たなか まさひろ）年注目を集めている深層学習では、GPUなどのアクセラレータを使用するのが一般的です。しかし、深層学習に用いるニューラルネットワークの大規模化が急速に進み、GPUのメモリに収まらない巨大ネットワークが提案され始めています。例えば、言語処理分野でブレークスルーとなったネットワークBERTは、2018年に提案され、当時としては最大規模である3.4億の学習パラメータを持っていましたが、その後も大規模化は進み、翌年に提案されたT5と呼ばれるネットワークは、110億もの学習パラメータを持ちます。　そこで私たちは、超巨大ニューラルネットワークを自動的に分割し、複数のGPU上に配置して、分散学習を行うフレームワークRaNNC（Rapid Neural Network Connector）の研究開発を行っています。RaNNCは、必要メモリや計算負荷を分析し、ニューラルネットワークの分割を決定することができ、既に数十億規模のパラメータを持つニューラルネットワークを、人手でチューニングされた既存フレームワークに勝る効率で学習することに成功しています。今後、利用事例などの整備を進め、オープンソースで公開する予定です。また、学習した巨大ネットワークは、大規模Web情報分析システムWISDOM X、次世代音声対話システムWEKDA、高齢者向けマルチモーダル音声対話システムMICSUSなどに組み込み、ユニバーサルコミュニケーション研究所データ駆動知能システム研究センター主任研究員博士（情報学）より性能向上を図るとともに、民間企業等にも提供することを計画しています。　この3年ほどは、家族の仕事などの事情のため、主に在宅で勤務しています。当初は戸惑いもありましたが、周囲の方々の理解もあって、次第に支障なく進められるようになってきました。コロナ禍で出勤の機会が減っていますが、早い段階で在宅勤務を始めていた経験が生かせたように思います。研究者になってよかったことは？世界中のどこでも解決されていない技術的課題に、自分が考えたアプローチでチャレンジできるとき、この仕事ならではという高揚を感じます。最近はまっていること数年前まで弾いていたビオラを最近メンテナンスして、少しずつ弾いています。娘がピアノを始めたので、一緒に弾くこともあります。ほんの短い時間でも、楽器に触ると気分転換できます。研究者志望の学生さんにひとこと大学院での研究は期間も限られるので、気持ちは焦ることがあると思いますが、その研究分野に本当に資するテーマが何なのか、長期的な観点で考えて取り組むと、きっと後で報われると思います。QAQAQA●経歴1981年奈良県にて誕生2004年京都大学工学部情報学科卒業2009年京都大学情報学研究科博士課程修了2009年NICT入所2016年現職●受賞歴等2015年ドコモモバイルサイエンス賞2016年前島密賞いずれも共同受賞近一問一答NICT NEWS 2020 No.612File 13