パラレル情報処理システム、パラレル情報処理方法、および、プログラム

開放特許情報番号
L2021001677
開放特許情報登録日
2021/11/8
最新更新日
2021/11/8

基本情報

出願番号 特願2019-204721
出願日 2019/11/12
出願人 国立研究開発法人情報通信研究機構
公開番号 特開2021-077209
公開日 2021/5/20
発明の名称 パラレル情報処理システム、パラレル情報処理方法、および、プログラム
技術分野 情報・通信
機能 制御・ソフトウェア
適用製品 機械学習の訓練方法を効率化するための技術
目的 マルチノードを利用する場合において、ニューラルネットワークの学習処理における収束を安定化させるとともに、ニューラルネットワークの学習処理の高速化を実現するパラレル情報処理システム、パラレル情報処理方法、および、プログラムを実現する。
効果 マルチノードを利用する場合において、ニューラルネットワークの学習処理における収束を安定化させるとともに、ニューラルネットワークの学習処理の高速化を実現するパラレル情報処理システム、パラレル情報処理方法、および、プログラムを実現することができる。
技術概要
互いに通信可能に接続される複数のノード装置を備え、ニューラルネットワークモデルの学習処理を実行するためのパラレル情報処理システムであって、
前記複数のノード装置の各ノード装置は、
バッチデータを用いて、前記ニューラルネットワークモデルを用いたフォーワード処理を実行することで、誤差評価関数のデータを取得し、取得したエラー評価関数のデータに基づいて、前記ニューラルネットワークモデルを用いたバックワード処理を実行することで、前記ニューラルネットワークモデルの各層のパラメータの勾配データを取得する勾配データ取得処理を実行し、取得したパラメータの勾配データにより更新処理を実行することで、前記ニューラルネットワークモデルの各層のパラメータを更新するパラメータ更新処理を実行するフロントエンド処理部と、
前記パラメータを他ノード装置に送信するとともに、他ノード装置からパラメータを受信するパラメータ通信処理を実行するバックエンド処理部と、
を備え、
前記バックエンド処理部は、前記フロントエンド処理部が前記パラメータ更新処理を実行している期間において、前記パラメータ通信処理を実行する、
パラレル情報処理システム。
実施実績 【無】   
許諾実績 【無】   
特許権譲渡 【否】
特許権実施許諾 【可】

登録者情報

その他の情報

関連特許
国内 【無】
国外 【無】   
Copyright © 2021 INPIT