ハイブリッドパラレル情報処理システム、ハイブリッドパラレル情報処理方法、および、プログラム

開放特許情報番号
L2020002281
開放特許情報登録日
2020/10/28
最新更新日
2020/10/28

基本情報

出願番号 特願2019-035426
出願日 2019/2/28
出願人 国立研究開発法人情報通信研究機構
公開番号 特開2020-140438
公開日 2020/9/3
発明の名称 ハイブリッドパラレル情報処理システム、ハイブリッドパラレル情報処理方法、および、プログラム
技術分野 情報・通信
機能 制御・ソフトウェア
適用製品 機械学習の訓練方法を効率化するための技術
目的 データパラレルによる手法とモデルパラレルによる手法とを適切に結合させ、学習モデルの訓練(学習)の効率を顕著に向上させるハイブリッドパラレル情報処理システム、ハイブリッドパラレル情報処理方法、および、プログラムを実現する。
効果 データパラレルによる手法とモデルパラレルによる手法とを適切に結合させ、学習モデルの訓練(学習)の効率を顕著に向上させるハイブリッドパラレル情報処理システム、ハイブリッドパラレル情報処理方法、および、プログラムを実現することができる。
技術概要
複数の訓練データを用いて1つの学習モデルを学習するためのデータパラレル処理と、1つの訓練データを用いて複数に分割された学習モデルを学習するためのモデルパラレル処理とを実行するためのハイブリッドパラレル情報処理システムであって、
ネットワークモデルの処理を分割して実行する第1から第N(N:2以上の自然数)のモデルパラレル処理部であって、学習処理時に分割された学習モデルの同期処理を要しない第1タスクを実行するための処理の一部または全部を実行する前記第1から第Nのモデルパラレル部と、
バッチデータを分割して取得した分割バッチデータを用いて、分割バッチデータ処理を実行する第1から第M(M:2以上の自然数)のデータパラレル処理部であって、前記学習モデルのパラメータ更新の同期を要する第2タスクを実行するための処理の一部または全部を実行する前記第1から第Mのデータパラレル部と、
1つのタスクを実行するために必要となる複数の処理のそれぞれの処理である分割タスク処理の割当処理、当該割当処理の実行タイミング、および、データ入出力タイミングの少なくとも1つを管理する管理部と、
を備えるハイブリッドパラレル情報処理システム。
実施実績 【無】   
許諾実績 【無】   
特許権譲渡 【否】
特許権実施許諾 【可】

登録者情報

その他の情報

関連特許
国内 【無】
国外 【無】   
Copyright © 2020 INPIT