出願番号 |
特願2015-096150 |
出願日 |
2015/5/11 |
出願人 |
国立研究開発法人情報通信研究機構 |
公開番号 |
特開2016-212273 |
公開日 |
2016/12/15 |
登録番号 |
特許第6628350号 |
特許権者 |
国立研究開発法人情報通信研究機構 |
発明の名称 |
リカレント型ニューラルネットワークの学習方法及びそのためのコンピュータプログラム、並びに音声認識装置 |
技術分野 |
情報・通信 |
機能 |
制御・ソフトウェア、機械・部品の製造 |
適用製品 |
リカレント型ニューラルネットワーク(RNN)の学習方法及びそのためのコンピュータプログラム |
目的 |
時系列のデータによるRNNの学習を効率化する学習方法を提供する。 |
効果 |
隣接する学習データを用いるわけではないので、学習効率があがる。しかも、例えば音響モデルの学習にこうした手法を採用した結果、モデルの精度が上がることも後述するように確認できた。 |
技術概要
 |
学習方法は、RNNを初期化するステップ220と、あるベクトルを開始位置として指定し、各パラメータを誤差関数が最小化するよう最適化することでRNNの学習を行う学習ステップ226とを含む。学習ステップ226は、指定されたベクトルを先頭とする連続するN個(N≧3)のベクトルを用い、末尾のベクトルの参照値を正解ラベルとするTruncated BPTTによりRNNのパラメータを更新する更新ステップ250と、終了条件が成立するまで、算出ステップで使用されたN個のベクトルの末尾のベクトルに対して所定の関係を満たす位置にあるベクトルを新たに指定して、学習ステップを実行する処理を繰返す第1の繰返しステップ240とを含む。所定の関係を満たす位置にあるベクトルは指定されたベクトルより少なくとも2個以上後のベクトルである。 |
実施実績 |
【無】 |
許諾実績 |
【無】 |
特許権譲渡 |
【否】
|
特許権実施許諾 |
【可】
|