適用製品
言語モデルを学習するための言語モデル学習装置およびそのプログラム
目的
単語の正解データとしてジャンルをＲＮＮの入力に使用するのではなく、単語とともにジャンルをＲＮＮの出力として学習するマルチタスク学習によって、言語モデルを学習する言語モデル学習装置およびそのプログラムを提供する。
効果
単語とともにジャンルをＲＮＮの出力として学習するマルチタスク学習を行うことができる。
これによって、単語にジャンルの条件を付加して、ＲＮＮを学習することができるため、単語のみの学習に比べて、精度の高い言語モデルを生成することができる。
技術概要
文により構成されるテキストデータから言語モデルを学習する言語モデル学習装置であって、
前記テキストデータを構成する前記文に含まれる単語をクラスタリングしてジャンル分けし、ジャンル分けされた各単語に、ジャンルごとに固有のジャンルＩＤを付与する分類手段と、
前記テキストデータとして、前記単語を再帰型ニューラルネットワークに順次入力し、当該再帰型ニューラルネットワークにより、前記単語から当該単語の次単語および当該次単語に付与されているジャンルＩＤを推定し、前記再帰型ニューラルネットワークに順次入力される正解データである次単語および前記分類手段で前記正解データの次単語に付与されたジャンルＩＤとの誤差を用いた誤差逆伝搬法により、前記再帰型ニューラルネットワークを前記言語モデルとして更新する学習手段と、
を備えることを特徴とする言語モデル学習装置。
基本情報
開放特許情報
)
登録者情報
その他の情報
