| 出願番号 |
特願2019-059300 |
| 出願日 |
2019/3/26 |
| 出願人 |
日本放送協会 |
| 公開番号 |
特開2020-160782 |
| 公開日 |
2020/10/1 |
| 登録番号 |
特許第7253951号 |
| 特許権者 |
日本放送協会 |
| 発明の名称 |
自然言語データ処理装置およびプログラム |
| 技術分野 |
情報・通信 |
| 機能 |
機械・部品の製造、制御・ソフトウェア |
| 適用製品 |
自然言語データ処理装置およびプログラム |
| 目的 |
複雑なルールを予め記述することが不要で、統計処理の質を落とすことなく、特定記号（特定記号とは、典型的には、空白文字である）を挿入するか否かを適切に判断して処理することのできる自然言語データ処理装置およびプログラムを提供する。 |
| 効果 |
自然言語処理全般において、単語分割された表現（トークンの列）から空白文字の有無の復元が簡単且つ正確に行えるようになる。 |
技術概要
 |
記号の列として、自然言語データを取得する自然言語データ取得部と、
前記自然言語データを形態素に対応するトークンの列に変換するとともに、前記自然言語データにおいて形態素間に特定記号が含まれていた箇所を表す第１特殊トークンまたは前記自然言語データにおいて形態素間に特定記号が含まれていなかった箇所を表す第２特殊トークンのいずれかを前記トークンの列に挿入し、トークン列として出力するトークン化処理部と、
学習モデルを含む人工知能処理部に、前記学習モデルを学習させるための前記トークン化処理部から出力される入力トークン列と出力トークン列とのペア、または前記学習モデルによる処理を実行するための前記トークン化処理部から出力される入力トークン列のいずれかを供給する供給部と、
を備える自然言語データ処理装置。 |
| 実施実績 |
【無】 |
| 許諾実績 |
【無】 |
| 特許権譲渡 |
【否】
|
| 特許権実施許諾 |
【可】
|
)