×
ディープラーニングの手法

トークン化 | JDLA Deep Learning for GENERAL（G検定）

トークン化とは

文章をモデルが扱う単位へ分割・変換する前処理です。

学習のポイント

ディープラーニングの手法の文脈で、目的・前提・似た概念との違いを説明できるようにしましょう。単語だけを暗記せず、問題文の条件に当てはめて判断します。

出題範囲との対応

JDLA公開シラバスの該当大分類を理解するための学習用解説です。公式問題、公式解答、合格基準を転載したものではありません。