AttentionとTransformer | JDLA Deep Learning for GENERAL（G検定）
Attentionは入力要素間の関連度に応じて情報を重み付けし、Transformerは自己注意を中心に系列を処理します。
具体例
位置情報は注意機構そのものには含まれないため、位置表現を別途加える設計があります。
もう少し詳しく
この用語は単独で暗記せず、目的、入力、処理、結果、適用できない境界の順に説明できるようにします。実務では前提条件と評価基準を明記し、期待した結果と実測結果を区別します。
似た用語を見分けるときは、誰が何を判断するのか、いつ実施するのか、成果物が何かを比較します。名称だけで結論を出さず、問題文に示された条件へ定義を当てはめることが重要です。
試験でのポイント