勾配降下法は損失を減らす方向へパラメータを更新し、SGD、Momentum、Adamなどは更新の仕方を工夫します。

学習率が大き過ぎると発散し、小さ過ぎると収束が遅くなります。

この用語は単独で暗記せず、目的、入力、処理、結果、適用できない境界の順に説明できるようにします。実務では前提条件と評価基準を明記し、期待した結果と実測結果を区別します。

似た用語を見分けるときは、誰が何を判断するのか、いつ実施するのか、成果物が何かを比較します。名称だけで結論を出さず、問題文に示された条件へ定義を当てはめることが重要です。