独立した標準分類というより、Stored XSSやSecond-order XSSの実行タイミングを表す実務上の用語です。

Self-XSSは、利用者自身にJavaScriptを貼り付けさせるソーシャルエンジニアリングです。
代表的な誘導は次のとおりです。
開発者ツールへ貼り付ける
「無料アイテムを受け取れる」と説明する
「アカウント認証用コード」と偽る
ブラウザーのコンソールへ入力させる
Webアプリケーション側に注入脆弱性が存在しない場合、通常のXSSとは区別されます。

Mutation XSSは、サニタイズ時には安全に見えた文字列が、ブラウザーの解析やDOM変換によって危険な構造へ変化するXSSです。
攻撃者の入力
↓
サニタイザーでは安全と判定
↓
ブラウザーへ渡される
↓
innerHTMLなどで再解析
↓
DOM構造が変異
↓
実行可能な内容になる
2013年のmXSS研究では、入力文字列がフィルター通過時には実行可能な形でなくても、innerHTML処理による変異後にXSSとして成立する仕組みが示されました。