現代のコンピュータでは、キャッシュメモリは複数の階層に分かれて実装されているのが一般的です。CPUのコア内部に直接組み込まれた最も高速な「L1（レベル1）キャッシュ」、その外側にある少し大容量の「L2キャッシュ」、さらに複数のCPUコアで共有される「L3キャッシュ」といった具合です。CPUはまずL1キャッシュを検索し、見つからなければL2、L3、そして最終的に主記憶装置へとアクセスしに行きます。

情報処理技術者試験において、キャッシュメモリは頻出の最重要キーワードの一つです。最もよく問われるのは「キャッシュメモリの目的」です。「CPUと主記憶装置との間のアクセス速度の差（ギャップ）を埋め、処理効率を向上させる」という役割を正しく選べるようにしておきましょう。補助記憶装置（HDDなど）との速度差を埋めるディスクキャッシュと混同させようとする問題もあるため、配置場所が「CPUと主記憶装置の間」であることを強く意識してください。