現代のコンピュータでは、キャッシュメモリは複数の階層に分かれて実装されているのが一般的です。CPUのコア内部に直接組み込まれた最も高速な「L1（レベル1）キャッシュ」、その外側にある少し大容量の「L2キャッシュ」、さらに複数のCPUコアで共有される「L3キャッシュ」といった具合です。CPUはまずL1キャッシュを検索し、見つからなければL2、L3、そして最終的に主記憶装置へとアクセスしに行きます。
情報処理技術者試験において、キャッシュメモリは頻出の最重要キーワードの一つです。最もよく問われるのは「キャッシュメモリの目的」です。「CPUと主記憶装置との間のアクセス速度の差（ギャップ）を埋め、処理効率を向上させる」という役割を正しく選べるようにしておきましょう。補助記憶装置（HDDなど）との速度差を埋めるディスクキャッシュと混同させようとする問題もあるため、配置場所が「CPUと主記憶装置の間」であることを強く意識してください。
また、計算問題として「実効アクセス時間（平均アクセス時間）」を求める問題が定番です。キャッシュメモリに必要なデータが存在する確率を「ヒット率」、存在しない確率（1 - ヒット率）を「ミス率」として計算します。
実効アクセス時間 ＝ （キャッシュメモリのアクセス時間 × ヒット率） ＋ （主記憶のアクセス時間 × ミス率）
という計算式を用いて、システム全体の平均的な速度を求める計算問題は、必ず解けるように練習しておく必要があります。
使用されているメモリの種類についても問われます。「主記憶装置にはDRAMが、キャッシュメモリにはSRAMが用いられる」という組み合わせも、非常によく出題されるポイントです。
キャッシュメモリの仕組みを理解する上で、キャッシュにデータが存在する確率を示すヒット率や、キャッシュメモリの物理的な素材として使われるSRAM、そしてCPUと速度差のある主記憶装置（メインメモリ）といった用語が密接に関連しています。