[ CPU ] <--- 高速アクセス ---> [ キャッシュメモリ ]
   |
   +-------- 遅いアクセス -------> [ 主記憶装置 (メインメモリ) ]

もう少し詳しく

キャッシュメモリは、CPUと主記憶装置の間に存在する圧倒的な「速度の壁」を緩和するためのバッファ（緩衝材）として機能します。近年、CPUの処理速度は飛躍的に向上していますが、主記憶装置であるDRAMのアクセス速度の向上はそれに追いついていません。このままでは、CPUがいくら計算を速く行えても、メモリからのデータ到着を待つ間アイドル状態（無駄な空き時間）になってしまいます。これを防ぐために、SRAMという極めて高速に動作する半導体を材料にして作られたキャッシュメモリが活躍します。

キャッシュメモリが有効に機能する背景には、プログラムの実行における「局所性の原理（Principle of Locality）」という経験則があります。局所性の原理には大きく二つの側面があります。