キャッシュメモリとは、CPU（中央処理装置）と主記憶装置（メインメモリ）の間に配置される、小容量ながらも非常に高速なメモリのことです。CPUの処理速度は極めて速いのに対し、メインメモリの読み書き速度はCPUと比べると遅ため、CPUがメインメモリからデータを読み込むのを待つ「待ち時間」が発生してしまいます。この速度の格差を埋めるために、CPUが頻繁に利用するデータや命令を一時的にキャッシュメモリにコピーしておきます。CPUが次に必要なデータをキャッシュメモリから見つけられれば、メインメモリにアクセスするよりもはるかに高速に処理を進めることができます。
勉強机で作業している場面に例えると、メインメモリは「本棚」で、キャッシュメモリは「手の届く机の上の引き出し」です。必要な本（データ）をいちいち本棚（メインメモリ）まで取りに行くのは大変ですが、よく使う参考書をあらかじめ机の引き出し（キャッシュメモリ）に入れておけば、必要なときにすぐに取り出して読むことができます。コンピュータ内部でのデータの流れは以下のようになります。