ヒット率を向上させるための工夫として、コンピュータの内部では様々なアルゴリズムやハードウェアの仕組みが実装されています。前述した「空間的局所性」を利用し、CPUが要求したデータ単体だけでなく、その周囲の隣接するデータもまとめて（ブロック単位で）キャッシュメモリに読み込んでおく「先読み」の手法が代表的です。また、キャッシュメモリがいっぱいになった際に、どのデータを追い出して新しいデータを入れるかという「書き換えアルゴリズム（置換アルゴリズム）」もヒット率に大きく影響します。よく使われるアルゴリズムとして、最も過去に利用されたきり使われていないデータを追い出す「LRU（Least Recently Used）」方式や、最初に入ってきたデータから順番に押し出す「FIFO（First In First Out）」方式などがあります。