パイプライン処理は、CPUの設計において非常に基本的な最適化技術であり、現代のパーソナルコンピュータからスマートフォンまで、ありとあらゆるプロセッサのほとんどに採用されています。パイプラインは、命令を細かい段階(ステージ)に分割し、それぞれのステージを独立した専用のハードウェア回路で処理させることで、工場における生産ラインのように次々と命令を流し込みます。代表的なステージ構成には、メモリから命令を取り出す「命令フェッチ(IF)」、取り出した命令の意味を解読する「命令デコード(ID)」、実際に計算などを行う「実行(EX)」、データにアクセスする「メモリアクセス(MEM)」、計算結果をレジスタに書き戻す「ライトバック(WB)」の5段階(5ステージパイプライン)などがあります。
理想的な状態では、ステージの数だけ命令を同時に処理できるため、ステージ数が5であれば最大5倍の処理効率(スループット)が期待できます。これをパイプラインの深さ(段数)と呼びます。パイプラインの段数をさらに増やすこと(スーパーパイプライン化)で、1つのステージで行う処理をより細かく単純にでき、クロック周波数を高めやすくすることができます。しかし、段数を増やすほど後述する問題の影響も大きくなるため、無制限に深くすれば良いというわけではありません。