コンピュータのアーキテクチャ（ノイマン型コンピュータ）において、主記憶装置は非常に中心的な役割を担っています。ノイマン型コンピュータの最大の特徴は「プログラム内蔵方式」を採用している点にあります。これは、実行すべきプログラムの命令群と処理対象のデータの両方を、あらかじめ補助記憶装置（HDDやSSDなど）から主記憶装置に読み込んで配置し、CPUが主記憶装置から順番に命令を取り出し（フェッチし）ながら実行していくという仕組みです。つまり、主記憶装置が存在しなければ、CPUはどのような計算も始めることができません。

主記憶装置を構成する半導体メモリとしては、大容量化が容易で安価に製造できる「DRAM（Dynamic Random Access Memory）」が一般的に使用されています。DRAMはコンデンサに電気の電荷を蓄えることで「0」と「1」のデータを表現しますが、時間の経過とともに自然に放電してしまうという特性があります。そのため、記憶内容を維持し続けるためには、定期的にデータを読み出して再度書き直す「リフレッシュ」という動作をミリ秒単位で繰り返す必要があります。このリフレッシュ動作が必要なため、主記憶装置はSRAMを使用するキャッシュメモリなどに比べると動作速度がやや遅くなります。