まず、JPEGは画像を「RGB（赤・緑・青）」から、明るさを表す「輝度（Y）」と、色彩を表す「色相（U・VまたはCb・Cr）」の情報に変換します。人間の目は、明るさの変化には非常に敏感ですが、色の変化には比較的鈍感であるため、色相のデータを輝度データの半分や4分の1に間引く（サブサンプリング）ことで、画質をほとんど損なわずにデータ量を大幅にカットします。
次に、画像を「8×8ピクセル」のブロックに分割し、「離散コサイン変換（DCT）」と呼ばれる数式を用いて空間周波数（画像のきめ細かさの成分）に変換します。この変換によって、人間の目に見えにくい細かい色の変化（高周波成分）をゼロに近い値に置き換えて切り捨てる（量子化）ことで、圧倒的なファイルサイズ削減を実現しています。しかし、この8×8ピクセルのブロック単位で処理を行うという仕組み上、圧縮率を上げすぎるとブロックの境界線が格子状に見える「ブロックノイズ」や、文字や境界の周りに蚊が群がっているように見える「モスキートノイズ」という特有の画質劣化現象が発生します。また、JPEGファイルを「開いて編集し、再びJPEGで保存する」という操作を繰り返すと、保存するたびに非可逆圧縮の計算が繰り返され、画質が累積的に劣化していきます。