Süsteemi mälud (vahemälud, RAM, kõvakettad ja optilised kettad) on erinevate omadustega - hind, maht ja kiirus. Üldiselt on kiiremad mälud väiksemad ja kallimad. OS'i tehnika on laadida kiirematesse mäludesse need koodi osad, mida enam kasutatakse. Andmete ja koodi otsing aeglasemates mäludes ja nende kopeerimine kiirematesse on kasutaja ja rakenduste jaoks läbipaistev. Sel viisil jätab OS kasutajale mulje suurest, kiirest ja odavast mälust. Sellist süsteemi mälude ülesehitust nimetatakse mälude hierarhiaks.

Joonis 2‑12. Mälu hierarhia