Pomnilniška hierarhija je zaporedje pomnilnikov, v katerem vsak pomnilnik komunicira samo s svojima sosedoma. Vsa informacija je shranjena vedno samo na najvišjem nivoju Mn, na nižjih nivojih so njene podmnožice. Naslov, ki ga daje CPE je naslov besede na najvišjem nivoju. Kljub temu bo informacija pri večini dostopov dostopna tudi na nižjih nivojih.

S pomnilniško hierarhijo želimo doseči, da CPE vidi velik, cenen in počasen pomnilnik Mn kot hiter in drag (zato tudi majhen) pomnilnik M1. To je možno doseči samo zaradi lokalnosti pomnilniških dostopov - brez lokalnosti bi bila pomnilniška hierarhija zanesljivo neuspešna. Lokalnost pomnilniških dostopov je pojav, da programi zelo pogosto dostopajo do lokacij, ki so si blizu skupaj (prostorka lokalnost) in do lokacij, ki so bile pred tem že uporabljene (časovna lokalnost).

Tudi tu imamo pojem verjetnosti zadetka. Ta je odvisna od velikosti glavnega pomnilnika, velikosti bloka in strategije pri zamenjavi blokov.