上面介绍的各种存储器各有优劣，但都不能同时满足存取速度快、存储容量大和存储位价(存储每一位的价格)低的要求。为了解决这三个相互制约的矛盾，在计算机系统中通常采用多级存储器结构，即将速度、容量和价格上各不相同的多种存储器按照一定体系结构连接起来，构成存储器系统。若只单独使用一种或孤立使用若干种存储器，会大大影响计算机的性能。图2-7所示，存储器层次结构由上至下，速度越来越慢，容量越来越大，位价越来越低。
现代计算机系统基本都采用Cache、主存和辅存三级存储系统。该系统分为“cache一主存”层次和“主存一辅存”层次。前者主要解决CPU和主存速度不匹配问题，后者主要解决存储器系统容量问题。在存储系统中，CPU可直接访问Cache和主存；辅存则通过主存与CPU交换信息。
