陈继承 赵雅倩 李一韩 王恩东 史宏志 唐士斌

(高效能服务器和存储技术国家重点实验室(浪潮集团有限公司) 北京 100085)

(chenjch@inspur.com)

缓存一致性维护是影响高速缓存一致性非均匀存储访问(cache coherence non-uniform memory access, CC-NUMA)系统性能的关键因素.早期的CC-NUMA系统中，处理器数量较少，各处理器间直接互连，系统采用单级一致性域设计即可满足系统性能需求.但随着系统规模的扩展，单级一致性域系统的处理器互连结构越来越复杂，消息全局性传播引发的网络阻塞延迟越来越大，缓存一致性维护开销急剧增长，严重影响系统性能与扩展性.因此，8路以上的CC-NUMA系统通常采用两级一致性域设计抑制缓存一致性维护开销，即：多个处理器互连组成结点后形成结点内一致性域，多个结点互连组成系统后形成结点间一致性域，两级一致性域间的协议转换通过一致性协同芯片(coherence chip, CC)实现[1-3].该方法可将一致性维护操作尽量限制在局部区域以避免一致性消息的全局传播，避免了单级一致性域造成的系统互连结构复杂、跨处理器访问跳步数多、高负载下阻塞延迟急剧增长等难题[4]，从而使系统性能得到有效扩展.

受限于处理器的直连能力和处理器可识别的ID数，CC-NUMA系统所能构建的单结点规模有限，系统扩展只能通过增加结点数目来实现.但是，结点数目的增加会导致一致性目录存储开销上升、跨结点访问跳步数和延迟增大、系统规模无法进一步有效扩展.针对上述问题，当前CC-NUMA系统采用目……