魏星达，陈榕，陈海波

上海交通大学并行与分布式系统研究所，上海 200240

1 引言

对于分布式系统而言，如何加速网络通信一直以来都是一个非常重要的问题。例如此前的研究[1]指出，将一个单机键值存储系统应用到基于客户机—服务器（client-server）模式的分布式环境中，即便使用了批量处理（batching）等优化技术，仍然会造成大幅的性能下降。分布式系统依赖网络通信完成节点间的协作，因此通信开销很大程度上决定了应用程序的整体性能。传统的网络协议栈（如TCP/IP）并不是针对高性能应用场景设计的，因此难以提供高效的通信支持，系统调用和内存复制等操作都会带来巨大的性能开销。

远程直接内存访问（remote direct memory access，RDMA）技术是一种最早应用于高性能计算领域的网络通信协议，当前已在数据中心逐渐普及[2-3]。RDMA允许用户程序绕过操作系统内核，直接和网卡交互进行网络通信，从而提供高带宽和极小时延。此外，RDMA还提供了one-sided原语（one-sided primitive），即网卡可以在没有远端节点帮助的情况下，由网卡直接发起和完成对远程内存的读写请求，在提升CPU利用率的同时，为分布式系统的设计提供了更多的可能。从系统软件设计的角度而言，可以直接将RDMA视为一种更快的网络，并通过模拟TCP/IP的方式（即IBoIP模式）直接加速现有应用。然而这样无法完全利用RDMA提供的性能优势。近几年来，学术界以及工业界提出了一系列基于RDMA的分布式系统[4-11]，探索了如何通过对现有系统的再设计充分发挥出RDMA的硬件性能，实现数量级的性能提升。……