龚光华,李鸿明

(清华大学 工程物理系,粒子技术与辐射成像教育部重点实验室,北京 100084)

基于光纤以太网的高精度分布式授时技术

龚光华,李鸿明

(清华大学 工程物理系,粒子技术与辐射成像教育部重点实验室,北京 100084)

White Rabbit(WR)时钟同步技术是综合了同步以太网、精密定时协议(IEEE1588 v2)和数字相位测量技术而发展的分布式同步授时技术,能够实现数千米范围内多节点亚纳秒精度的时钟分发。该技术兼容标准以太网协议,不占用额外网络带宽,与数据链路直接集成,结构简单成本低。介绍了White Rabbit技术的基本技术原理及初步应用方法,并给出了各种拓扑结构下的测试结果。采用White Rabbit能很好地解决各种长距离多节点高精度授时需求,能够作为地基增强导航系统的关键支撑技术。

分布式同步;分布式授时;同步以太网;White Rabbit

0 引言

时间统一[1]和分布式授时系统[2]在电信、电力系统、交通运输、金融等国防建设和国民经济相关领域有着广泛需求,已经发展出了基于卫星导航系统、路基无线电系统及有线授时等多种手段[3]。

在科学研究领域也面临着在多节点的精确时间同步要求。面对大型粒子加速装置控制和大规模高海拔宇宙线观测实验[4]的要求,开发了一种基于光纤以太网技术的高精度分布式授时技术(White Rabbit技术，WR技术)[5],能够在宽广的空间距离(lt;10km)实现上万个节点间的亚纳秒精度时间同步[6-7]。该方法可有效应用于长距离多节点高精度授时场合,还广泛应用于分布式网络测控[14]、时间统一系统[1]、工业自动化控制、分布式基站和远端射频系统[11]、电力电网同步、自适应阵列天线、多基地雷达、室内定位等多种场合。

1 WR高精度实时同步以太网技术

WR综合了同步以太网、PTP精密时钟协议和数字鉴相技术等多项成熟技术。同步以太网(Synchronous Ethernet,Sync-E)保证在全网络内所有的时钟都以共同的频率运行,即时钟谐振;PTP精密时钟协议(IEEE 1588)[8]是标准化高精度网络时钟同步协议,但是受限于时钟的周期,其同步精度不可能优于时间周期;数字鉴相器通过测量时钟的相位,从而提高系统的精度,使系统的同步精度达到亚纳秒级。

1.1 WR网络拓扑结构

WR完全兼容标准千兆以太网协议,具有低成本、高带宽、高可靠性和灵活拓扑结构等特点。WR同步网络主要包含三部分:外部参考时钟源、WR交换机和WR节点。一个典型的WR网络拓扑结构如图1所示[5]。

图1 White Rabbit同步网络拓扑结构Fig.1 Topology of White Rabbit synchronized network

WR交换机完成时钟的跨界同步,类似于PTP协议中定义的边界时钟(boundary clock),一方面作为从时钟与上级时钟进行同步,另一方面作为主时钟与下级时钟进行同步。WR时钟同步过程包含两部分,一是频率同步,二是表征绝对时刻信息的时间同步,频率同步是通过同步以太网技术实现的,PTP协议和DDMTD实现了纳秒级时间同步。

在WR网络中,所有节点的时钟最终都溯源同步到外参考时钟。简单应用中,可以使用顶层交换机的内部振荡器和时间信息作为全网络参考频率和参考时间;而高精度应用中,可以使用独立的外部参考时钟,例如使用铷原子钟或铯原子钟作为外部频率参考,使用GPS/北斗接收器或长短波授时装置作为外部时间参考,既能提高WR网络内频率与时间信息的精度,也提供了多个WR网络间同步的手段。

1.2 IEEE 1588精密时钟协议

精确时钟协议(PTP)是为本地网络设计的(IEEE 1588)标准化高精度时钟协议,其主要目的是在以太网中实现微秒级的同步精度。与专用时钟同步系统不同,PTPv2的定时链路与系统的数据链路复用,避免为定时功能增加额外通信链路的开销。PTPv2定义了一种主从结构的时钟同步网络,即所有从节点的本地时钟需要与其参考的主节点时钟同步。这种点对点的时钟同步通过交换带有时间戳的网络包实现,如图2所示。

·主端周期性发送SYNC报文,记录发送时刻为t1,并将此t1时间戳通过FOLLOWUP报文发送给从端;

·从端接收SYNC报文,并记录接收时间为t2,从端接收FOLLOWUP报文,获得t1时间戳;

·从端发送DELAY_REQ报文,并记录本地发送时刻t3;

·主端接收DELAY_REQ报文,记录接收时刻t4,并通过DELAY_RESP报文发送给从端;

·从端接收DELAY_RESP报文,获得t4时间戳,利用t1、t2、t3、t4计算出主从端的时间差,并调整本地的时间。

图2 PTP同步机制Fig.2 PTP synchronization protocol

可以看出,PTP时钟同步的准确度很大程度上取决于4个时间戳的准确度。然而在以太网中包传输的延时并不是确定的,应用程序、操作系统或网卡均有可能引入不确定的延时,从而降低时间戳的准确度。因此若要获得较高精度的同步结果,时间戳需要在网络物理层处理。即使如此,PTP也很难实现亚纳秒级的时钟同步,其局限性主要体现在:

1)所有节点的时钟都是独立运行的,各自的振荡器频率存在一定偏差,为了避免主从节点出现较大的时间偏差,同步报文交换的频率必须足够高以及时补偿偏差,这给通信链路带来了较大的负荷。

2)主从时钟的偏差是基于时间戳计算的,其精度受限于时间戳的分辨率。例如千兆以太网的链路驱动时钟频率为125MHz,其时间分辨仅为8ns。

3)未考虑传输介质的非对称性,假设收发链路是完全对称的。

WR在完全兼容PTPv2协议的基础上,采用物理层时钟分布技术、全数字双混频鉴相器以及WR同步链路模型分别克服以上三点局限性,将同步准确度提升至亚纳秒级[13]。

1.3 物理层时钟分布技术

WR基于千兆以太网物理层实现时钟分布。物理层时钟分布的原理与SONET/SDH的频率分布机制相同,将时钟信号编码至物理层后通过通信链路分布给其他节点,Sync-E就是物理层时钟分布的一个典型应用,如图3所示。在标准以太网中,各个节点的时钟都是独立运行的。而在同步以太网中,所有节点构成一个时钟网络拓扑结构,子节点或子交换机从数据链路中恢复出时钟,并经过从节点内部的PLL,以消除时钟恢复电路引起的抖动(jitter)。该恢复出来的时钟既是从节点的系统时钟,也作为下一级节点的参考时钟。这样整个网络的所有节点的时钟频率都与主节点时钟频率精确同步(±10-11的长期准确度)[12]。

这种频率分布技术的优点在于时钟信息是编码在数据中发送的,不占用链路带宽;成本低,无论是FPGA的高速串行收发器还是串并转换芯片都能够实现时钟恢复功能;该技术的可靠性和稳定性已在SONET/SDH的应用中得到验证。

图3 普通以太网与同步以太网的对比Fig.3 Compare between standard and Sync-E

1.4 WR同步链路模型

WR主从节点的同步链路如图4所示,往返链路的总延时可以看作由三部分组成:

·主从节点收发电路的硬件延时(ΔTXM,ΔRXM,ΔTXS,ΔRXS),包括FPGA内部逻辑的确定性延时、FPGA内部走线延时、PCB走线延时、高速串行收发器以及光纤收发器的延时,这部分延时可以认为是相对固定的;

·比特位滑动(bit slide)延时(εM,εS),这是由于串并转换电路在进行字对齐操作时引起的比特位滑动,这部分延时在光纤链路建立连接后保持不变,可以在每一次链路建立后通过BitSlide状态机自动获取;

·光纤链路传输延时(δMS,δSM),这部分延时对温度波动非常敏感,需要实时刻度并补偿。

WR往返链路的总延时可以表示为:

delayMM=δMS+δSM+Δ+εM+εS

其中,Δ=ΔTXM+ΔRXS+ΔTXS+ΔRXM。

当链路建立后,主端可以通过PTP协议获得链路总延迟,并通过上述公式计算出往返光纤链路的延时为

δMS+δSM=delayMM-(Δ+εM+εS)

为了精确计算光纤链路的单向延时,需要考虑光纤链路的不对称性。WR使用一根单模光纤连接主从节点,采用波分复用技术(Wavelength Division Multiplexing, WDM)实现全双工通信,主节点发出的光的波长为1490nm,从节点发出的光的波长为1310nm。使用波分复用技术可以节约成本,但是更重要的在于单根光纤里的往返链路长度完全一致,延时不对称性完全由不同波长的光在光纤中的折射率决定。WR定义了光纤非对称系数α,其表达式为

n1490和n1310为两种波长的光纤折射率,由于不同厂家生产的光纤的折射率略有差别,需要在实验室提前对光纤的非对称系数进行标定。

由光纤的非对称性可以计算出主从链路的单向总延时为

delayMS=δMS+ΔTXM+ΔRXM+εS

ΔTXM+ΔRXS+εS

进一步可以计算可知主从时钟的偏差为

offsetMS=t1-t2p+delayMS+ΔTXM+ΔRXM+εS

从节点时钟偏差的调整可以分为如下三个步骤。

1)TAI时间校正:offsetMS中整秒的偏差通过校正国际原子时(International Atomic Time,TAI)计时器完成;

2)时钟周期计数器校正:调整计数器补偿整数倍周期(8ns)的偏差;

3)相位调整:小于一个周期的偏差由从节点的锁相环进行相位调整。

corrpnase=offsetMS-[offsetMS]

这样,就完成了主从时钟的亚纳秒级同步,由于温度等环境因素的影响,offsetMS会随着时间发生变化,因此需要定期测量主从节点的时间偏差的变化,并且将其补偿到当前的相位上。

1.5 数字双混频鉴相器

WR使用鉴相器精确测量数据恢复时钟与本地时钟的相位差并对时间戳进行校正,从而将基于PTPv2的时钟同步技术带入亚纳秒级。此外,从节点端的鉴相器与滤波控制电路以及压控振荡器构成了一个锁相环电路,实现从节点时钟的相位锁定和相位调整功能。

传统的基于模拟方法的鉴相器能够获得很高的分辨率和线性度,然而它们需要增加额外的器件(如混频器、滤波器等),特别是对于WR多端口交换机的应用,不仅增加成本还给设计带来了困难。

WR采用了一种全数字双混频鉴相器[9](Digital Dual Mixer Time Difference, DDMTD),其工作原理如图5所示。利用外部锁相环产生一个辅助时钟信号,该信号频率与被测信号(clkA和clkB)的频率存在微小的差别(fPLL=N/(N+1)·fclk)。在FPGA内部使用该辅助时钟信号分别对clkA和clkB进行采样。由于采样频率非常接近被测信号的频率,所以D触发器会输出一个非常低频的信号。被测信号的相位差在混频之后被放大,因此通过测量触发器输出信号的相位差可以计算出原信号的相位差。DMTD双混频鉴相由数字方法实现,具有结构简单、线性度好、动态范围大的优点。

图5 DMTD相位检测原理Fig.5 Principle of DMTD phase detection

2 WR时钟系统组件

WR技术由多个研究所和高校共同参与开发,并和公司合作实现商业化和产品化。借助成熟的商业COTS组件,能够非常方便迅速地实现基于WR的应用或改造。

2.1 WR交换机

图6 White Rabbit交换机Fig.6 White Rabbit switch

WR交换机是WR网络的核心部件,它在普通交换机的基础上添加了WR功能支持,并提供了QoS支持、链路冗余和快速切换等特性,以满足对时钟和控制系统的高实时性要求。

WR交换机有18个SFP光纤口,可以任意配置为上行口或下行口,如图6所示。通常配置其中2个为上行口,其中一个作为主要的WR从端口与上级交换机同步,另一个作为冗余端口,一旦前者链路断开,该冗余端口将自动切换为WR从端口;剩下的16个端口均配置为下行口, 用于与下级的16个WR从节点或交换机同步。

2.2 WR节点

WR节点有多种实现形式:载板模式、子板模式和IP核模式。

载板模式提供如图7所示的符合标准型式的载板,例如VME、PCI-Express。在该载板上提供了WR节点的功能和必要的系统资源,并通过标准的FMC(FPGA Mezzanine Card)接口扩展诸如ADC、DAC或DIO等应用功能。

图7 PCI-Express载板形式的WR节点Fig.7 WR node in PCI-Express carrier board form

子板模式提供如图8所示的WR最小系统子卡(Cute-WR)[15],可以集成到应用电子学系统内。该子卡提供同步频率,经过编码的时间信号和标准MAC接口。应用电子学可以将其作为标准千兆网卡来实现数据传输。

图8 FMC子卡形式的WR节点Fig.8 WR node in FMC mezzanine form

IP核模式将WR节点的所有功能封装成IP包,可以直接在用户的硬件平台上实现,进一步提高应用的灵活性和系统集成度。

3 WR性能测试

测试环境使用了4台WR交换机和6个Cute-WR节点,如图9所示。每个节点利用其内部时钟定时输出一个秒脉冲PPS(Pulse Per Second)信号,通过测量不同节点间PPS信号的偏差值给出其同步的精度。测试时利用多盘数千米长的G652单模光纤,将设备组建成各种不同拓扑结构的网络,分别测量网络中各节点和最顶级节点的同步偏差。

图9 系统测试环境Fig.9 Test setup

3.1 单节点同步精度

首先给出一主一从这种最基本的WR网络结构下的同步精度测试结果。将CUTE-WR作为从节点,与WR交换机通过2km的光纤连接,在常温下使用示波器测量两者的PPS信号的偏差,如图10所示。CUTE-WR与WR交换机的同步准确度不超过200ps,同步精度达到了21ps。

图10 WR同步精度测试Fig.10 Test result of WR synchronization

3.2 并联多节点拓扑结构

交换机组成一主三从的拓扑结构,每台从交换机带2个Cute-WR节点,其拓扑结构和多次测量后的系统同步偏差分布如图11所示。

图11 并联多节点拓扑结构及测试结果Fig.11 Parallel topology and the test result

3.3 串联多节点拓扑结构

交换机组成四级级联的拓扑结构,每台从交换机带2个Cute-WR节点,其拓扑结构和多次测量后的系统同步偏差分布如图12所示。

图12 串联多节点拓扑结构及测试结果Fig.12 Cascade topology and the test result

4 结论

WR是一种新型的基于同步以太网和PTP协议的时钟同步方法,通过全数字双混频鉴相器和准确的网络链路模型将同步精度提高到亚纳秒级别,实现大范围、多节点的时钟分布和同步机制。该方法基于标准的以太网,时钟同步报文几乎不占用网络带宽,定时链路与数据链路复用,是一种具有高可靠性和低成本的方案,能简化大规模分布式地基授时系统的结构设计,提高同步性能,改善增强型导航定位精度。

[1] 童宝润.时间统一系统[M].北京: 国防工业出版社, 2003.

[2] 杨旭海.基于北斗地基增强系统的精密授时方法研究[C]//中国天文学会学术年会, 2014.

[3] 华宇, 郭伟, 燕保荣, 等.我国授时服务体系发展现状分析[J].时间频率学报, 2016,39(3): 193-201.

[4] Du Q, Gong G, Pan W.A packet-based precise timing and synchronous DAQ network for the LHAASO project[J].Nuclear Inst amp; Methods in Physics Research A, 2013, 732(5):488-492.

[5] Serrano J, Alvarez P, Cattin M, et al.The White Rabbit project[C]//Proceedings of ICALEPCS TUC004.Kobe, 2009.

[6] Wlostowski T.Precise time and frequency transfer in a White Rabbit network[D].Warsaw University of Technology, 2011.

[7] Maciej Lipinski.White Rabbit Standardization in IEEE 1588-2008[EB/OL].(2012-04-07)[2017-05-22].http://www.ohwr.org/projects/wr-std/wiki.

[8] Eidson J, Lee K.IEEE 1588 standard for a precision clock synchronization protocol for networked measurement and control systems[C]//Proceedings of the 2ndISA/IEEE Sensors for Industry Conference.IEEE, 2002: 98-105.

[9] Moreira P, Alvarez P, Serrano J, et al.Digital dual mixer time difference for sub-nanosecond time synchronization in Ethernet[C]//Proceedings of 2010 IEEE International Frequency Control Symposium (FCS).IEEE, 2010: 449-453.

[10] Lipinski M, Wlostowski T, Serrano J, et al.White Rabbit: a PTP application for robust sub-nanosecond synchronization[C]//Proceedings of IEEE International Symposium on Precision Clock Synchronization for Measurement, Control and Communication(ISPCS).IEEE, 2011: 25-30.

[12] Rizzi M, Lipinski M, Wlostowski T, et al.White Rabbit clock characteristics[C]//Proceedings of IEEE International Symposium on Precision Clock Synchronization for Measurement, Control and Communication(ISPCS).IEEE, Stockholm, 2016: 1-6.

[13] Ronen O, Lipinski M.Enhanced synchronization accuracy in IEEE1588[C]//Proceedings of IEEE International Symposium on Precision Clock Synchronization for Measurement, Control and Communication(ISPCS).IEEE, Beijing, 2015: 76-81.

[14] Dierikx E F, Wallin A E, Fordell T, et al.White Rabbit precision time protocol on long-distance fiber links[J].IEEE Transactionson Ultrasonics, Ferroelectrics, and Frequency Control, 2016, 63(7): 945-952.

[15] Pan W, Du Q, Gong G.Development of a White Rabbit interface for synchronous data acquisition and timing control[C]//Proceedings of the 18thIEEE-NPSS Real Time Conference (RT).IEEE, Berkley, 2012: 1-3.

High-PrecisionTimeDistributionBasedonOpticalEthernet

GONG Guang-hua, LI Hong-ming

(Key Laboratory of Particle and Radiation Imaging of Ministry of Education, Department of Engineering Physics, Tsinghua University, Beijing 100084, China)

WR (White Rabbit) is a technology that combined the Gigabit Ethernet, Sync-E, Precision Time Protocol (IEEE1588 v2) and digital phase tracking method to provide a sub-nanosecond accuracy of time amp; frequency distribution method for thousands of devices spanning several kilometers. WR technology is compatible with standard Ethernet, introduces very few network bandwidth load, high integration with data transmission and advantage of low cost. This paper introduces the technical principles of WR technology, the measurement results of a small WR network with different topology are presented as well. The WR technology is an ideal solution for all applications that requires high precision time synchronization among multiple nodes over long distance, to act as a key supporting technology for the thriving ground enhancement navigation system.

Distributed synchronization; Time distribution; Sync-E; White Rabbit*

10.19306/j.cnki.2095-8110.2017.06.011

TN913.7

A

2095-8110(2017)06-0068-07

2017-05-12；

2017-06-21

国家自然科学基金(11275111，11575096)

龚光华(1977-)，男，博士，副研究员，主要从事核电子学方面的研究。E-mail:ggh@tsinghua.edu.cn