一.前言
進入2019年,隨著5G商用的堅實推進,傳遞到數(shù)據(jù)中心和服務器的更高運算帶寬的壓力也越來越大。由此隨著PCIE4.0規(guī)范的全面定稿,業(yè)界主要玩家從芯片供應商,到服務器系統(tǒng)研發(fā)生產(chǎn)廠家及中間部件廠家均全面開始啟動。
基于此背景,本文將主要就PCIE4.0的測試項目及方法和方案作一簡單說明。
先我們要明確的是近年來針對PCIE3.0和4.0測試通常分兩大場景,Base即針對芯片測試和CEM(Card Electrical Mechanical)測試即俗稱的金手指插槽接口信號測試。
通常Base測試是芯片供應商不可回避的環(huán)節(jié),而CEM測試通常是以服務器及其周邊設(shè)備為主的系統(tǒng)生產(chǎn)商的主要戰(zhàn)場,相關(guān)產(chǎn)品包括以PC主板,服務器為代表的System Board;以及各種插卡,如獨立顯卡,高速網(wǎng)卡與通訊接口卡,加密卡等等為代表的Add-in Card;另外還有其它基于PCIE物理層規(guī)范進行信號傳輸?shù)腟SD等設(shè)備,通常遵循M.2或U.2接口,也轉(zhuǎn)化遵循CEM規(guī)范進行測試。
以下主要針對CEM規(guī)范場景就測試方法及方案做一個簡單的說明和探討。
二.發(fā)送端測試說明和方案
發(fā)送端測試主要設(shè)備是實時示波器。要工作是確定需要測量的信號頻率范圍,選擇恰當?shù)膬x器帶寬和型號。根據(jù)PCIE4.0 Base規(guī)范:
圖1 PCIE4.0 Base規(guī)范對測試帶寬需求的說明
針對PCIE4.0 16Gbps依據(jù)de-embedding Replica Channel的需要推薦的帶寬范圍在20GHz。
另外Base Spec 中也規(guī)定,由于Rx 測試所使用的BERT 輸出上升沿要14ps~19ps(20%~80%),要求校準使用示波器帶寬至少達到25GHz,同樣,這也是對Tx 測試的小帶寬要求。
針對CEM 場景測試,根據(jù)PCI-Sig 相關(guān)文檔和規(guī)范如下圖:
圖2 CEM Add-in Card和System測試方法描述 從以上兩張圖片可以看到具體在PHY Test Spec規(guī)范中明確推薦25GHz帶寬示波器。
Keysight DSAV254A,DSAZ254A及UXR0254A三款示波器均可以支持.其中UXR系列采用10bit ADC相對前兩款有更高ADC位數(shù)及本底噪聲,會帶來更高測量精度及更多的裕量。測試連接框圖如下:
圖3 Add-in Card TX測試連接示意圖
下面這張圖為針對Sys Board的Dual Port測試的組網(wǎng)圖:
圖4 System Board TX測試連接示意圖
在PCIE4.0 Phy Test Spec里,關(guān)于System采用Dual Port測試Appendix D有如下描述:
圖5 PCIE4.0 Test Spec Appendix D替代方法說明
注意上面黃色高亮文字,明確說明必須采用2.7.5描述方法。只有在采用2.7.5方法測試失敗后,才可以采用替代的數(shù)據(jù)和時鐘分開采集再對時鐘進行后處理的方法。
因此必須要補充說明的是:
a.雙端口測試始終是PCIe 4.0 System Board測試的必須方法。
b.添加了附錄D僅作為應急。如果啟用了大SSC,Sigtest軟件處理會顯示問題。開發(fā)人員用新方法近已經(jīng)解決了Sigtest 在處理SSC時的問題。
c.在近的WorkShop #110上測試的所有系統(tǒng)板均使用雙端口方法進行了測試。
d.雙端口方法同時使用時鐘和數(shù)據(jù)測試,基于End Device角度很好地詮釋了根組件的信號質(zhì)量。
e.系統(tǒng)板供應商可以針對參考時鐘做抖動平衡或折中,以獲得更好的信號抖動,并且仍然符合規(guī)范。
PCIE4.0測試夾具如下圖:
圖6 PCIE4.0測試夾具
PCIE4.0的夾具都是在協(xié)會官方網(wǎng)站購買,鏈接如下:
http://pcisig.com/specifications/order-form
協(xié)會夾具套件除了上述的夾具板外,也包含了下圖中的4根銀色1英尺SMP-SMP cable及4根銀色SMA-SMP短電纜,其余電纜和轉(zhuǎn)接頭需要自行額外購買。
圖7 測試用同軸電纜和連接器等附件
以及為了端接CBB 和CLB 上的非在測鏈路,需要30 個SMP,50 歐姆端接器,Male,推薦型號Fairview Microwave PN/ST1847.
另外針對Add-in Card 測試,需要一臺 帶24 針連接器的ATX 電源用于供電。
為了保護客戶投資,針對已有DSAV254A 設(shè)備情況下,由于其支持2 通道25GHz 示波器,而對Root Complex 類DUT 在進行System Board 測試時需要Dual Port 方法進行測試。即同時接入差分時鐘和數(shù)據(jù),如果采用全電纜連接則需要2 個通道分別接入時鐘信號CLK+和CLK-,2 個通道分別接入Data+和Data-,因此就需要4 個通道25GHz 帶寬示波器。因此PCI-Sig 組織允許采用2根高帶寬差分探頭配合SMA 探頭前端,分別接入差分數(shù)據(jù)和時鐘進行測試。推薦的探頭和SMA探頭前端是N2802A 以上和N5444A SMA 前端。
圖8 差分探頭和N5444A SMA 探頭前端
數(shù)據(jù)分析軟件,針對PCIE4.0,推薦PCI-Sig Sigtest 4.0.48 以上,下載鏈接:
http://www.intel.com/high-speed-io.
針對低速信號,2.5G/5G/8G,推薦使用Sigtest 3.2.0.3,并遵循PCIE3.0測試流程。
針對System Board和Add-in Card主要有如下測試項目:
[PHY 2.1] Add-in Card Transmitter Signal Quality Test for 16GT/s
[PHY 2.2]Add-in Card Transmitter Pulse Width Jitter Test at 16 GT/s [PHY 2.3] Add-in Card Transmitter Preset Test for 16GT/s
[PHY 2.7] System Board Transmitter Signal Quality Test for 16GT/s
[PHY 2.8] System Board Transmitter Preset Test for 16GT/s
下面我們就這幾個項目做一簡單的說明。
[PHY 2.2]項目主要是針對AIC進行,按壓切換按鈕,第27個設(shè)置,0/8/16/24鏈路會輸出Jitter Measurement Pattern,設(shè)定示波器捕獲2M UI存儲波形后用Sigtest上的PCIE_4_0_CARD\PCIe_4_16GB_Tx_PWJ.dat模板進行測試。
[PHY 2.3]和[PHY 2.8]是分別針對 Add-in Card和System Board的16GT/s的 Transmitter Preset測試。沿襲自PCIE3.0 8GT/s,在4.0標準上全部保留了P0-P10共11個Preset:
表1 PCIE4.0 Preset表
這個測試過程要確定被測設(shè)備是否為11個(P0-P10)預設(shè)中的每一個產(chǎn)生正確的TX發(fā)送器均衡。這些正確的均衡主要是為了在發(fā)送端針對碼型跳變時預留足夠的高頻分量以應對傳輸鏈路的損耗。
[PHY 2.1]和[PHY 2.7]是分別針對AIC和SYS_Board的信號質(zhì)量測試。按CBB4/CLB4夾具上的一致性模式切換按鈕,直到到達Gen4 P0。建議先復位被測系統(tǒng)并計算按鈕按下次數(shù),直到您循環(huán)通過2.5G,5G和8GT / s一致性信號。PCI-SIG的一致性測試程序要求其中一個預設(shè)(P0-P10)
通過PCIe 4.0 CEM信號質(zhì)量測試??梢赃x擇任何預設(shè); 然而,在初步測試中發(fā)現(xiàn)Preset P5通常會給出迄今為止測試的大多數(shù)設(shè)備的通過結(jié)果。也可以測試其他預設(shè),但必須至少有一個預設(shè)通過測試才能符合信號質(zhì)量的一致性要求。
圖9 用于Add-in Card發(fā)送端預設(shè)測試的CBB夾具示意
圖10 用于System Board 發(fā)送端預設(shè)測試的CLB X1X16 夾具示意
特別提醒注意的是在進行TX 測試時,如果采用手動Preset 切換,需要在CBB/CLB 夾具上連接Toggle Circuits 和RX Lane0。CBB 上的連接只有一種情況,而在采用CLB 夾具時會因為X1/X16和X4/X8 的不同以及CEM 插槽的差異而不同,比如針對X16 插槽測試就采用兩根SMP-SMP 電纜連接J85/J5 Toggle Circuits SMP 接口到RX Lane0 的J50/J51,如上圖所示。
在捕獲所有預設(shè)波形后并保存在一個相同目錄下,就可以采用Sigtest 進行測試。
圖11 Sigtest測試設(shè)置和結(jié)果
[PHY 2.1] 和[PHY 2.7]是分別針對Add-in Card和System Board的發(fā)送端 16GT/s Signal Quality 測試。這兩個測試項目驗證被測設(shè)備的信號是否符合眼圖和抖動等其他要求。未測試的鏈路應使用50歐姆SMP終端器進行端接。
下圖分別是針對Add-in Card和System Board測試連接示意圖:
圖12 Add-in Card信號質(zhì)量測試示意圖
注意Add-in Card測試只要兩根電纜接入數(shù)據(jù)+和-到示波器的兩條輸入通道。而System Board則必須采用Dual Port測試,需要同時接入時鐘和數(shù)據(jù)信號進行測試,當前PCI-Sig組織推薦采用四通道25GHz帶寬示波器分別接入CLK+,CLK-和DATA+和DATA-四根信號?;趯^往投資的保護,也認可了采用高帶寬差分探頭加SMA探頭前端直接接入CLK和DATA差分對的方法。
圖13 System Board信號質(zhì)量測試示意圖
另外相對于以往PCIE3.0的測試可以看到在進行眼圖和抖動等信號質(zhì)量測試時,引入了ISI夾具,以滿足整個測試鏈路28dB的損耗。如果采用前面列出的推薦的電纜和連接器附件,在Add-in Card測試時缺省推薦采用Pair 16,在System Board測試時缺省推薦采用Pair 0。在實際工作中,由于ISI夾具為硬件實物,可能存在差異性,遇到采用上述兩個推薦ISI鏈路時測試無法通過就需要采用網(wǎng)絡分析儀評估被測DUT上鏈路損耗以及ISI夾具上不同線對的損耗,以決定采用一個優(yōu)鏈路。
其它與PCIE3.0有顯著不同的是明確說明需要捕獲2M UI進行數(shù)據(jù)分析。針對PCIE4.0 16GT/s,如果采用V/Z系列示波器,設(shè)定高采樣率80GSa/s,需要的記錄深度:
存儲深度=捕獲時長*采樣率=(2M*1/16G)*80G=10M
如果采用UXR系列25GHz示波器,設(shè)定高采樣率128GSa/s,需要的記錄深度:
存儲深度=捕獲時長*采樣率=(2M*1/16G)*128G=16M
另外Sigtest處理的是示波器捕獲的原始波形,需要將示波器的內(nèi)插(interpolation)關(guān)閉(設(shè)置為off),以上兩種設(shè)置均可在Keysight示波器的Setup→Acquisition頁面下進行設(shè)置:
圖14 V/Z/UXR系列示波器存儲深度設(shè)置示意
在完成一些基本的示波器設(shè)置后,我們就可以看到屏幕上的原始波形。
由于采用夾具接入信號,而夾具上是SMP連接器,不能完全等效于真實的芯片封裝模型,因此PCI-Sig規(guī)范規(guī)定進行Add-in Card測試時,需要在示波器上模擬Root Complex 5dB封裝模型,而在進行System Board測試時,需要在示波器上模擬End Point 3dB封裝模型。
這一運算可以簡單地在Keysight 實時示波器的軟件里非常簡單的設(shè)置完成。
在Setup菜單下,選擇Channel設(shè)置,選擇右下角InsiniiSim設(shè)置區(qū)域,如下圖示。
圖15 Infiniisim設(shè)置示意圖
點擊Setup按鈕,進入InfiniiSim設(shè)置窗口,可以選擇Setup Wizard,按照設(shè)置向?qū)нM行一步步設(shè)置。
圖16 Infiniisim設(shè)置圖
這里無論是進行Add-in Card還是System Board信號質(zhì)量測試,都需要嵌入一個5dB或3dB封裝模型。因此選擇“Add Insertion Loss of a Fixture or cable”.按照下圖操作順序即可完成,封裝模型的嵌入,模型參數(shù)在安裝4.0.45版本以上Sigtest程序中,文件名是
針對 Add-in Card:refpkg_rootcomplex_5db_thru.s4p
或針對 System Board: refpkg_endpoint_3db_thru.s4p
圖17 Infiniisim 設(shè)置圖
在完成模型嵌入后,示波器軟件會生成一個傳遞函數(shù)并對捕獲得到的波形進行一個數(shù)學運算得到嵌入處理后的結(jié)果:
圖18 Infiniisim 處理完畢效果圖
將捕獲得到的波形存成bin 文件。
特別地在進行System Board 測試時,需要同時存儲Data 和CLK 波形,應選擇存儲AllWaveforms,All Data。如下圖示:
圖19 波形存儲示意圖
波形存儲完畢后即可在Sigtest軟件里進行測試:
圖20 Sigtest設(shè)置界面
點擊Test按鈕,就可以得到如下測試結(jié)果和報告:
圖21 Sigtest測試報告結(jié)果圖
除了可以使用由Intel 提供的Sigtest 軟件外,也可以采用Keysight N5393G PCIE 一致性測試軟件進行信號分析并給出標準的一致性測試報告:
圖22 PCIE 一致性測試軟件界面