2022-9-23

最近某項(xiàng)目采用以太網(wǎng)通信，實(shí)踐起來(lái)有些奇怪，好像設(shè)計(jì)成只能應(yīng)答某類計(jì)算機(jī)的ICMP（ping）命令， 某類計(jì)算機(jī)指的是Windows特定系統(tǒng)，其他系統(tǒng)發(fā)送ping都不能正確識(shí)別。

其實(shí)不奇葩

白蔡：“吳哥，江湖救急！甲方爸爸的電路板寄過(guò)來(lái)好幾天了，我一直搞不定它的以太網(wǎng)。”

甲方爸爸干系統(tǒng)集成的，要把我們兩家產(chǎn)品打包售賣，甲方設(shè)計(jì)FPGA，我方設(shè)計(jì)嵌入式Linux，兩塊電路板采用以太網(wǎng)直連 方式通信。桌面上擺放的是雙方的成熟產(chǎn)品，一根網(wǎng)線連接，簡(jiǎn)單到不能再簡(jiǎn)單了。

白蔡：“他們的產(chǎn)品很奇葩，F(xiàn)PGA的IP固定為192.168.1.6，我方的IP必須是192.168.1.7，以太網(wǎng)也必須千兆不協(xié)商?！?/span>

吳解兩手撐著臉坐在白蔡工位：“有什么奇怪的，已發(fā)表論文都是怎么干的，F(xiàn)PGA--以太網(wǎng)--處理器，班內(nèi)通信才這么搞定。沒(méi)有省去路由協(xié)議，F(xiàn)PGA沒(méi)必要設(shè)計(jì)復(fù)雜的協(xié)議棧應(yīng)答模式，IP什么的僅為了填充協(xié)議棧，寫(xiě)死就寫(xiě)死，” 上挑眉毛，“說(shuō)說(shuō)你遇到的具體問(wèn)題?！?/span>

白蔡：“奇怪的是我做如下三組實(shí)驗(yàn)，嵌入式Linux和FPGA好像沒(méi)有應(yīng)答， 當(dāng)然，實(shí)驗(yàn)前桌面電腦和嵌入式Linux都已經(jīng)設(shè)置成千兆不協(xié)商

三組對(duì)照實(shí)驗(yàn)如下：

• 桌面電腦ping FPGA，OK

• 桌面電腦ping 嵌入式Linux，OK

• 嵌入式Linux ping FPGA，無(wú)響應(yīng)

對(duì)描述者保持懷疑

吳解：“3個(gè)步驟，你再演示一遍給我看?！睉岩砂撞虥](méi)有正確描述現(xiàn)象。

白蔡在桌面電腦設(shè)置固定千兆速率：本地連接->屬性->配置->高級(jí)->速度和雙工->1.0 Gbps全雙工。嵌入式也用ethtool設(shè)置固定千兆速率，重復(fù)3個(gè)步驟與所述一致。

確認(rèn)網(wǎng)速

吳解扛來(lái)示波器，驗(yàn)證嵌入式Linux和FPGA通信速率是不是都真的工作在千兆模式。ethtool也不是所有網(wǎng)卡驅(qū)動(dòng)都支持，雖然/sys/class/net/eth0/speed顯示著1000，有可能顯示和實(shí)際不一致。

FPGA的板子畢竟不是自己畫(huà)的，不太好找。

示波器測(cè)試MAC和PHY之間的通信速率，如果是125MHz表明工作在千兆模式，結(jié)果顯示均為125MHz。

檢查線序

白蔡：“會(huì)不會(huì)是網(wǎng)線的問(wèn)題呢？嵌入式Linux莫非不能同時(shí)兼容交叉線、直通線？嵌入式Linux和桌面電腦連接后，桌面電腦完成收發(fā)自動(dòng)翻轉(zhuǎn)，于是通信成功?！?/span>

吳解：“不能自動(dòng)翻轉(zhuǎn)線序的網(wǎng)卡我只在2010年前見(jiàn)過(guò)一次，負(fù)責(zé)線序翻轉(zhuǎn)是網(wǎng)卡PHY的附加功能，目前市面上的PHY都具備?！?/span>

兩人去庫(kù)房借來(lái)另一塊同型號(hào)的嵌入式Linux板卡，確認(rèn)兩塊嵌入式Linux板卡所用的PHY是同型號(hào)的，畢竟近些年芯片之間的Pin to Pin替換解決方案挺多。并準(zhǔn)備兩根交叉線和直連線。

如果兩塊嵌入式Linux板卡接入任何一根網(wǎng)線都能ping通，則表明板載PHY支持自動(dòng)翻轉(zhuǎn)線序。實(shí)驗(yàn)證明與網(wǎng)線無(wú)關(guān)。

tcpdump抓包

吳解：“是挺邪門，光猜是猜不出來(lái)的，試試tcpdump能呈現(xiàn)些什么東西?！?/span>

打開(kāi)tcpdump后更邪門的事情發(fā)生了，F(xiàn)PGA居然有回應(yīng)ICMP包！不會(huì)是FPGA設(shè)計(jì)的協(xié)議棧閹割得太多了吧。

疑點(diǎn)1、兩網(wǎng)卡連接后首先交互的是ARP協(xié)議，在沒(méi)有完成ARP協(xié)議前不可能發(fā)送ICMP協(xié)議，既然嵌入式Linux能發(fā)送ICMP表明ARP協(xié)議已經(jīng)交互完成；

疑點(diǎn)2、嵌入式Linux ping FPGA和桌面電腦的效果不一樣，首先注意到ID值，正常情況下ID值應(yīng)該與發(fā)送的一致；

吳解以前移植過(guò)ICMP協(xié)議，映像里ICMP協(xié)議實(shí)現(xiàn)起來(lái)很簡(jiǎn)單，ID用于表征對(duì)端回應(yīng)的ICMP reply是哪一個(gè)，畢竟兩機(jī)器之間間隔若干路由器，每個(gè)數(shù)據(jù)包可能選擇兩條不通的鏈路返回，后發(fā)送的ICMP reply可能比先發(fā)送的先被終端收到。

busybox源碼的把ID號(hào)作為判斷依據(jù)。

wireshark分析

不過(guò)奇怪的是，為什么桌面電腦ping卻能正常響應(yīng)呢？

吳解用tcpdump把抓包的內(nèi)容保存成通用格式pcap，在自己的電腦上用wireshark打開(kāi)。文件保存了兩份，一份是桌面電腦與FPGA的數(shù)據(jù)，一份是嵌入式Linux與FPGA的數(shù)據(jù)。

FPGA返回給桌面電腦的ICMP replay數(shù)據(jù)里ID項(xiàng)是跟著request變化的，不是固定的1。

猛然間發(fā)現(xiàn)，request和reply的長(zhǎng)度是不一樣的，分別是98字節(jié)和74字節(jié)，點(diǎn)開(kāi)數(shù)據(jù)區(qū)域觀察到數(shù)據(jù)填充內(nèi)容完全不同。FPGA返回的數(shù)據(jù)區(qū)域是“abcd”開(kāi)頭。

看著數(shù)據(jù)區(qū)的內(nèi)容吳解預(yù)感找到現(xiàn)象原因了，隨即用自己的桌面Linux系統(tǒng)ping FPGA板卡也沒(méi)通。跑到白蔡的工位：“你有沒(méi)有桌面電腦Ubuntu系統(tǒng)上測(cè)試過(guò)ping FPGA板卡？”

白蔡：“沒(méi)有，現(xiàn)在沒(méi)興趣，emo了?！?/span>

白蔡有兩臺(tái)桌面電腦，一臺(tái)Windows一臺(tái)Ubuntu，演示時(shí)僅演示W(wǎng)indows系統(tǒng)，下意識(shí)的認(rèn)為白蔡之前也在Ubuntu上測(cè)試過(guò)。

吳解：“問(wèn)題找到了，甲方提供的FPGA板卡ICMP reply模仿Windows格式，Windows的request就是以abcd開(kāi)頭的。我猜測(cè)你如果用windows設(shè)置ping包大小，F(xiàn)PGA同樣不會(huì)正確返回?！?/span>

白蔡來(lái)了精神，抓取Windows上的ICMP request數(shù)據(jù)，果真是“abcd”開(kāi)頭：“也就是說(shuō)后續(xù)可以正常開(kāi)發(fā)應(yīng)用層協(xié)議，不必管ping嗎？”

吳解：“是的?！?/span>

后來(lái)白蔡找甲方爸爸確認(rèn)，他們的確是模仿Windows的reply包做的。