[導(dǎo)讀]相關(guān)閱讀:《eBPF技術(shù)應(yīng)用云原生網(wǎng)絡(luò)實踐系列之kubernetes網(wǎng)絡(luò)》背景介紹Kubernetes中的網(wǎng)絡(luò)功能,主要包括POD網(wǎng)絡(luò),service網(wǎng)絡(luò)和網(wǎng)絡(luò)策略組成。其中POD網(wǎng)絡(luò)和網(wǎng)絡(luò)策略,都是規(guī)定了模型,沒有提供默認(rèn)實現(xiàn)。而service網(wǎng)絡(luò)作為Kubernetes的特色...
相關(guān)閱讀:《eBPF技術(shù)應(yīng)用云原生網(wǎng)絡(luò)實踐系列之kubernetes網(wǎng)絡(luò)》
背景介紹
Kubernetes 中的網(wǎng)絡(luò)功能,主要包括 POD 網(wǎng)絡(luò),service 網(wǎng)絡(luò)和網(wǎng)絡(luò)策略組成。其中 POD 網(wǎng)絡(luò)和網(wǎng)絡(luò)策略,都是規(guī)定了模型,沒有提供默認(rèn)實現(xiàn)。而 service 網(wǎng)絡(luò)作為 Kubernetes 的特色部分,官方版本持續(xù)演進(jìn)了多種實現(xiàn):
|
service 實現(xiàn)
|
說明
|
|
userspace 代理模式
|
kube-proxy 負(fù)責(zé) list/watch,規(guī)則設(shè)置,用戶態(tài)轉(zhuǎn)發(fā)。
|
|
iptables 代理模式
|
kube-proxy 負(fù)責(zé) list/watch,規(guī)則設(shè)置。IPtables 相關(guān)內(nèi)核模塊負(fù)責(zé)轉(zhuǎn)發(fā)。
|
|
IPVS 代理模式
|
kube-proxy 負(fù)責(zé) list/watch,規(guī)則設(shè)置。IPVS 相關(guān)內(nèi)核模塊負(fù)責(zé)轉(zhuǎn)發(fā)。
|
在 Kubernetes 中先后出現(xiàn)的幾種 Service 實現(xiàn)中,整體都是為了提供更高的性能和擴(kuò)展性。
Service 網(wǎng)絡(luò),本質(zhì)上是一個分布式的服務(wù)器負(fù)載均衡,通過 daemonset 方式部署的 kube-proxy,監(jiān)聽 endpoint 和 service 資源,并在 node 本地生成轉(zhuǎn)發(fā)表項。目前在生產(chǎn)環(huán)境中主要是 iptables 和 IPVS 方式,原理如下:
在本文中,介紹使用 socket eBPF 在 socket 層面完成負(fù)載均衡的邏輯,消除了逐報文 NAT 轉(zhuǎn)換處理,進(jìn)一步提升 Service 網(wǎng)絡(luò)的轉(zhuǎn)發(fā)性能。
基于 socket eBPF 的數(shù)據(jù)面實現(xiàn)
socket eBPF 數(shù)據(jù)面簡介
無論 kube-proxy 采用 IPVS 還是 tc eBPF 服務(wù)網(wǎng)絡(luò)加速模式,每個從 pod 發(fā)出網(wǎng)絡(luò)請求都必然經(jīng)過 IPVS 或者 tc eBPF,即 PODServicePOD,隨著流量的增加必然會有性能開銷, 那么是否可以直接在連接中將 service的clusterIP 的地址直接換成對應(yīng)的 pod ip?;?Kube-proxy IPVS 實現(xiàn)的 service 網(wǎng)絡(luò)服務(wù),是基于逐報處理 session 的方式來實現(xiàn)。
利用 socket eBPF,可以在不用直接處理報文和 NAT 轉(zhuǎn)換的前提下,實現(xiàn)了負(fù)載均衡邏輯。Service 網(wǎng)絡(luò)在同步上優(yōu)化成 PODPOD,從而使Service 網(wǎng)絡(luò)性能基本等同于 POD 網(wǎng)絡(luò)。軟件結(jié)構(gòu)如下:
在 Linux 內(nèi)核中,利用 BPF_PROG_TYPE_CGROUP_SOCK 類型的 eBPF hook 可以針對 socket 系統(tǒng)調(diào)用掛接 hook,插入必要的 EBPF 程序。
-
通過 attach 到特定的 cgroup 的文件描述符,可以控制 hook 接口的作用范圍。
-
利用 sock eBPF hook,我們可以在 socket 層面劫持特定的 socket 接口,來完成完成負(fù)載均衡邏輯。
-
POD-SVC-POD 的轉(zhuǎn)發(fā)行為轉(zhuǎn)換成 POD-POD 的轉(zhuǎn)發(fā)行為。
當(dāng)前 Linux 內(nèi)核中不斷完善相關(guān)的 hook,支持更多的 bpf_attach_type,部分距離如下:BPF_CGROUP_INET_SOCK_CREATEBPF_CGROUP_INET4_BINDBPF_CGROUP_INET4_CONNECTBPF_CGROUP_UDP4_SENDMSGBPF_CGROUP_UDP4_RECVMSGBPF_CGROUP_GETSOCKOPTBPF_CGROUP_INET4_GETPEERNAMEBPF_CGROUP_INET_SOCK_RELEASE
TCP 工作流程
TCP 由于是有基于連接的,所以實現(xiàn)非常簡明,只需要 hook connect 系統(tǒng)調(diào)用即可,如下所示:connect 系統(tǒng)調(diào)用劫持邏輯:1. 從 connect 調(diào)用上下文中取 dip dport,查找 svc 表。找不到則不處理返回。
2. 查找親和性會話,如果找到,得到 backend_id,轉(zhuǎn) 4。否則轉(zhuǎn) 3。
3. 隨機(jī)調(diào)度,分配一個 backend。
4. 根據(jù) backend_id,查 be 表,得到 be 的 IP 端口。
5. 更新親和性信息。
6. 修改 connect 調(diào)用上下文中的 dip dport 為 be 的 ip port。
7. 完成。
在 socket 層面就完成了端口轉(zhuǎn)換,對于 TCP 的 clusterip 訪問,基本上可以等同于 POD 之間東西向的通信,將 clusterip 的開銷降到最低。
-
不需要逐包的 dnat 行為。
-
不需要逐包的查找 svc 的行為。
UDP 工作流程
UDP 由于是無連接的,實現(xiàn)要復(fù)雜一些,如下圖所示:nat_sk 表的定義參見:LB4_REVERSE_NAT_SK_MAP
劫持 connect 和 sendmsg 系統(tǒng)調(diào)用:1. 從系統(tǒng)調(diào)用調(diào)用上下文中取 dip dport,查找 svc 表。找不到則不處理返回。
2. 查找親和性會話,如果找到,得到 backend_id,轉(zhuǎn) 4,否則轉(zhuǎn) 3。
3. 隨機(jī)調(diào)度,分配一個 backend。
4. 根據(jù) backend_id,查 be 表,得到 be 的 IP 端口。
5. 更新親和性的相關(guān)表。
6. 更新 nat_sk 表,key 為 be 的 ip port,value 為 svc的vip vport。
7. 修改系統(tǒng)調(diào)用上下文中的 dip dport 為 be 的 ip port。
8. 完成。劫持 recvmsg 系統(tǒng)調(diào)用1. 從系統(tǒng)調(diào)用上下文中遠(yuǎn)端 IP port,查找 NAT_SK 表,找不到則不處理返回。
2. 找到,取出其中的 IP port,用來查找 svc 表,找不到,則刪除 nat_sk 對應(yīng)表項,返回。
3. 使用 nat_sk 中找到的 ip port,設(shè)置系統(tǒng)調(diào)用上下文中遠(yuǎn)端的 IP port。
4. 完成。關(guān)于地址修正問題
基于 socket eBPF 實現(xiàn)的 clusterIP,在上述基本轉(zhuǎn)發(fā)原理之外,還有一些特殊的細(xì)節(jié)需要考慮,其中一個需要特殊考慮就是 peer address 的問題。和 IPVS之類的實現(xiàn)不同,在 socket eBPF 的 clusterIP 上,client 是和直接和 backend 通信的,中間的 service 被旁路了?;仡櫼幌罗D(zhuǎn)發(fā)路徑如下:
此時,如果 client 上的 APP 調(diào)用 getpeername 之類的接口查詢 peer address,這個時候獲取到的地址和 connect 發(fā)起的地址是不一致的,如果 app對于 peeraddr 有判斷或者特殊用途,可能會有意外情況。
針對這種情況,我們同樣可以通過 eBPF 在 socket 層面來修正:1、在guest kernel 上新增 bpf_attach_type,可以對 getpeername 和 getsockname 增加 hook 處理。
2、發(fā)起連接的時候,在相應(yīng)的 socket hook 處理中,定義 map 記錄響應(yīng)的VIP:VPort 和 RSIP:RSPort 的對用關(guān)系。3、當(dāng) APP 要調(diào)用 getpeername/getsockname 接口的時候,利用 eBPF 程序修正返回的數(shù)據(jù):修改上下文中的遠(yuǎn)端的 IP port為vip vport。
總結(jié)
和TC-EBPF/IPVS性能對比
測試環(huán)境:4vcpu 8G mem 的安全容器實例,單 client 單 clusterip 12 backend。socket BPF:基于 socket ebpf 的 service 實現(xiàn)。tc eBPF:基于 cls-bpf 的 service 實現(xiàn),目前已經(jīng)在 ack 服務(wù)中應(yīng)用。IPVS-raw:去掉所有安全組規(guī)則和 veth 之類開銷,只有 IPVS 轉(zhuǎn)發(fā)邏輯的 service 實現(xiàn)。socket BPF 在所有性能指標(biāo)上,均有不同程度提升。大量并發(fā)的短連接,基本上吞吐提升 15%,時延降低 20%。轉(zhuǎn)發(fā)性能比較(QPS)90%轉(zhuǎn)發(fā)延時比較(ms)
繼續(xù)演進(jìn)
eBPF does to Linux what JavaScript does to HTML.-- Brendan Gregg基于 socket eBPF 實現(xiàn)的 service,大大簡化了負(fù)載均衡的邏輯實現(xiàn),充分體現(xiàn)了 eBPF 靈活、小巧的特點。eBPF 的這些特點也很契合云原生場景,目前,該技術(shù)已在阿里云展開實踐,加速了 kubernetes 服務(wù)網(wǎng)絡(luò)。我們會繼續(xù)探索和完善更多的 eBPF 的應(yīng)用案例,比如 IPv6、network policy 等。
——完——
本站聲明: 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點,本站亦不保證或承諾內(nèi)容真實性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請及時聯(lián)系本站刪除。
LED驅(qū)動電源的輸入包括高壓工頻交流(即市電)、低壓直流、高壓直流、低壓高頻交流(如電子變壓器的輸出)等。
關(guān)鍵字:
驅(qū)動電源
在工業(yè)自動化蓬勃發(fā)展的當(dāng)下,工業(yè)電機(jī)作為核心動力設(shè)備,其驅(qū)動電源的性能直接關(guān)系到整個系統(tǒng)的穩(wěn)定性和可靠性。其中,反電動勢抑制與過流保護(hù)是驅(qū)動電源設(shè)計中至關(guān)重要的兩個環(huán)節(jié),集成化方案的設(shè)計成為提升電機(jī)驅(qū)動性能的關(guān)鍵。
關(guān)鍵字:
工業(yè)電機(jī)
驅(qū)動電源
LED 驅(qū)動電源作為 LED 照明系統(tǒng)的 “心臟”,其穩(wěn)定性直接決定了整個照明設(shè)備的使用壽命。然而,在實際應(yīng)用中,LED 驅(qū)動電源易損壞的問題卻十分常見,不僅增加了維護(hù)成本,還影響了用戶體驗。要解決這一問題,需從設(shè)計、生...
關(guān)鍵字:
驅(qū)動電源
照明系統(tǒng)
散熱
根據(jù)LED驅(qū)動電源的公式,電感內(nèi)電流波動大小和電感值成反比,輸出紋波和輸出電容值成反比。所以加大電感值和輸出電容值可以減小紋波。
關(guān)鍵字:
LED
設(shè)計
驅(qū)動電源
電動汽車(EV)作為新能源汽車的重要代表,正逐漸成為全球汽車產(chǎn)業(yè)的重要發(fā)展方向。電動汽車的核心技術(shù)之一是電機(jī)驅(qū)動控制系統(tǒng),而絕緣柵雙極型晶體管(IGBT)作為電機(jī)驅(qū)動系統(tǒng)中的關(guān)鍵元件,其性能直接影響到電動汽車的動力性能和...
關(guān)鍵字:
電動汽車
新能源
驅(qū)動電源
在現(xiàn)代城市建設(shè)中,街道及停車場照明作為基礎(chǔ)設(shè)施的重要組成部分,其質(zhì)量和效率直接關(guān)系到城市的公共安全、居民生活質(zhì)量和能源利用效率。隨著科技的進(jìn)步,高亮度白光發(fā)光二極管(LED)因其獨特的優(yōu)勢逐漸取代傳統(tǒng)光源,成為大功率區(qū)域...
關(guān)鍵字:
發(fā)光二極管
驅(qū)動電源
LED
在LED照明技術(shù)日益普及的今天,LED驅(qū)動電源的電磁干擾(EMI)問題成為了一個不可忽視的挑戰(zhàn)。電磁干擾不僅會影響LED燈具的正常工作,還可能對周圍電子設(shè)備造成不利影響,甚至引發(fā)系統(tǒng)故障。因此,采取有效的硬件措施來解決L...
關(guān)鍵字:
LED照明技術(shù)
電磁干擾
驅(qū)動電源
開關(guān)電源具有效率高的特性,而且開關(guān)電源的變壓器體積比串聯(lián)穩(wěn)壓型電源的要小得多,電源電路比較整潔,整機(jī)重量也有所下降,所以,現(xiàn)在的LED驅(qū)動電源
關(guān)鍵字:
LED
驅(qū)動電源
開關(guān)電源
LED驅(qū)動電源是把電源供應(yīng)轉(zhuǎn)換為特定的電壓電流以驅(qū)動LED發(fā)光的電壓轉(zhuǎn)換器,通常情況下:LED驅(qū)動電源的輸入包括高壓工頻交流(即市電)、低壓直流、高壓直流、低壓高頻交流(如電子變壓器的輸出)等。
關(guān)鍵字:
LED
隧道燈
驅(qū)動電源
LED驅(qū)動電源在LED照明系統(tǒng)中扮演著至關(guān)重要的角色。由于LED具有節(jié)能、環(huán)保、長壽命等優(yōu)點,使得LED照明在各個領(lǐng)域得到廣泛應(yīng)用。然而,LED的電流、電壓特性需要特定的驅(qū)動電源才能正常工作。本文將介紹常用的LED驅(qū)動電...
關(guān)鍵字:
LED驅(qū)動電源
led照明
LED驅(qū)動電源是把電源供應(yīng)轉(zhuǎn)換為特定的電壓電流以驅(qū)動LED發(fā)光的電源轉(zhuǎn)換器,通常情況下:LED驅(qū)動電源的輸入包括高壓工頻交流(即市電)、低壓直流、高壓直流、低壓高頻交流(如電子變壓器的輸出)等。
關(guān)鍵字:
LED
驅(qū)動電源
高壓工頻交流
崧盛股份9日發(fā)布投資者關(guān)系活動記錄表,就植物照明發(fā)展趨勢、行業(yè)壁壘等問題進(jìn)行分享。植物照明未來市場需求廣闊崧盛股份指出,植物照明將會走向長期產(chǎn)業(yè)領(lǐng)域。主要原因有三:第一,LED植物照明賦能終端種植更具有經(jīng)濟(jì)價值。由于LE...
關(guān)鍵字:
崧盛股份
驅(qū)動電源
在當(dāng)今高度發(fā)展的技術(shù)中,電子產(chǎn)品的升級越來越快,LED燈技術(shù)也在不斷發(fā)展,這使我們的城市變得豐富多彩。 LED驅(qū)動電源將電源轉(zhuǎn)換為特定的電壓和電流,以驅(qū)動LED發(fā)光。通常情況下:LED驅(qū)動電源的輸入包括高壓工頻交流電(即...
關(guān)鍵字:
LED
驅(qū)動電源
高壓直流
人類社會的進(jìn)步離不開社會上各行各業(yè)的努力,各種各樣的電子產(chǎn)品的更新?lián)Q代離不開我們的設(shè)計者的努力,其實很多人并不會去了解電子產(chǎn)品的組成,比如LED電源。
關(guān)鍵字:
LED
驅(qū)動電源
低壓直流
隨著科學(xué)技術(shù)的發(fā)展,LED技術(shù)也在不斷發(fā)展,為我們的生活帶來各種便利,為我們提供各種各樣生活信息,造福著我們?nèi)祟悺ED驅(qū)動電源實際上是一種電源,但是它是一種特定的電源,用于驅(qū)動LED發(fā)射帶有電壓或電流的光。 因此,LE...
關(guān)鍵字:
LED
驅(qū)動電源
電流
LED燈作為一種新型節(jié)能和無污染光源,由于其特有的發(fā)光照明特性,在現(xiàn)代照明應(yīng)用中發(fā)揮著革命性的作用。作為 LED 照明產(chǎn)業(yè)鏈中最為核心的部件之一,LED 驅(qū)動電源的驅(qū)動控制技術(shù)所存在的可靠性低、成本高等典型問題一直制約著...
關(guān)鍵字:
多路
LED
驅(qū)動電源
隨著社會的快速發(fā)展,LED技術(shù)也在飛速發(fā)展,為我們的城市的燈光煥發(fā)光彩,讓我們的生活越來越有趣,那么你知道LED需要LED驅(qū)動電源嗎?那么你知道什么是LED驅(qū)動電源嗎?
關(guān)鍵字:
LED
開關(guān)電源
驅(qū)動電源
早前有新聞稱,Cree在2018年開始宣布轉(zhuǎn)型高科技半導(dǎo)體領(lǐng)域,并一邊逐漸脫離照明與LED相關(guān)業(yè)務(wù),一邊持續(xù)投資半導(dǎo)體。在今日,Cree宣布與SMART Global Holdings, Inc.達(dá)成最終協(xié)議,擬將LED...
關(guān)鍵字:
cree
led照明