近期，國際著名的醫(yī)學(xué)圖像處理領(lǐng)域會議Miccai（Medical Image Computing and Computer-Assisted IntervenTIon）上發(fā)表了莫納什大學(xué)戈宗元教授團(tuán)隊與Airdoc人工智能團(tuán)隊合作的題為：“ReTInal AbnormaliTIes RecogniTIon Using Regional Multitask Learning”的研究論文。莫納什大學(xué)是澳大利亞規(guī)模最大的國立大學(xué)之一，其藥劑與藥理學(xué)專業(yè)位列全球第二位，僅次于哈佛大學(xué)。

研究團(tuán)隊提出了一種基于深度學(xué)習(xí)的新方法，使用一個區(qū)域特定的多任務(wù)識別模型，通過三個子網(wǎng)絡(luò)學(xué)習(xí)視網(wǎng)膜不同區(qū)域的疾病。這三個子網(wǎng)絡(luò)通過訓(xùn)練，分別識別影響視盤、黃斑和整個視網(wǎng)膜的疾病。以往基于深度學(xué)習(xí)自動篩查的研究主要集中在特定類型的視網(wǎng)膜疾病，但患者通常會同時患有多種視網(wǎng)膜病變，單一的解決方案在臨床應(yīng)用上就顯得有些力不從心，而此次研究成果可通過一個模型識別出36種不同的視網(wǎng)膜疾病，并且能夠同時識別視網(wǎng)膜上的多種疾病，大大提升了人工智能識別視網(wǎng)膜疾病的可應(yīng)用性。

患有視網(wǎng)膜疾病的人數(shù)隨著人口老齡化和電子屏幕的普及而增加，許多視網(wǎng)膜疾病，例如年齡相關(guān)性黃斑變性（AMD）和糖尿病性視網(wǎng)膜病變（DR），會造成不可逆的嚴(yán)重健康問題。與此同時，在三四線城市中，能夠檢查和醫(yī)治視網(wǎng)膜疾病的醫(yī)生鳳毛麟角，醫(yī)療資源緊張，不少人因此錯失了治療的最佳時機(jī)。本次研究成果可以不依賴醫(yī)生，直接使用人工智能算法識別，在確保同樣識別率的前提下，極大程度的提高了效率，同時也能幫助醫(yī)療資源緊缺的區(qū)域提高醫(yī)療質(zhì)量。

△ 多標(biāo)簽分類網(wǎng)絡(luò)

研究團(tuán)隊以多任務(wù)的方式設(shè)計網(wǎng)絡(luò)，框架包括兩個階段：

第一階段包括一個聯(lián)合檢測網(wǎng)絡(luò)，用于檢測視盤和黃斑區(qū)。

第二階段由一個語義多任務(wù)網(wǎng)絡(luò)組成，每個任務(wù)通過特定區(qū)域相關(guān)疾病標(biāo)注數(shù)據(jù)的訓(xùn)練，同時輸出整個眼底、視盤和黃斑的疾病類別，如圖1所示。

為了評估提出方法的性能，研究團(tuán)隊收集了36種在篩查過程中常見的視網(wǎng)膜疾病，包括影響整個視網(wǎng)膜的疾?。ㄈ缣悄虿⌒砸暰W(wǎng)膜病變等）、 影響黃斑區(qū)域的疾?。ㄈ缒挲g相關(guān)性黃斑病變等）及影響視盤區(qū)域的疾?。ㄈ缜喙庋鄣龋?。總共收集了36個類別的200817幅圖像，其中17385幅圖像包含多個標(biāo)簽，每幅圖像有三名有經(jīng)驗的眼科醫(yī)師標(biāo)注，當(dāng)且僅當(dāng)不少于兩位眼科醫(yī)師同意的情況下，才能保留對應(yīng)視網(wǎng)膜圖像的標(biāo)簽。

在這項工作中，數(shù)據(jù)集被分為訓(xùn)練集（80%）、驗證集（10%）和測試集（10%）。在所有這些圖像中，183432個圖像具有單個標(biāo)簽，16849個圖像具有兩個標(biāo)簽，536個圖像具有三個標(biāo)簽。

△ 輔助檢測框圖示

團(tuán)隊研究的方法包括兩部分：

（1）黃斑和視盤區(qū)聯(lián)合檢測；

（2）用于視網(wǎng)膜疾病語義分類的多任務(wù)學(xué)習(xí)。

首先訓(xùn)練一個基于YoloV3的聯(lián)合檢測模型來定位視盤和黃斑區(qū)域。將檢測到的視盤和黃斑區(qū)域圖像以及整個眼底圖像分別調(diào)整為300×300、600×600、800×800，然后輸入多標(biāo)簽疾病分類網(wǎng)絡(luò)。

分類網(wǎng)絡(luò)利用語義特征融合的思想對區(qū)域性疾病進(jìn)行分類。為了更好地理解所提出的模型，團(tuán)隊還為每個流繪制了與每個任務(wù)相關(guān)的類激活圖（CAM）。

△ 分類激活圖（CAM）

此次研究成功展示了多任務(wù)學(xué)習(xí)方法識別整個視網(wǎng)膜、黃斑和視盤疾病的有效性，而不是單任務(wù)分類，更適用于復(fù)雜的實際臨床應(yīng)用場景，高效、便捷、使用局限性小，可以幫助更多患者實現(xiàn)早發(fā)現(xiàn)，早干預(yù)，延緩基礎(chǔ)慢病的進(jìn)展，?的發(fā)生率。