Glaucoma Segmentation

Diplomová práca: neurónové siete, ktoré vyznačia optický disk a jamku na snímkach oka.

U-Net s dvoma dekodérmi: jeden enkóder napája dve vetvy dekodéra, ktoré vrátia masky optického disku a jamky

O projekte

Glaukóm sa diagnostikuje aj podľa pomeru optickej jamky a optického disku. V diplomovej práci som navrhol, implementoval a vyhodnotil dve architektúry sietí na ich nájdenie: kaskádu, kde druhá sieť hľadá jamku vo vnútri disku nájdeného prvou, a sieť s dvoma dekodérmi a spoločným enkodérom.

Modely som trénoval na dátach ORIGA a testoval na DRISHTI-GS. Najlepší dosiahol Dice skóre 96,8 % pre disk a 89,7 % pre jamku.

Hlavné body

Kaskádová architektúra a architektúra s dvoma dekodérmi v PyTorch
Detekcia oblasti záujmu a trénovanie v polárnych súradniciach
Vysvetliteľnosť pomocou Grad-CAM

Ako to funguje

Prieskumná analýza dát ukázala nevyváženosť tried a veľmi rozdielnu kvalitu snímok, čo určilo predspracovanie
Kým som sa rozhodol pre CenterNet, skúšal som jednoduchšie spôsoby hľadania optického disku: prahovanie, ťažisko vážené jasom, najjasnejší bod a porovnávanie so vzorom
Model CenterNet najprv nájde oblasť okolo optického disku a segmentácia beží na tomto výreze v polárnych súradniciach
Obe architektúry som postavil na troch variantoch U-Net (Residual Attention U-Net++, Refined U-Net 3+ s CBAM a Swin-Unet) a trénoval ich na snímkach v polárnych aj karteziánskych súradniciach
Chybová funkcia spája Dice a krížovú entropiu; v sieti s dvoma dekodérmi má jamka päťkrát väčšiu váhu ako disk
Predikcie sa potom upravia: vyplnia sa diery, ponechá sa len najväčšia oblasť a na každú masku sa napasuje elipsa
Vertikálny pomer jamky a disku z predikcií som porovnal s hodnotami nameranými odborníkmi a prah 0,63 určený z ROC krivky rozdelí oči na zdravé a s glaukómom
Mapy pravdepodobnosti, aktivačné mapy a Grad-CAM ukazujú, na čo sa siete pozerajú
Skripty pre príkazový riadok trénujú a vyhodnocujú modely a segmentujú nové snímky ktoroukoľvek z architektúr

Kedy: 2023 – 2024
Typ: Univerzitný
Vedenie: Vedúci práce doc. RNDr. Silvester Czanner, PhD.
Verzie: Python 3.10
PyTorch 2.0
Technológie: Python
PyTorch
OpenCV
NumPy
pandas
scikit-learn
Albumentations
Matplotlib
Jupyter
Weights & Biases

Galéria

Kroky spracovania od snímky oka po nájdený optický disk — Predspracovanie: odstránia sa čierne okraje, snímka sa doplní na štvorec a zmenší a CenterNet nájde optický disk, podľa ktorého sa vyreže oblasť záujmu.

Štyri snímky oka s obrysom od expertov, predikciou modelu a oboma obrysmi cez seba — Výsledky modelu s dvoma dekodérmi: vstup, referenčná maska, predikcia a skutočné (modré) a predikované (čierne) obrysy optického disku a jamky.

Diagram dvoch U-Net modelov za sebou: prvý vytvorí masku disku, ktorá oreže vstup pre druhý, a ten vytvorí masku jamky — Kaskádová architektúra: prvý U-Net segmentuje optický disk, jeho maska oreže obrázok a druhý U-Net v ňom nájde jamku. Dosiahla Dice skóre 96,8 % pre disk a 87,1 % pre jamku.

Diagram siete s jedným spoločným enkodérom a dvoma dekodérmi, pre disk a pre jamku — Architektúra s dvoma dekodérmi: jeden spoločný enkodér, dekodér pre optický disk a dekodér pre jamku. Dosiahla Dice skóre 96,8 % pre disk a 89,7 % pre jamku.

Čiarové grafy straty a Dice skóre počas epoch trénovania — Priebeh trénovania modelu s dvoma dekodérmi: strata, Dice skóre a ďalšie metriky na trénovacích a validačných dátach.

Grafy porovnávajúce predikovaný a expertmi nameraný pomer jamky a disku — Vertikálny pomer jamky a disku, hlavný ukazovateľ glaukómu, vypočítaný z predikcií a porovnaný s hodnotami od expertov.