Ďakujeme, že ste navštívili Nature.com.Používate verziu prehliadača s obmedzenou podporou CSS.Pre najlepší zážitok vám odporúčame použiť aktualizovaný prehliadač (alebo vypnúť režim kompatibility v programe Internet Explorer).Okrem toho, aby sme zabezpečili nepretržitú podporu, zobrazujeme stránku bez štýlov a JavaScriptu.
Posúvače zobrazujúce tri články na snímke.Na posúvanie medzi snímkami použite tlačidlá späť a ďalej, na posúvanie sa po jednotlivých snímkach použite tlačidlá ovládača posúvania na konci.
Optická koherentná tomografická angiografia (OCTA) je nová metóda na neinvazívnu vizualizáciu sietnicových ciev.Hoci OCTA má mnoho sľubných klinických aplikácií, určenie kvality obrazu zostáva výzvou.Vyvinuli sme systém založený na hlbokom učení pomocou klasifikátora neurónovej siete ResNet152 vopred vyškoleného pomocou ImageNet na klasifikáciu obrazov povrchového kapilárneho plexu z 347 skenov 134 pacientov.Obrázky boli tiež manuálne hodnotené ako pravdivé dvoma nezávislými hodnotiteľmi pre model učenia pod dohľadom.Pretože požiadavky na kvalitu obrazu sa môžu líšiť v závislosti od klinických alebo výskumných nastavení, boli vyškolené dva modely, jeden pre vysokokvalitné rozpoznávanie obrazu a druhý pre rozpoznávanie obrazu s nízkou kvalitou.Náš model neurónovej siete ukazuje vynikajúcu oblasť pod krivkou (AUC), 95 % CI 0,96-0,99, \(\kappa\) = 0,81), čo je výrazne lepšie ako úroveň signálu uvádzaná strojom (AUC = 0,82, 95 % CI).0,77–0,86, \(\kappa\) = 0,52 a AUC = 0,78, 95 % CI 0,73–0,83, \(\kappa\) = 0,27, v tomto poradí).Naša štúdia ukazuje, že metódy strojového učenia možno použiť na vývoj flexibilných a robustných metód kontroly kvality pre obrázky OCTA.
Optická koherentná tomografická angiografia (OCTA) je relatívne nová technika založená na optickej koherentnej tomografii (OCT), ktorú možno použiť na neinvazívnu vizualizáciu retinálnej mikrovaskulatúry.OCTA meria rozdiel v odrazových vzoroch od opakovaných svetelných impulzov v tej istej oblasti sietnice a potom je možné vypočítať rekonštrukcie na odhalenie krvných ciev bez invazívneho použitia farbív alebo iných kontrastných látok.OCTA tiež umožňuje vaskulárne zobrazovanie s hĺbkovým rozlíšením, čo lekárom umožňuje oddelene skúmať povrchové a hlboké vrstvy ciev, čo pomáha rozlíšiť medzi chorioretinálnym ochorením.
Aj keď je táto technika sľubná, variácia kvality obrazu zostáva hlavnou výzvou pre spoľahlivú analýzu obrazu, čo sťažuje interpretáciu obrazu a bráni širokému klinickému prijatiu.Pretože OCTA používa viacero po sebe idúcich OCT skenov, je citlivejšia na artefakty obrazu ako štandardná OCT.Väčšina komerčných platforiem OCTA poskytuje svoju vlastnú metriku kvality obrazu nazývanú Signal Strength (SS) alebo niekedy Signal Strength Index (SSI).Snímky s vysokou hodnotou SS alebo SSI však nezaručujú absenciu obrazových artefaktov, ktoré môžu ovplyvniť akúkoľvek následnú analýzu obrazu a viesť k nesprávnym klinickým rozhodnutiam.Bežné obrazové artefakty, ktoré sa môžu vyskytnúť pri OCTA zobrazovaní, zahŕňajú pohybové artefakty, segmentačné artefakty, artefakty opacity médií a projekčné artefakty1,2,3.
Keďže opatrenia odvodené od OCTA, ako je vaskulárna hustota, sa čoraz častejšie používajú v translčnom výskume, klinických skúškach a klinickej praxi, existuje naliehavá potreba vyvinúť robustné a spoľahlivé procesy kontroly kvality obrazu na elimináciu artefaktov obrazu4.Preskočené spojenia, tiež známe ako zvyškové spojenia, sú projekcie v architektúre neurónových sietí, ktoré umožňujú informáciám obísť konvolučné vrstvy pri ukladaní informácií v rôznych mierkach alebo rozlíšeniach5.Pretože obrazové artefakty môžu ovplyvniť výkon v malom a všeobecnom veľkom meradle, neurónové siete s preskočením sú vhodné na automatizáciu tejto úlohy kontroly kvality5.Nedávno publikovaná práca ukázala určitý prísľub pre hlboké konvolučné neurónové siete trénované pomocou vysokokvalitných údajov z ľudských odhadcov6.
V tejto štúdii trénujeme konvolučnú neurónovú sieť vynechávajúcu spojenie, aby sme automaticky určili kvalitu obrázkov OCTA.Vychádzame z predchádzajúcej práce vývojom samostatných modelov na identifikáciu obrázkov vysokej kvality a obrázkov nízkej kvality, pretože požiadavky na kvalitu obrázkov sa môžu líšiť pre špecifické klinické alebo výskumné scenáre.Výsledky týchto sietí porovnávame s konvolučnými neurónovými sieťami bez chýbajúcich spojení, aby sme vyhodnotili hodnotu zahrnutia funkcií na viacerých úrovniach granularity v rámci hlbokého učenia.Potom sme naše výsledky porovnali so silou signálu, čo je bežne akceptovaná miera kvality obrazu poskytovaná výrobcami.
Naša štúdia zahŕňala pacientov s diabetom, ktorí navštevovali Yale Eye Center v období od 11. augusta 2017 do 11. apríla 2019. Pacienti s akýmkoľvek nediabetickým chorioretinálnym ochorením boli vylúčení.Neexistovali žiadne kritériá zahrnutia alebo vylúčenia založené na veku, pohlaví, rase, kvalite obrazu alebo akomkoľvek inom faktore.
OCTA snímky boli získané pomocou platformy AngioPlex na Cirrus HD-OCT 5000 (Carl Zeiss Meditec Inc, Dublin, CA) pri zobrazovacích protokoloch 8\(\times\)8 mm a 6\(\times\)6 mm.Informovaný súhlas s účasťou na štúdii bol získaný od každého účastníka štúdie a Inštitucionálna revízna rada Yale University (IRB) schválila použitie informovaného súhlasu s globálnou fotografiou pre všetkých týchto pacientov.Podľa zásad Helsinskej deklarácie.Štúdiu schválila IRB Yale University.
Snímky povrchových platničiek sa hodnotili na základe skôr opísaného skóre artefaktov pohybu (MAS), predtým opísaného skóre artefaktov segmentácie (SAS), foveálneho centra, prítomnosti nepriehľadnosti média a dobrej vizualizácie malých kapilár, ako to určil hodnotiteľ obrázkov.Obrázky boli analyzované dvoma nezávislými hodnotiteľmi (RD a JW).Obrázok má ohodnotené skóre 2 (vhodné), ak sú splnené všetky nasledujúce kritériá: obrázok je vycentrovaný vo fovee (menej ako 100 pixelov od stredu obrázka), MAS je 1 alebo 2, SAS je 1 a nepriehľadnosť média je menšia ako 1. Zobrazuje sa na obrázkoch veľkosti / 16 a na obrázkoch väčších ako 15/16 sú viditeľné malé kapiláry.Obrázok má hodnotenie 0 (žiadne hodnotenie), ak je splnené niektoré z nasledujúcich kritérií: obrázok je mimo stredu, ak je MAS 4, ak je SAS 2 alebo je priemerná nepriehľadnosť väčšia ako 1/4 obrázka a malé kapiláry nemožno upraviť o viac ako 1 obrázok /4 na rozlíšenie.Všetky ostatné obrázky, ktoré nespĺňajú bodovacie kritériá 0 alebo 2, sú hodnotené ako 1 (orezanie).
Na obr.1 ukazuje vzorové obrázky pre každý zo škálovaných odhadov a obrazových artefaktov.Spoľahlivosť jednotlivých hodnotení medzi jednotlivými hodnoteniami bola hodnotená Cohenovým kappa vážením8.Jednotlivé skóre každého hodnotiaceho sa sčítajú, aby sa získalo celkové skóre pre každý obrázok v rozsahu od 0 do 4. Obrázky s celkovým skóre 4 sa považujú za dobré.Obrázky s celkovým skóre 0 alebo 1 sa považujú za nekvalitné.
Konvolučná neurónová sieť architektúry ResNet152 (obr. 3A.i) vopred natrénovaná na obrázkoch z databázy ImageNet bola vygenerovaná pomocou fast.ai a rámca PyTorch5, 9, 10, 11. Konvolučná neurónová sieť je sieť, ktorá využíva naučené filtre na skenovanie fragmentov obrazu na štúdium priestorových a miestnych prvkov.Náš vyškolený ResNet je 152-vrstvová neurónová sieť charakterizovaná medzerami alebo „zvyškovými spojeniami“, ktoré súčasne prenášajú informácie s viacerými rozlíšeniami.Premietaním informácií v rôznych rozlíšeniach cez sieť sa platforma môže naučiť funkcie nekvalitných obrázkov na viacerých úrovniach detailov.Okrem nášho modelu ResNet sme trénovali aj AlexNet, dobre preštudovanú architektúru neurónovej siete, bez chýbajúcich spojení na porovnanie (obrázok 3A.ii)12.Bez chýbajúcich pripojení nebude táto sieť schopná zachytiť funkcie s vyššou granularitou.
Pôvodná sada obrázkov 8\(\times\)8mm OCTA13 bola vylepšená pomocou techník horizontálneho a vertikálneho odrazu.Úplný súbor údajov bol potom náhodne rozdelený na úrovni obrázka na súbory údajov trénovania (51,2 %), testovania (12,8 %), ladenia hyperparametrov (16 %) a overovania (20 %) pomocou súboru nástrojov scikit-learn python14.Zvažovali sa dva prípady, jeden založený na detekcii iba obrázkov najvyššej kvality (celkové skóre 4) a druhý založený na detekcii iba obrázkov s najnižšou kvalitou (celkové skóre 0 alebo 1).Pre každý prípad použitia vysokej kvality a nízkej kvality sa neurónová sieť raz preškolí na naše obrazové údaje.V každom prípade použitia bola neurónová sieť trénovaná na 10 epoch, všetky hmotnosti vrstiev okrem najvyšších boli zmrazené a váhy všetkých vnútorných parametrov boli naučené pre 40 epoch pomocou metódy diskriminačnej rýchlosti učenia s funkciou straty krížovej entropie 15, 16..Funkcia straty krížovej entropie je mierou logaritmickej stupnice nesúladu medzi predpovedanými sieťovými značkami a skutočnými údajmi.Počas tréningu sa na vnútorných parametroch neurónovej siete vykonáva gradientný zostup, aby sa minimalizovali straty.Rýchlosť učenia, miera výpadku a hyperparametre redukcie hmotnosti boli vyladené pomocou bayesovskej optimalizácie s 2 náhodnými počiatočnými bodmi a 10 iteráciami a AUC na súbore údajov sa vyladila pomocou hyperparametrov ako cieľa 17.
Reprezentatívne príklady 8 x 8 mm OCTA obrazov povrchových kapilárnych plexusov so skóre 2 (A, B), 1 (C, D) a 0 (E, F).Zobrazené obrazové artefakty zahŕňajú blikajúce čiary (šípky), segmentačné artefakty (hviezdičky) a nepriehľadnosť média (šípky).Obrázok (E) je tiež mimo stredu.
Krivky prevádzkových charakteristík prijímača (ROC) sa potom vygenerujú pre všetky modely neurónových sietí a pre každý prípad použitia nízkej kvality a vysokej kvality sa generujú správy o sile signálu motora.Plocha pod krivkou (AUC) bola vypočítaná pomocou balíka pROC R a 95% intervaly spoľahlivosti a p-hodnoty boli vypočítané pomocou DeLongovej metódy18,19.Kumulatívne skóre ľudských hodnotiteľov sa používa ako základ pre všetky výpočty ROC.Pre silu signálu hlásenú prístrojom sa AUC vypočítala dvakrát: raz pre medznú hodnotu skóre škálovateľnosti vysokej kvality a raz pre medznú hodnotu skóre škálovateľnosti nízkej kvality.Neurónová sieť sa porovnáva so silou signálu AUC odrážajúc jej vlastné tréningové a vyhodnocovacie podmienky.
Na ďalšie testovanie trénovaného modelu hlbokého učenia na samostatnom súbore údajov boli modely vysokej kvality a nízkej kvality priamo aplikované na hodnotenie výkonu 32 celoplošných obrazov 6\(\times\) 6 mm povrchových dosiek získaných z Yale University.Hmota oka je vycentrovaná v rovnakom čase ako obrázok 8 \(\times \) 8 mm.Obrázky 6\(\×\) 6 mm boli manuálne hodnotené tými istými hodnotiteľmi (RD a JW) rovnakým spôsobom ako obrázky 8\(\×\) 8 mm, vypočítala sa AUC, ako aj presnosť a Cohenov kappa .rovnako .
Pomer nevyváženosti triedy je 158:189 (\(\rho = 1,19\)) pre model nízkej kvality a 80:267 (\(\rho = 3,3\)) pre model vysokej kvality.Pretože pomer nevyváženosti tried je menší ako 1:4, neboli vykonané žiadne špecifické architektonické zmeny na nápravu nevyváženosti tried20,21.
Pre lepšiu vizualizáciu vzdelávacieho procesu boli vytvorené aktivačné mapy tried pre všetky štyri trénované modely hlbokého učenia: vysoko kvalitný model ResNet152, model ResNet152 nízkej kvality, vysoko kvalitný model AlexNet a model AlexNet nízkej kvality.Mapy aktivácie tried sa generujú zo vstupných konvolučných vrstiev týchto štyroch modelov a tepelné mapy sa generujú prekrytím aktivačných máp zdrojovými obrázkami z validačných sád 8 × 8 mm a 6 × 6 mm22, 23.
Na všetky štatistické výpočty bola použitá verzia R 4.0.3 a vizualizácie boli vytvorené pomocou knižnice grafických nástrojov ggplot2.
Zozbierali sme 347 frontálnych snímok povrchového kapilárneho plexu s rozmermi 8 \(\times \)8 mm od 134 ľudí.Zariadenie hlásilo silu signálu na stupnici od 0 do 10 pre všetky obrázky (priemer = 6,99 ± 2,29).Z 347 získaných snímok bol priemerný vek pri vyšetrení 58,7 ± 14,6 rokov a 39,2 % bolo od pacientov mužského pohlavia.Zo všetkých obrázkov bolo 30,8 % od belochov, 32,6 % od černochov, 30,8 % od Hispáncov, 4 % od Ázijcov a 1,7 % od iných rás (tabuľka 1).).Veková distribúcia pacientov s OCTA sa významne líšila v závislosti od kvality obrazu (p < 0,001).Percento vysokokvalitných snímok u mladších pacientov vo veku 18-45 rokov bolo 33,8 % v porovnaní s 12,2 % nekvalitných snímok (tabuľka 1).Distribúcia stavu diabetickej retinopatie sa tiež významne líšila v kvalite obrazu (p < 0,017).Medzi všetkými obrázkami vysokej kvality bolo percento pacientov s PDR 18,8 % v porovnaní s 38,8 % všetkých obrázkov nízkej kvality (tabuľka 1).
Jednotlivé hodnotenia všetkých obrázkov vykazovali strednú až silnú spoľahlivosť medzi jednotlivými hodnoteniami medzi ľuďmi, ktorí čítali obrázky (Cohenov vážený kappa = 0,79, 95 % CI: 0,76 – 0,82) a nenašli sa žiadne body obrázka, kde by sa hodnotitelia líšili o viac ako 1 (obr. 2A)..Intenzita signálu významne korelovala s manuálnym skórovaním (korelácia momentu produktu Pearson = 0,58, 95 % CI 0,51–0,65, p < 0,001), ale mnohé obrázky mali vysokú intenzitu signálu, ale nízke manuálne skórovanie (obr. 0,2B).
Počas tréningu architektúr ResNet152 a AlexNet poklesne strata krížovej entropie pri validácii a tréningu nad 50 epoch (obrázok 3B,C).Presnosť overenia v záverečnej epoche školenia je viac ako 90 % pre prípady použitia vysokej aj nízkej kvality.
Výkonnostné krivky prijímača ukazujú, že model ResNet152 výrazne prevyšuje výkon signálu uvádzaný strojom v prípadoch nízkej aj vysokej kvality (p < 0,001).Model ResNet152 tiež výrazne prekonáva architektúru AlexNet (p = 0,005 a p = 0,014 pre prípady nízkej kvality, respektíve vysokokvalitné).Výsledné modely pre každú z týchto úloh boli schopné dosiahnuť hodnoty AUC 0,99 a 0,97, čo je výrazne lepšie ako zodpovedajúce hodnoty AUC 0,82 a 0,78 pre index sily signálu stroja alebo 0,97 a 0,94 pre AlexNet. ..(obr. 3).Rozdiel medzi ResNet a AUC v sile signálu je vyšší pri rozpoznávaní vysokokvalitných obrázkov, čo naznačuje ďalšie výhody používania ResNet na túto úlohu.
Grafy znázorňujú schopnosť každého nezávislého hodnotiteľa skórovať a porovnávať so silou signálu hlásenou prístrojom.(A) Súčet bodov, ktoré sa majú hodnotiť, sa používa na vytvorenie celkového počtu bodov, ktoré sa majú hodnotiť.Obrázkom s celkovým skóre škálovateľnosti 4 sa priradí vysoká kvalita, zatiaľ čo obrázkom s celkovým skóre škálovateľnosti 1 alebo menej sa priradí nízka kvalita.(B) Intenzita signálu koreluje s manuálnymi odhadmi, ale obrázky s vysokou intenzitou signálu môžu mať horšiu kvalitu.Červená bodkovaná čiara označuje výrobcom odporúčaný prah kvality na základe sily signálu (sila signálu \(\ge\)6).
Učenie prenosu ResNet poskytuje výrazné zlepšenie identifikácie kvality obrazu pre prípady použitia nízkej kvality aj vysokej kvality v porovnaní so strojovo hlásenými úrovňami signálu.(A) Schémy zjednodušenej architektúry vopred pripravených architektúr (i) ResNet152 a (ii) AlexNet.(B) História tréningu a krivky výkonu prijímača pre ResNet152 v porovnaní so silou signálu hlásenou strojom a kritériami nízkej kvality AlexNet.(C) História tréningu prijímača ResNet152 a krivky výkonu v porovnaní so silou signálu hlásenou strojom a kritériami vysokej kvality AlexNet.
Po úprave prahu rozhodovacej hranice je maximálna presnosť predikcie modelu ResNet152 95,3 % pre prípad nízkej kvality a 93,5 % pre prípad vysokej kvality (tabuľka 2).Maximálna presnosť predikcie modelu AlexNet je 91,0 % pre prípad nízkej kvality a 90,1 % pre prípad vysokej kvality (tabuľka 2).Maximálna presnosť predpovede sily signálu je 76,1 % pre prípad použitia nízkej kvality a 77,8 % pre prípad použitia vysokej kvality.Podľa Cohenovej kappa (\(\kappa\)) je zhoda medzi modelom ResNet152 a odhadmi 0,90 pre prípad nízkej kvality a 0,81 pre prípad vysokej kvality.Cohen's AlexNet kappa je 0,82 a 0,71 pre prípady nízkej kvality a vysokej kvality.Cohenova sila signálu kappa je 0,52 a 0,27 pre prípady použitia s nízkou a vysokou kvalitou.
Validácia vysoko a nízkokvalitných rozpoznávacích modelov na 6\(\x\) snímkach 6 mm plochej platne demonštruje schopnosť trénovaného modelu určiť kvalitu snímky v rôznych zobrazovacích parametroch.Pri použití 6\(\x\) 6 mm plytkých dosiek na kvalitu zobrazenia mal model nízkej kvality AUC 0,83 (95 % CI: 0,69–0,98) a model vysokej kvality mal AUC 0,85.(95 % CI: 0,55–1,00) (tabuľka 2).
Vizuálna kontrola máp aktivácie tried vstupnej vrstvy ukázala, že všetky trénované neurónové siete využívali pri klasifikácii obrazu vlastnosti obrazu (obr. 4A, B).Pre 8 \(\times \) 8 mm a 6 \(\times \) 6 mm snímky aktivačné snímky ResNet tesne sledujú vaskulatúru sietnice.Aktivačné mapy AlexNet tiež sledujú cievy sietnice, ale s hrubším rozlíšením.
Mapy aktivácie triedy pre modely ResNet152 a AlexNet zvýrazňujú funkcie súvisiace s kvalitou obrazu.(A) Mapa aktivácie triedy zobrazujúca koherentnú aktiváciu po povrchovej vaskulatúre sietnice na 8 \(\times \) 8 mm validačných snímkach a (B) rozsah na menších 6 \ (\times \) 6 mm validačných snímkach.Model LQ trénovaný podľa kritérií nízkej kvality, model HQ trénovaný podľa kritérií vysokej kvality.
Už skôr sa ukázalo, že kvalita obrazu môže výrazne ovplyvniť akúkoľvek kvantifikáciu OCTA obrazov.Prítomnosť retinopatie navyše zvyšuje výskyt obrazových artefaktov7,26.V skutočnosti sme v našich údajoch v súlade s predchádzajúcimi štúdiami zistili významnú súvislosť medzi zvyšujúcim sa vekom a závažnosťou ochorenia sietnice a zhoršením kvality obrazu (p < 0,001, p = 0,017 pre vek a stav DR; tabuľka 1) 27 Preto je dôležité posúdiť kvalitu obrazu pred vykonaním akejkoľvek kvantitatívnej analýzy OCTA obrazov.Väčšina štúdií analyzujúcich obrázky OCTA používa prahy intenzity signálu hlásené strojom na vylúčenie obrázkov nízkej kvality.Hoci sa ukázalo, že intenzita signálu ovplyvňuje kvantifikáciu parametrov OCTA, samotná vysoká intenzita signálu nemusí postačovať na vylúčenie obrázkov s obrazovými artefaktmi2,3,28,29.Preto je potrebné vyvinúť spoľahlivejšiu metódu kontroly kvality obrazu.Za týmto účelom hodnotíme výkon kontrolovaných metód hlbokého učenia v porovnaní so silou signálu hlásenou strojom.
Vyvinuli sme niekoľko modelov na hodnotenie kvality obrazu, pretože rôzne prípady použitia OCTA môžu mať rôzne požiadavky na kvalitu obrazu.Napríklad obrázky by mali byť kvalitnejšie.Okrem toho sú dôležité aj špecifické kvantitatívne parametre.Napríklad oblasť foveálnej avaskulárnej zóny nezávisí od zákalu necentrálneho média, ale ovplyvňuje hustotu ciev.Aj keď sa náš výskum naďalej zameriava na všeobecný prístup ku kvalite obrazu, ktorý nie je viazaný na požiadavky žiadneho konkrétneho testu, ale je určený na priame nahradenie sily signálu uvádzanej zariadením, dúfame, že používateľom poskytneme väčší stupeň kontroly, aby mohli môžete vybrať konkrétnu metriku, ktorá používateľa zaujíma.vyberte model, ktorý zodpovedá maximálnemu stupňu obrazových artefaktov považovaných za prijateľné.
Pre scény nízkej kvality a vysokej kvality ukazujeme vynikajúci výkon hlbokých konvolučných neurónových sietí s chýbajúcim spojením s AUC 0,97 a 0,99 a modelmi nízkej kvality.Tiež demonštrujeme vynikajúci výkon nášho prístupu hlbokého učenia v porovnaní s úrovňami signálu, ktoré hlásia iba stroje.Preskočené pripojenia umožňujú neurónovým sieťam učiť sa funkcie na viacerých úrovniach detailov, zachytávajúc jemnejšie aspekty obrázkov (napr. kontrast), ako aj všeobecné vlastnosti (napr. centrovanie obrázkov30,31).Keďže obrazové artefakty, ktoré ovplyvňujú kvalitu obrazu, sa pravdepodobne najlepšie identifikujú v širokom rozsahu, architektúry neurónových sietí s chýbajúcimi pripojeniami môžu vykazovať lepší výkon ako tie, ktoré nemajú úlohy na určenie kvality obrazu.
Pri testovaní nášho modelu na 6\(\×6mm) OCTA obrázkoch sme zaznamenali pokles klasifikačného výkonu pre vysokokvalitné aj nízkokvalitné modely (obr. 2), na rozdiel od veľkosti modelu trénovaného na klasifikáciu.V porovnaní s modelom ResNet má model AlexNet väčší spád.Relatívne lepší výkon ResNet môže byť spôsobený schopnosťou zvyškových spojení prenášať informácie vo viacerých mierkach, čo robí model robustnejším na klasifikáciu obrázkov zachytených v rôznych mierkach a / alebo zväčšeniach.
Niektoré rozdiely medzi obrázkami s veľkosťou 8 \(\×\) 8 mm a obrázkami s veľkosťou 6 \(\×\) 6 mm môžu viesť k zlej klasifikácii vrátane relatívne vysokého podielu obrázkov obsahujúcich foveálne avaskulárne oblasti, zmeny viditeľnosti, vaskulárne arkády a žiadny zrakový nerv na snímke 6×6 mm.Napriek tomu bol náš vysoko kvalitný model ResNet schopný dosiahnuť AUC 85 % pre 6 \(\x\) 6 mm obrázky, čo je konfigurácia, pre ktorú model nebol trénovaný, čo naznačuje, že informácie o kvalite obrazu zakódované v neurónovej sieti je vhodný.pre jednu veľkosť obrazu alebo konfiguráciu stroja mimo jeho školenia (tabuľka 2).Upokojujúce je, že aktivačné mapy typu ResNet a AlexNet s 8 \(\times \) 8 mm a 6 \(\times \) 6 mm snímkami dokázali v oboch prípadoch zvýrazniť cievy sietnice, čo naznačuje, že model má dôležité informácie.sú použiteľné na klasifikáciu oboch typov OCTA obrazov (obr. 4).
Lauerman a kol.Hodnotenie kvality obrazu na obrázkoch OCTA sa podobne uskutočňovalo pomocou architektúry Inception, ďalšej konvolučnej neurónovej siete so skip-connection6,32 pomocou techník hlbokého učenia.Štúdiu tiež obmedzili na obrázky povrchového kapilárneho plexu, ale iba s použitím menších obrázkov 3 × 3 mm z Optovue AngioVue, hoci boli zahrnutí aj pacienti s rôznymi chorioretinálnymi ochoreniami.Naša práca stavia na ich základoch vrátane viacerých modelov na riešenie rôznych prahových hodnôt kvality obrazu a overenie výsledkov pre obrázky rôznych veľkostí.Uvádzame aj metriku AUC modelov strojového učenia a zvyšujeme ich už aj tak pôsobivú presnosť (90 %)6 pre modely s nízkou kvalitou (96 %) aj s vysokou kvalitou (95,7 %)6.
Tento tréning má niekoľko obmedzení.Po prvé, snímky boli získané iba s jedným OCTA prístrojom, vrátane iba snímok povrchového kapilárneho plexu pri 8\(\times\)8 mm a 6\(\times\)6 mm.Dôvodom vylúčenia obrázkov z hlbších vrstiev je, že artefakty projekcie môžu sťažiť manuálne vyhodnotenie obrázkov a možno aj menej konzistentné.Okrem toho sa snímky získali len u diabetických pacientov, u ktorých sa OCTA objavuje ako dôležitý diagnostický a prognostický nástroj33,34.Aj keď sme boli schopní otestovať náš model na obrázkoch rôznych veľkostí, aby sme zaistili, že výsledky budú robustné, nedokázali sme identifikovať vhodné súbory údajov z rôznych centier, čo obmedzilo naše hodnotenie zovšeobecniteľnosti modelu.Hoci snímky boli získané iba z jedného centra, boli získané od pacientov rôzneho etnického a rasového pôvodu, čo je jedinečná sila našej štúdie.Zahrnutím rozmanitosti do nášho tréningového procesu dúfame, že naše výsledky budú zovšeobecnené v širšom zmysle a že sa vyhneme kódovaniu rasovej zaujatosti v modeloch, ktoré trénujeme.
Naša štúdia ukazuje, že neurónové siete s preskakovaním spojení možno trénovať na dosiahnutie vysokého výkonu pri určovaní kvality obrazu OCTA.Tieto modely poskytujeme ako nástroje pre ďalší výskum.Pretože rôzne metriky môžu mať rôzne požiadavky na kvalitu obrazu, je možné pre každú metriku vytvoriť individuálny model kontroly kvality pomocou tu stanovenej štruktúry.
Budúci výskum by mal zahŕňať obrazy rôznych veľkostí z rôznych hĺbok a rôznych strojov OCTA, aby sa získal proces hodnotenia kvality obrazu s hlbokým učením, ktorý možno zovšeobecniť na platformy OCTA a zobrazovacie protokoly.Súčasný výskum je tiež založený na prístupoch hlbokého učenia pod dohľadom, ktoré si vyžadujú hodnotenie človekom a hodnotenie obrazu, čo môže byť náročné na prácu a čas pri veľkých súboroch údajov.Zostáva zistiť, či metódy hlbokého učenia bez dozoru dokážu primerane rozlíšiť medzi obrázkami nízkej kvality a obrázkami vysokej kvality.
Ako sa technológia OCTA neustále vyvíja a rýchlosť skenovania sa zvyšuje, môže sa znížiť výskyt obrazových artefaktov a obrázkov nízkej kvality.Tieto obmedzenia môžu zmierniť aj vylepšenia softvéru, ako napríklad nedávno predstavená funkcia odstránenia artefaktov z projekcie.Zostáva však veľa problémov, pretože zobrazovanie pacientov so zlou fixáciou alebo výrazným zákalom média vždy vedie k artefaktom obrazu.Keďže OCTA sa čoraz častejšie používa v klinických štúdiách, je potrebné dôkladné zváženie, aby sa stanovili jasné pokyny pre prijateľné úrovne artefaktov obrazu pre analýzu obrazu.Aplikácia metód hlbokého učenia na OCTA snímky je veľkým prísľubom a v tejto oblasti je potrebný ďalší výskum, aby sa vyvinul robustný prístup ku kontrole kvality snímok.
Kód použitý v aktuálnom výskume je dostupný v úložisku octa-qc, https://github.com/rahuldhodapkar/octa-qc.Súbory údajov generované a/alebo analyzované počas súčasnej štúdie sú dostupné od príslušných autorov na základe primeranej žiadosti.
Spaide, RF, Fujimoto, JG & Waheed, NK Artefakty obrazu v optickej koherentnej angiografii.Retina 35, 2163–2180 (2015).
Fenner, BJ a kol.Identifikácia zobrazovacích znakov, ktoré určujú kvalitu a reprodukovateľnosť meraní hustoty kapilárneho plexu sietnice v OCT angiografii.BR.J. Ophthalmol.102, 509 – 514 (2018).
Lauerman, JL a kol.Vplyv technológie sledovania očí na kvalitu obrazu OCT angiografie pri vekom podmienenej makulárnej degenerácii.Hrobový oblúk.klinický.Exp.oftalmológia.255, 1535–1542 (2017).
Babyuch AS a kol.Merania hustoty kapilárnej perfúzie OCTA sa používajú na detekciu a vyhodnotenie makulárnej ischémie.očná chirurgia.Laserové zobrazovanie sietnice 51, S30–S36 (2020).
He, K., Zhang, X., Ren, S. a Sun, J. Hlboké zvyškové učenie pre rozpoznávanie obrazu.V roku 2016 na IEEE Conference on Computer Vision and Pattern Recognition (2016).
Lauerman, JL a kol.Automatizované hodnotenie kvality angiografického obrazu OCT pomocou algoritmov hlbokého učenia.Hrobový oblúk.klinický.Exp.oftalmológia.257, 1641–1648 (2019).
Lauermann, J. a kol.Prevalencia chýb segmentácie a pohybových artefaktov v OCT angiografii závisí od ochorenia sietnice.Hrobový oblúk.klinický.Exp.oftalmológia.256, 1807–1816 (2018).
Pask, Adam a kol.Pytorch: Imperatívna a vysokovýkonná knižnica pre hlboké vzdelávanie.Pokročilé spracovanie nervových informácií.systém.32, 8026 – 8037 (2019).
Deng, J. a kol.ImageNet: Hierarchická databáza obrázkov vo veľkom meradle.2009 konferencia IEEE o počítačovom videní a rozpoznávaní vzorov.248–255.(2009).
Krizhevsky A., Sutzkever I. a Hinton GE Imagenet klasifikácia pomocou hlbokých konvolučných neurónových sietí.Pokročilé spracovanie nervových informácií.systém.25, 1 (2012).