Nature.com을 방문해 주셔서 감사합니다.CSS 지원이 제한된 브라우저 버전을 사용하고 있습니다.최상의 경험을 위해서는 업데이트된 브라우저를 사용하거나 Internet Explorer에서 호환 모드를 비활성화하는 것이 좋습니다.또한 지속적인 지원을 보장하기 위해 스타일과 JavaScript가 없는 사이트를 표시합니다.
슬라이드당 기사 3개를 표시하는 슬라이더입니다.슬라이드 사이를 이동하려면 뒤로 및 다음 버튼을 사용하고, 각 슬라이드 사이를 이동하려면 끝에 있는 슬라이드 컨트롤러 버튼을 사용하세요.
OCTA(Optical Coherence Tomographic Angiography)는 망막 혈관을 비침습적으로 시각화하는 새로운 방법입니다.OCTA에는 유망한 임상 응용 분야가 많이 있지만 이미지 품질을 결정하는 것은 여전히 ​​​​어려운 과제입니다.우리는 134명의 환자에 대한 347개의 스캔에서 얻은 표면 모세혈관 신경총 이미지를 분류하기 위해 ImageNet으로 사전 훈련된 ResNet152 신경망 분류기를 사용하여 딥러닝 기반 시스템을 개발했습니다.또한 지도 학습 모델에 대해 두 명의 독립적인 평가자가 이미지를 실제 진실로 수동으로 평가했습니다.이미지 품질 요구 사항은 임상 또는 연구 설정에 따라 다를 수 있으므로 두 가지 모델을 훈련했는데, 하나는 고품질 이미지 인식용이고 다른 하나는 저품질 이미지 인식용입니다.우리의 신경망 모델은 우수한 곡선 아래 면적(AUC), 95% CI 0.96-0.99, \(\kappa\) = 0.81)을 보여줍니다. 이는 기계에서 보고한 신호 수준(AUC = 0.82, 95)보다 훨씬 더 좋습니다. % CI).0.77–0.86, \(\kappa\) = 0.52 및 AUC = 0.78, 95% CI 0.73–0.83, \(\kappa\) = 0.27).우리의 연구는 기계 학습 방법을 사용하여 OCTA 이미지에 대한 유연하고 강력한 품질 관리 방법을 개발할 수 있음을 보여줍니다.
광간섭 단층촬영 혈관조영술(OCTA)은 망막 미세혈관의 비침습적 시각화에 사용할 수 있는 광간섭 단층촬영(OCT)을 기반으로 하는 비교적 새로운 기술입니다.OCTA는 망막의 동일한 영역에서 반복되는 광 펄스로부터 반사 패턴의 차이를 측정한 후 재구성을 계산하여 염료나 기타 조영제를 침습적으로 사용하지 않고도 혈관을 드러낼 수 있습니다.OCTA는 또한 깊이 해상도 혈관 영상화를 가능하게 하여 임상의가 표재성 혈관층과 심부 혈관층을 별도로 검사할 수 있도록 하여 맥락망막 질환을 구별하는 데 도움을 줍니다.
이 기술은 유망하지만 이미지 품질 변화는 신뢰할 수 있는 이미지 분석을 위한 주요 과제로 남아 있어 이미지 해석을 어렵게 만들고 광범위한 임상 채택을 방해합니다.OCTA는 여러 개의 연속 OCT 스캔을 사용하기 때문에 표준 OCT보다 이미지 아티팩트에 더 민감합니다.대부분의 상용 OCTA 플랫폼은 신호 강도(SS) 또는 때로는 신호 강도 지수(SSI)라고 하는 자체 이미지 품질 지표를 제공합니다.그러나 SS 또는 SSI 값이 높은 이미지는 이미지 아티팩트가 없음을 보장하지 않으며, 이는 후속 이미지 분석에 영향을 미치고 잘못된 임상 결정으로 이어질 수 있습니다.OCTA 이미징에서 발생할 수 있는 일반적인 이미지 아티팩트에는 모션 아티팩트, 분할 아티팩트, 미디어 불투명 아티팩트 및 투영 아티팩트가 포함됩니다1,2,3.
혈관 밀도와 같은 OCTA 기반 측정이 중개 연구, 임상 시험 및 임상 실습에서 점점 더 많이 사용되고 있으므로 이미지 아티팩트4를 제거하기 위해 강력하고 신뢰할 수 있는 이미지 품질 관리 프로세스를 개발하는 것이 시급합니다.잔여 연결이라고도 알려진 건너뛰기 연결은 정보가 다양한 규모나 해상도로 정보를 저장하면서 컨벌루션 레이어를 우회할 수 있도록 하는 신경망 아키텍처의 투영입니다5.이미지 아티팩트는 소규모 및 일반 대규모 이미지 성능에 영향을 미칠 수 있으므로 연결 건너뛰기 신경망은 이러한 품질 관리 작업을 자동화하는 데 매우 적합합니다5.최근 발표된 연구에서는 인간 추정자의 고품질 데이터를 사용하여 훈련된 심층 합성곱 신경망에 대한 어느 정도 가능성이 나타났습니다6.
본 연구에서는 OCTA 이미지의 품질을 자동으로 결정하기 위해 연결 건너뛰기 컨벌루션 신경망을 훈련합니다.이미지 품질 요구 사항은 특정 임상 또는 연구 시나리오에 따라 다를 수 있으므로 고품질 이미지와 저품질 이미지를 식별하기 위한 별도의 모델을 개발하여 이전 작업을 기반으로 합니다.우리는 이러한 네트워크의 결과를 연결 누락 없이 컨벌루션 신경망과 비교하여 딥 러닝 내에서 여러 수준의 세분성으로 기능을 포함하는 가치를 평가합니다.그런 다음 제조업체에서 제공하는 일반적으로 인정되는 이미지 품질 척도인 신호 강도와 결과를 비교했습니다.
우리 연구에는 2017년 8월 11일부터 2019년 4월 11일 사이에 Yale Eye Center를 방문한 당뇨병 환자가 포함되었습니다. 당뇨병이 아닌 맥락망막 질환이 있는 환자는 제외되었습니다.연령, 성별, 인종, 이미지 품질 또는 기타 요인에 따른 포함 또는 제외 기준은 없었습니다.
OCTA 이미지는 8\(\times\)8mm 및 6\(\times\)6mm 이미징 프로토콜에서 Cirrus HD-OCT 5000(Carl Zeiss Meditec Inc, Dublin, CA)의 AngioPlex 플랫폼을 사용하여 획득했습니다.각 연구 참여자로부터 연구 참여에 대한 사전 동의를 얻었으며 Yale University Institutional Review Board(IRB)는 이러한 모든 환자에 대해 글로벌 사진 촬영과 함께 사전 동의의 사용을 승인했습니다.헬싱키 선언의 원칙을 따릅니다.이 연구는 예일대학교 IRB의 승인을 받았습니다.
정반 이미지는 이전에 설명한 MAS(Motion Artifact Score), SAS(Segmentation Artifact Score), 중심부, 미디어 불투명도의 존재 및 이미지 평가자가 결정한 작은 모세혈관의 양호한 시각화를 기반으로 평가되었습니다.이미지는 두 명의 독립적인 평가자(RD 및 JW)에 의해 분석되었습니다.다음 기준이 모두 충족되면 이미지의 등급 점수는 2(적격)입니다. 이미지가 중심와(이미지 중심에서 100픽셀 미만) 중앙에 있고, MAS는 1 또는 2, SAS는 1입니다. 매체 불투명도는 1보다 작습니다. 크기/16의 이미지에 존재하며 15/16보다 큰 이미지에는 작은 모세혈관이 보입니다.다음 기준 중 하나라도 충족되면 이미지 등급은 0(등급 없음)입니다. 이미지가 중심에서 벗어났거나, MAS가 4인 경우, SAS가 2이거나, 평균 불투명도가 이미지의 1/4보다 큰 경우, 작은 모세관은 구별하기 위해 1개 이상의 이미지/4개를 조정할 수 없습니다.점수 기준 0 또는 2를 충족하지 않는 다른 모든 이미지는 1(클리핑)로 점수가 매겨집니다.
그림에.그림 1은 스케일링된 추정치와 이미지 아티팩트 각각에 대한 샘플 이미지를 보여줍니다.개별 점수의 평가자 간 신뢰도는 Cohen의 카파 가중치를 통해 평가되었습니다8.각 평가자의 개별 점수를 합산하여 0~4 범위의 각 이미지에 대한 전체 점수를 얻습니다. 총 점수가 4인 이미지는 양호한 것으로 간주됩니다.총점이 0 또는 1인 이미지는 품질이 낮은 것으로 간주됩니다.
ImageNet 데이터베이스의 이미지에 대해 사전 훈련된 ResNet152 아키텍처 컨볼루션 신경망(그림 3A.i)은 fast.ai 및 PyTorch 프레임워크5, 9, 10, 11을 사용하여 생성되었습니다. 컨볼루션 신경망은 학습된 공간적, 지역적 특징을 연구하기 위해 이미지 조각을 스캔하는 필터.훈련된 ResNet은 여러 해상도로 정보를 동시에 전송하는 간격 또는 "잔여 연결"을 특징으로 하는 152층 신경망입니다.플랫폼은 네트워크를 통해 다양한 해상도로 정보를 투사함으로써 여러 세부 수준에서 저품질 ​​이미지의 특징을 학습할 수 있습니다.ResNet 모델 외에도 비교를 위해 연결을 놓치지 않고 잘 연구된 신경망 아키텍처인 AlexNet을 교육했습니다(그림 3A.ii)12.연결이 누락되지 않으면 이 네트워크는 더 높은 수준으로 기능을 캡처할 수 없습니다.
원본 8\(\times\)8mm OCTA13 이미지 세트는 수평 및 수직 반사 기술을 사용하여 향상되었습니다.그런 다음 전체 데이터 세트는 scikit-learn 도구 상자 python14를 사용하여 이미지 수준에서 훈련(51.2%), 테스트(12.8%), 하이퍼파라미터 튜닝(16%) 및 검증(20%) 데이터 세트로 무작위로 분할되었습니다.두 가지 경우가 고려되었는데, 하나는 가장 높은 품질의 이미지(전체 점수 4)만 감지하는 것이고 다른 하나는 가장 낮은 품질의 이미지(전체 점수 0 또는 1)만 감지하는 것입니다.각 고품질 및 저품질 사용 사례에 대해 신경망은 이미지 데이터에 대해 한 번 재교육됩니다.각 사용 사례에서 신경망은 10개의 에포크 동안 훈련되었고, 가장 높은 계층 가중치를 제외한 모든 가중치는 동결되었으며, 모든 내부 매개변수의 가중치는 교차 엔트로피 손실 함수를 사용하는 차별적 학습률 방법을 사용하여 40개의 에포크 동안 학습되었습니다. 16..교차 엔트로피 손실 함수는 예측된 네트워크 레이블과 실제 데이터 간의 불일치에 대한 로그 척도를 측정한 것입니다.훈련 중에 손실을 최소화하기 위해 신경망의 내부 매개변수에 대해 경사하강법이 수행됩니다.학습률, 탈락률, 가중치 감소 하이퍼파라미터는 2개의 무작위 시작점과 10회 반복의 베이지안 최적화를 사용하여 조정되었으며, 데이터세트의 AUC는 하이퍼파라미터를 목표로 17을 사용하여 조정되었습니다.
표면 모세혈관 신경총의 8 × 8mm OCTA 이미지의 대표적인 예는 2(A, B), 1(C, D) 및 0(E, F)을 기록했습니다.표시되는 이미지 아티팩트에는 깜박이는 선(화살표), 분할 아티팩트(별표) 및 미디어 불투명도(화살표)가 포함됩니다.이미지(E)도 중심에서 벗어났습니다.
그런 다음 모든 신경망 모델에 대해 ROC(수신기 작동 특성) 곡선이 생성되고, 저품질 및 고품질 사용 사례 각각에 대해 엔진 신호 강도 보고서가 생성됩니다.곡선 아래 면적(AUC)은 pROC R 패키지를 사용하여 계산되었으며, 95% 신뢰 구간과 p-값은 DeLong 방법을 사용하여 계산되었습니다.인간 평가자의 누적 점수는 모든 ROC 계산의 기준으로 사용됩니다.기계에서 보고된 신호 강도의 경우 AUC는 두 번 계산되었습니다. 한 번은 고품질 확장성 점수 컷오프에 대해, 한 번은 낮은 품질 확장성 점수 컷오프에 대해 계산되었습니다.신경망은 자체 훈련 및 평가 조건을 반영하여 AUC 신호 강도와 비교됩니다.
별도의 데이터 세트에서 훈련된 딥 러닝 모델을 추가로 테스트하기 위해 Yale University에서 수집한 32개의 전면 6\(\times\) 6mm 표면 슬래브 이미지의 성능 평가에 고품질 및 저품질 모델을 직접 적용했습니다.Eye Mass는 이미지 8 \(\times \) 8 mm와 동시에 중심에 위치합니다.6\(\×\) 6 mm 이미지는 8\(\×\) 8 mm 이미지와 동일한 방식으로 동일한 평가자(RD 및 JW)에 의해 수동으로 평가되었으며 AUC는 정확도 및 Cohen의 카파와 함께 계산되었습니다. .똑같이 .
클래스 불균형 비율은 저품질 모델의 경우 158:189(\(\rho = 1.19\))이고 고품질 모델의 경우 80:267(\(\rho = 3.3\))입니다.클래스 불균형 비율이 1:4 미만이기 때문에 클래스 불균형을 수정하기 위한 구체적인 아키텍처 변경이 이루어지지 않았습니다20,21.
학습 프로세스를 더 잘 시각화하기 위해 고품질 ResNet152 모델, 저품질 ResNet152 모델, 고품질 AlexNet 모델 및 저품질 AlexNet 모델의 네 가지 훈련된 딥 러닝 모델 모두에 대해 클래스 활성화 맵이 생성되었습니다.클래스 활성화 맵은 이들 4개 모델의 입력 컨벌루션 레이어에서 생성되고 히트 맵은 8×8mm 및 6×6mm 검증 세트의 소스 이미지로 활성화 맵을 오버레이하여 생성됩니다22, 23.
모든 통계 계산에는 R 버전 4.0.3을 사용했으며, 시각화는 ggplot2 그래픽 도구 라이브러리를 사용하여 생성되었습니다.
우리는 134명으로부터 8 \(\times \)8 mm 크기의 표면 모세혈관 신경총의 정면 영상 347장을 수집했습니다.기계는 모든 이미지에 대해 0에서 10까지의 신호 강도를 보고했습니다(평균 = 6.99 ± 2.29).획득된 347개의 영상 중 검사 당시 평균 연령은 58.7 ± 14.6세였으며, 39.2%가 남성 환자였다.전체 이미지 중 30.8%는 백인, 32.6%는 흑인, 30.8%는 히스패닉, 4%는 아시아인, 1.7%는 기타 인종이었습니다(표 1).).OCTA 환자의 연령 분포는 영상의 질에 따라 유의한 차이를 보였다(p<0.001).18~45세 젊은 환자의 고화질 영상 비율은 33.8%, 저품질 영상 비율은 12.2%로 나타났다(표 1).당뇨병성 망막증 상태의 분포는 영상 품질에서도 상당히 다양했습니다(p < 0.017).전체 고화질 영상 중 PDR 환자 비율은 18.8%로 전체 저화질 영상의 38.8%에 비해 높았다(표 1).
모든 이미지의 개별 등급은 이미지를 읽는 사람들 사이에서 중간에서 강한 등급 간 신뢰도를 나타냈으며(Cohen의 가중치 카파 = 0.79, 95% CI: 0.76-0.82), 평가자가 1 이상 차이가 나는 이미지 포인트는 없었습니다(그림 2). 2A)..신호 강도는 수동 채점과 유의미한 상관관계가 있었지만(Pearson 곱 모멘트 상관관계 = 0.58, 95% CI 0.51–0.65, p<0.001), 많은 이미지에서 신호 강도는 높지만 수동 채점은 낮은 것으로 확인되었습니다(그림 .2B).
ResNet152 및 AlexNet 아키텍처를 훈련하는 동안 검증 및 훈련에 대한 교차 엔트로피 손실은 50세대 이상으로 떨어집니다(그림 3B,C).최종 학습 에포크의 검증 정확도는 고품질 및 저품질 사용 사례 모두에서 90% 이상입니다.
수신기 성능 곡선은 ResNet152 모델이 낮은 품질과 높은 품질 사용 사례 모두에서 시스템이 보고한 신호 전력보다 훨씬 뛰어난 성능을 보여줍니다(p < 0.001).ResNet152 모델은 또한 AlexNet 아키텍처보다 성능이 훨씬 뛰어납니다(낮은 품질 및 고품질 사례에 대해 각각 p = 0.005 및 p = 0.014).이러한 각 작업에 대한 결과 모델은 각각 0.99 및 0.97의 AUC 값을 달성할 수 있었으며 이는 기계 신호 강도 지수의 해당 AUC 값 0.82 및 0.78 또는 AlexNet의 0.97 및 0.94보다 훨씬 우수합니다. ..(그림 3).고품질 이미지를 인식할 때 신호 강도에서 ResNet과 AUC의 차이가 더 높으며, 이는 이 작업에 ResNet을 사용하면 추가적인 이점이 있음을 나타냅니다.
그래프는 각 독립적 평가자의 점수를 매기고 기계가 보고한 신호 강도와 비교할 수 있는 능력을 보여줍니다.(A) 평가할 점수의 합계는 평가할 총 점수를 생성하는 데 사용됩니다.전체 확장성 점수가 4인 이미지에는 높은 품질이 할당되고, 전체 확장성 점수가 1 이하인 이미지에는 낮은 품질이 할당됩니다.(B) 신호 강도는 수동 추정과 상관관계가 있지만 신호 강도가 높은 이미지는 품질이 낮을 수 있습니다.빨간색 점선은 신호 강도(신호 강도 \(\ge\)6)를 기준으로 제조업체에서 권장하는 품질 임계값을 나타냅니다.
ResNet 전이 학습은 기계가 보고한 신호 수준에 비해 낮은 품질과 높은 품질 사용 사례 모두에 대해 이미지 품질 식별을 크게 향상시킵니다.(A) 사전 훈련된 (i) ResNet152 및 (ii) AlexNet 아키텍처의 단순화된 아키텍처 다이어그램.(B) 기계 보고 신호 강도 및 AlexNet 낮은 품질 기준과 비교한 ResNet152의 훈련 기록 및 수신기 성능 곡선.(C) 기계 보고 신호 강도 및 AlexNet 고품질 기준과 비교한 ResNet152 수신기 훈련 기록 및 성능 곡선.
결정 경계 임계값을 조정한 후 ResNet152 모델의 최대 예측 정확도는 저품질 사례의 경우 95.3%, 고품질 사례의 경우 93.5%입니다(표 2).AlexNet 모델의 최대 예측 정확도는 저품질 사례의 경우 91.0%, 고품질 사례의 경우 90.1%입니다(표 2).최대 신호 강도 예측 정확도는 저품질 사용 사례의 경우 76.1%, 고품질 사용 사례의 경우 77.8%입니다.Cohen의 카파(\(\kappa\))에 따르면 ResNet152 모델과 추정량 간의 일치도는 낮은 품질의 경우 0.90이고 고품질의 경우 0.81입니다.Cohen의 AlexNet 카파는 낮은 품질과 높은 품질 사용 사례에서 각각 0.82와 0.71입니다.Cohen의 신호 강도 카파는 낮은 품질과 높은 품질 사용 사례에서 각각 0.52와 0.27입니다.
6mm 평판의 6\(\x\) 이미지에 대한 고품질 및 저품질 인식 모델의 검증은 훈련된 모델이 다양한 이미징 매개변수에 걸쳐 이미지 품질을 결정하는 능력을 보여줍니다.이미징 품질을 위해 6\(\x\) 6mm 얕은 슬래브를 사용할 때 저품질 모델의 AUC는 0.83(95% CI: 0.69–0.98)이었고 고품질 모델의 AUC는 0.85였습니다.(95% CI: 0.55–1.00)(표 2).
입력 레이어 클래스 활성화 맵을 시각적으로 검사한 결과 훈련된 모든 신경망이 이미지 분류 중에 이미지 특징을 사용하는 것으로 나타났습니다(그림 4A, B).8\(\times \) 8 mm 이미지와 6 \(\times \) 6 mm 이미지의 경우 ResNet 활성화 이미지는 망막 맥관구조를 밀접하게 따릅니다.AlexNet 활성화 맵도 망막 혈관을 따르지만 해상도는 더 낮습니다.
ResNet152 및 AlexNet 모델의 클래스 활성화 맵은 이미지 품질과 관련된 기능을 강조합니다.(A) 8\(\times\) 8mm 검증 이미지에서 표면 망막 혈관계 후 일관된 활성화를 보여주는 클래스 활성화 맵 및 (B) 더 작은 6\(\times\) 6mm 검증 이미지에서 범위.낮은 품질 기준으로 훈련된 LQ 모델, 높은 품질 기준으로 훈련된 HQ 모델.
이전에는 이미지 품질이 OCTA 이미지의 정량화에 큰 영향을 미칠 수 있다는 것이 밝혀졌습니다.또한, 망막병증이 있으면 이미지 아티팩트7,26의 발생률이 증가합니다.실제로, 이전 연구와 일치하게 우리 데이터에서 우리는 망막 질환의 연령 및 중증도 증가와 이미지 품질 저하 사이에 유의미한 연관성을 발견했습니다(연령 및 DR 상태에 대해 각각 p < 0.001, p = 0.017; 표 1) 27 따라서 OCTA 이미지의 정량적 분석을 수행하기 전에 이미지 품질을 평가하는 것이 중요합니다.OCTA 이미지를 분석하는 대부분의 연구에서는 기계에서 보고된 신호 강도 임계값을 사용하여 낮은 품질의 이미지를 배제합니다.신호 강도가 OCTA 매개변수의 정량화에 영향을 미치는 것으로 나타났지만 높은 신호 강도만으로는 이미지 아티팩트2,3,28,29가 있는 이미지를 배제하는 데 충분하지 않을 수 있습니다.따라서 보다 신뢰성 있는 이미지 품질 관리 방법을 개발할 필요가 있습니다.이를 위해 우리는 기계가 보고한 신호 강도에 대해 지도 딥러닝 방법의 성능을 평가합니다.
OCTA 사용 사례마다 이미지 품질 요구 사항이 다를 수 있으므로 우리는 이미지 품질을 평가하기 위한 여러 모델을 개발했습니다.예를 들어, 이미지 품질은 더 높아야 합니다.또한 관심 있는 특정 정량적 매개변수도 중요합니다.예를 들어, 중심와 무혈관 구역의 면적은 비중심 매체의 탁도에 의존하지 않지만 혈관 밀도에 영향을 미칩니다.우리의 연구는 특정 테스트의 요구 사항에 얽매이지 않고 기계가 보고한 신호 강도를 직접 대체하기 위한 이미지 품질에 대한 일반적인 접근 방식에 계속 초점을 맞추고 있지만 사용자에게 더 높은 수준의 제어 기능을 제공하여 사용자가 관심 있는 특정 측정항목을 선택할 수 있습니다.허용 가능한 것으로 간주되는 이미지 아티팩트의 최대 수준에 해당하는 모델을 선택합니다.
저품질 장면과 고품질 장면의 경우 AUC가 각각 0.97과 0.99이고 저품질 모델에서 연결 누락 심층 합성곱 신경망의 뛰어난 성능을 보여줍니다.또한 기계에서만 보고되는 신호 수준과 비교할 때 딥 러닝 접근 방식의 탁월한 성능을 보여줍니다.건너뛰기 연결을 통해 신경망은 여러 수준의 세부 사항에서 기능을 학습하여 이미지의 더 미세한 측면(예: 대비)과 일반적인 기능(예: 이미지 센터링30,31)을 캡처할 수 있습니다.이미지 품질에 영향을 미치는 이미지 아티팩트는 넓은 범위에서 가장 잘 식별되므로 연결이 누락된 신경망 아키텍처는 이미지 품질 결정 작업이 없는 신경망 아키텍처보다 더 나은 성능을 나타낼 수 있습니다.
6\(\×6mm) OCTA 이미지에서 모델을 테스트할 때 분류를 위해 훈련된 모델의 크기와 달리 고품질 모델과 저품질 모델 모두에서 분류 성능이 감소하는 것을 확인했습니다(그림 2).ResNet 모델과 비교하여 AlexNet 모델은 더 큰 폴오프를 갖습니다.ResNet의 상대적으로 더 나은 성능은 다양한 스케일로 정보를 전송하는 잔여 연결의 능력 때문일 수 있으며, 이는 다양한 스케일 및/또는 배율에서 캡처된 이미지를 분류하는 데 모델을 더욱 강력하게 만듭니다.
8\(\×\)개의 8mm 이미지와 6\(\×\)개의 6mm 이미지 사이의 일부 차이로 인해 중심와 무혈관 영역, 가시성 변화, 혈관 아케이드 및 혈관 아케이드가 포함된 상대적으로 높은 비율의 이미지를 포함하여 잘못된 분류가 발생할 수 있습니다. 6×6 mm 이미지에는 시신경이 없습니다.그럼에도 불구하고 우리의 고품질 ResNet 모델은 6\(\x\) 6mm 이미지에 대해 85%의 AUC를 달성할 수 있었는데, 이는 모델이 훈련되지 않은 구성으로, 신경망에 인코딩된 이미지 품질 정보가 적합.훈련 외부의 하나의 이미지 크기 또는 기계 구성의 경우(표 2)안심할 수 있는 것은 ResNet 및 AlexNet과 유사한 8\(\times\) 8mm 이미지와 6\(\times\) 6mm 이미지의 활성화 맵이 두 경우 모두에서 망막 혈관을 강조할 수 있었으며 이는 모델에 중요한 정보가 있음을 시사합니다.두 가지 유형의 OCTA 이미지를 분류하는 데 적용 가능합니다(그림 4).
Lauermanet al.OCTA 이미지에 대한 이미지 품질 평가는 딥 러닝 기술을 사용하는 또 다른 건너뛰기 연결 컨벌루션 신경망6,32인 Inception 아키텍처를 사용하여 유사하게 수행되었습니다.그들은 또한 연구를 표면 모세혈관 신경총 이미지로 제한했지만 다양한 맥락망막 질환이 있는 환자도 포함되었지만 Optovue AngioVue의 더 작은 3×3mm 이미지만 사용했습니다.우리의 작업은 다양한 이미지 품질 임계값을 해결하고 다양한 크기의 이미지에 대한 결과를 검증하는 여러 모델을 포함하여 그 기반을 구축합니다.또한 기계 학습 모델의 AUC 지표를 보고하고 저품질(96%) 및 고품질(95.7%) 모델6 모두에 대해 이미 인상적인 정확도(90%)6를 높였습니다.
이 교육에는 몇 가지 제한 사항이 있습니다.첫째, 8\(\times\)8 mm 및 6\(\times\)6 mm의 표면 모세혈관 신경총 이미지만 포함하여 이미지를 단 하나의 OCTA 기계로 획득했습니다.더 깊은 레이어에서 이미지를 제외하는 이유는 투영 아티팩트로 인해 이미지의 수동 평가가 더 어렵고 일관성이 떨어질 수 있기 때문입니다.또한 OCTA가 중요한 진단 및 예후 도구로 떠오르고 있는 당뇨병 환자에서만 이미지를 획득했습니다33,34.결과가 견고한지 확인하기 위해 다양한 크기의 이미지에서 모델을 테스트할 수 있었지만 여러 센터에서 적합한 데이터 세트를 식별할 수 없었기 때문에 모델의 일반화 가능성에 대한 평가가 제한되었습니다.영상은 단 하나의 센터에서만 얻었지만 다양한 민족, 인종 배경의 환자로부터 얻은 것이 우리 연구의 독특한 강점입니다.훈련 과정에 다양성을 포함함으로써 우리의 결과가 더 넓은 의미로 일반화되고 훈련하는 모델에서 인종적 편견을 인코딩하는 것을 피할 수 있기를 바랍니다.
우리의 연구에 따르면 연결 건너뛰기 신경망은 OCTA 이미지 품질을 결정하는 데 있어 높은 성능을 달성하도록 훈련될 수 있습니다.우리는 이러한 모델을 추가 연구를 위한 도구로 제공합니다.측정 기준마다 이미지 품질 요구 사항이 다를 수 있으므로 여기에 설정된 구조를 사용하여 각 측정 기준에 대해 개별 품질 관리 모델을 개발할 수 있습니다.
향후 연구에는 OCTA 플랫폼 및 이미징 프로토콜에 일반화될 수 있는 딥 러닝 이미지 품질 평가 프로세스를 얻기 위해 다양한 깊이와 다양한 OCTA 기계의 다양한 크기의 이미지가 포함되어야 합니다.또한 현재 연구는 사람의 평가와 이미지 평가가 필요한 감독형 딥 러닝 접근 방식을 기반으로 하며, 이는 대규모 데이터 세트의 경우 노동 집약적이고 시간이 많이 소요될 수 있습니다.비지도 딥러닝 방법이 저품질 이미지와 고품질 이미지를 적절하게 구별할 수 있는지 여부는 아직 알 수 없습니다.
OCTA 기술이 계속 발전하고 스캔 속도가 증가함에 따라 이미지 아티팩트 및 품질이 낮은 이미지의 발생률이 줄어들 수 있습니다.최근 도입된 투영 아티팩트 제거 기능과 같은 소프트웨어 개선을 통해 이러한 제한을 완화할 수도 있습니다.그러나 고정력이 좋지 않거나 매체 탁도가 심각한 환자의 영상을 촬영할 때 항상 영상 아티팩트가 발생하므로 많은 문제가 남아 있습니다.OCTA가 임상 시험에서 더욱 광범위하게 사용됨에 따라 이미지 분석에 허용되는 이미지 아티팩트 수준에 대한 명확한 지침을 설정하려면 신중한 고려가 필요합니다.OCTA 이미지에 딥러닝 방법을 적용하는 것은 큰 가능성을 갖고 있으며 이미지 품질 제어에 대한 강력한 접근 방식을 개발하려면 이 분야에 대한 추가 연구가 필요합니다.
현재 연구에 사용된 코드는 octa-qc 저장소(https://github.com/rahuldhodapkar/octa-qc)에서 사용할 수 있습니다.현재 연구 중에 생성 및/또는 분석된 데이터세트는 합당한 요청이 있을 경우 해당 저자에게 제공됩니다.
Spaide, RF, Fujimoto, JG & Waheed, NK 광 간섭 혈관 조영술의 이미지 인공물.레티나 35, 2163~2180(2015).
Fenner, BJet al.OCT 혈관 조영술에서 망막 모세혈관 신경총 밀도 측정의 품질과 재현성을 결정하는 영상 특징 식별.BR.J. Ophalmol.102, 509–514 (2018).
Lauerman, JL 외.연령 관련 황반변성에서 안구 추적 기술이 OCT 혈관 조영술의 영상 품질에 미치는 영향.무덤 아치.객관적인.특급.안과학.255, 1535~1542(2017).
Babyuch AS et al.OCTA 모세혈관 관류 밀도 측정은 황반 허혈을 감지하고 평가하는 데 사용됩니다.안과 수술.망막 레이저 이미징 51, S30–S36(2020).
He, K., Zhang, X., Ren, S. 및 Sun, J. 이미지 인식을 위한 심층 잔여 학습.2016년 컴퓨터 비전 및 패턴 인식에 관한 IEEE 컨퍼런스(2016)에서.
Lauerman, JL 외.딥러닝 알고리즘을 사용한 자동화된 OCT 혈관 조영 영상 품질 평가.무덤 아치.객관적인.특급.안과학.257, 1641~1648(2019).
Lauermann, J.et al.OCT 혈관 조영술에서 분할 오류 및 운동 인공물의 유병률은 망막 질환에 따라 다릅니다.무덤 아치.객관적인.특급.안과학.256, 1807~1816(2018).
Pask, Adam et al.Pytorch: 필수적인 고성능 딥 러닝 라이브러리.신경 정보의 고급 처리.체계.32, 8026–8037(2019).
Deng, J. et al.ImageNet: 대규모 계층적 이미지 데이터베이스.컴퓨터 비전 및 패턴 인식에 관한 2009 IEEE 컨퍼런스.248–255.(2009).
Krizhevsky A., Sutzkever I. 및 Hinton GE Imagenet 분류는 심층 합성곱 신경망을 사용합니다.신경 정보의 고급 처리.체계.25, 1(2012).