A NOVEL SUMMARY REPORT OF COLONOSCOPY: TIMELINE VISUALIZATION PROVIDING MEANINGFUL COLONOSCOPY VIDEO INFORMATION

Abstract

Colorectal cancer is one of the most important diseases in which early diagnosis can make a significant difference. Colonoscopy is the most commonly used method for early diagnosis of colorectal cancer. Recently, studies have been actively conducted to obtain more information from colonoscopy images by applying image processing methods, where polyp detection is an important factor for the early diagnosis of colorectal cancer. Since the size and shape of the polyps are variable, it is not easy to find them with human eye due to the nature of the colon wall that continues to move. So, this study intends to develop a system that could automatically detect polyps by applying image processing and machine learning methods to colonoscopy images. In addition, it is also anticipated to provide various useful information to clinicians performing colonoscopy. In this study, 7 meaningful information that can be useful for clinicians are defined and extracted with respect to time information. This information is classified as bleeding, instruments, polypectomy, residue, inflated, non-inflated, and no-fold. Next, the directions of the colonoscopy scope are also classified. It is extremely important to determine the time-location of the cecum, i.e., the cecal intubation time, since the reaching the appendix orifice is a major factor in determining whether a colonoscopy has been successfully performed. If the direction of the colonoscopy scope is classified, the cecal intubation time can be calculated as the insertion movement phase. Also, the withdrawal movement phase can be automatically calculated. All the results from the above processes are visualized for efficient delivery and organized as a summary report. The proposed novel summary report of colonoscopy with timeline visualization provides meaningful and formulated colonoscopy video information Under the Institutional Review Board (IRB) approval of Seoul National University Hospital, 113 colonoscopy video were collected. Support Vector Machine (SVM) model was used to classify colonoscopy images into 7 types. The mean, variance, skewness, correlation, contrast, Laplacian energy, energy of gradient, and scale invariant feature transform values were used as feature of SVM and performed with 5-cross validation. Inflated, non-inflated, and no-fold frames were applied to polygon detection algorithms learned by SVM. Here, the same features as above are used, and gray-level co-occurrence matrix values are used. Moreover, the motion vector was calculated by the Horn-Schunk algorithm in order to detect the direction of the colonoscopy scope. Based on this value, the convolutional neural network deep learning technique was used to classify the insertion and withdrawal phases. Finally, all of the above information was quantified as time information and visualized as a summary report of colonoscopy video (SRCV). For 113 colonoscopy images, the mean accuracy and sensitivity of the seven categories were 93.7% and 87.4%, respectively. The accuracy in polyp detection was 82.1% and the positive predicted value was 39.3%. The classification of the direction of the colonoscopy scope was trained and evaluated by convolutional neural network (CNN) using a total of 328,927 image frames with an overall average accuracy of 95.6%. The recall and precision for the entry movement were 95.8% and 97.6%, respectively and the recall rate and precision for the recall movement were 94.6% and 96.9%, respectively. At the value t = 30 sec obtained from the study, the position of the cecum was detected with an accuracy of 96.7%. In this study, image processing methods and machine learning methods have been applied to colonoscopy images to quantify and visualize the direction of the scope and 7 meaningful information as type of timeline. Through the results of this study, it is expected to contribute to the improvement of quality of medical service by assisting in the detection of polyps and re-observing colonoscopy images or sharing information with other clinicians and other hospitals.

대장암은 조기 진단이 매우 중요한 질병 중 하나이며, 대장암을 조기 진단하기 위해 가장 많이 사용되는 대표적인 방법은 대장내시경 이다. 오늘날, 영상 처리 기술을 적용하여 대장내시경 영상에서 더욱 많은 정보들을 획득하고자 하는 연구가 활발히 진행되고 있다. 가장 대표적인 연구로서, 대장암의 조기 진단에 중요한 요소인 용종 검출이 있다. 용종은 크기와 모양이 각기 다르며, 계속해서 움직이는 대장 내벽의 특성상 육안으로 발견하기가 쉽지 않다. 이러한 이유로, 본 연구에서는 용종 발견을 돕기 위하여 대장내시경 영상에 영상처리 기술과 기계학습 기술을 적용하여 자동으로 용종을 검출할 수 있는 시스템을 개발하고자 한다. 뿐만 아니라, 대장내시경 영상에서 임상의에게 도움이 될 수 있는 유의미한 정보를 다수 추출하여 제공하고자 한다. 본 연구에서는 대장내시경 영상에서 임상의에게 도움이 될 수 있는 유의미한 정보를 7가지로 정의하고, 이를 추출하여 시간 정보로 정형화 하고자 한다. 7가지 유의미한 정보는 Bleeding, instruments, polypectomy, residue, inflated, non-inflated, no-fold 로 분류된다. 두 번째로, 대장내시경 스코프의 진행 방향을 분류하고자 한다. 맹장 도달 여부는 대장내시경이 성공적으로 수행 되었는지를 판단하기 위한 주요한 요소이기 때문에, 맹장의 위치, 즉 맹장도달시간 (Cecal intubation time)을 파악하는 것은 임상적으로 큰 의미가 있다. 따라서, 대장내시경 스코프의 진행 방향을 분류하고, 이를 바탕으로 진입 단계와 후퇴 단계를 구분함과 동시에 맹장도달시간을 자동으로 계산할 수 있다면, 대장내시경 영상을 시간정보로 자동 정형화하여 제공할 수 있을 것이다. 서울대학교 병원의 의학연구윤리심의위원회 (Institutional Review Board, IRB) 승인 하에, 113명의 대장내시경 영상 데이터를 수집하였다. 대장내시경 영상을 7가지 종류로 분류하기 위해서 Support Vector Machine (SVM) 모델이 사용되었다. Mean, variance, skewness, correlation, contrast, energy of laplacian, energy of gradient, 그리고 scale invariant feature transform 값들이 SVM의 feature로 사용되었으며, 5-cross validation으로 수행되었다. Inflated, non-inflated, no-fold 프레임들에 대하여, SVM으로 학습된 용종 검출 알고리즘이 각각 적용 되었다. 여기에서도 위와 같은 feature들이 사용되었으며, 추가로 gray-level co-occurrence matrix 값이 사용되었다. 다음으로, 대장내시경 스코프의 진행 방향을 검출하기 위해서 Horn-Schunk 알고리즘으로 모션 벡터를 계산하였고, 이 값을 바탕으로 합성곱 신경망 딥러닝 기법을 통해 진입 운동, 후퇴 단계가 분류 되었다. 마지막으로, 위의 모든 정보들은 시간 정보로 정형화 된 다음, 대장내시경 요약보고서 (Summary report of colonoscopy video, SRCV)로 시각화 되어 평가 되었다. 113명의 대장내시경 영상에 대하여, 7가지 분류에 대한 평균 정확도는 93.7%, 민감도는 87.4% 였으며, 용종의 검출 정확도는 82.1%, 양성예측치는 39.3%를 획득 하였다. 대장내시경 스코프의 진행 방향에 대한 분류는 112명의 환자 영상으로부터 총 328,927개의 이미지 프레임을 사용하여 CNN에 의해 학습, 평가되었으며, 전체 평균 정확도는 95.6% 였다. 진입 운동에 대한 재현율과 정밀도는 각각 95.8%, 97.6% 였으며, 후퇴 운동에 대한 재현율과 정밀도는 각각 94.6%, 96.9% 였다. 연구를 통해 얻어진 값 t = 30초 에서, 맹장의 위치는 96.7%의 정확도로 검출 되었다. 본 연구에서는 대장내시경 영상에 영상처리 기술 및 머신러닝 기술을 적용하여, 용종, 7가지 유의미한 정보와 스코프의 진행방향에 대한 정보를 시간 정보로 정형화 하고, 의사 및 환자에게 효율적으로 전달 될 수 있도록 시각화하여 제공하였다. 본 연구의 결과물을 통하여, 용종 검출을 보조하고 대장내시경 영상을 재관측 하거나 다른 의료진, 타 의료기관에 공유하는 경우에 정보를 효율적으로 전달하며, 의료 서비스의 품질 향상에 기여하고자 한다.