Доклады : Возможности применения визуальных трансформеров в классификации офтальмологических заболеваний

!	Поздравляем хозяина конференций в Дубне Владимира Васильевича Коренькова с 70-летием и желаем ему здоровья и творческих успехов!

Доклады

Возможности применения визуальных трансформеров в классификации офтальмологических заболеваний

Волков Е.Н., Аверкин А.Н.

Государственный университет "Дубна", Институт системного анализа и управления, Кафедра системного анализа и управления, 141982, Россия, Московская обл., г. Дубна, ул. Университетская, д. 19, e-mail envolkoff1998@yandex.ru

С каждым годом расширяются возможности использования технологий искусственного интеллекта в диагностике различных заболевания – эта тенденция также имеет место в офтальмологии, где использование искусственных нейронных сетей различных типов вывело диагностику заболеваний на совершенно новый уровень. Традиционно, для анализа офтальмологических изображений, а именно снимков ретинальной камеры, использовались свёрточные нейронные сети (СНС), что было показано во многих работах [1]. Однако, появление в 2020 году моделей визуальных трансформеров, основанных на усовершенствованном механизме внимания, дало значительных прирост в точности классификации и сегментации при анализе медицинских изображений [2, 3].

Несмотря на то, что в анализе офтальмологических изображений применений трансформеров всё ещё уступает СНС, отдельные исследования [4, 5] показывают их перспективы в этом направлении. Созданная архитектура модели визуального трансформера для задачи классификации глаукомы и диабетической ретинопатии, по фундус-снимкам, показывает высокий результат на тестовой выборке (F1-0,81; AUC-0.87), что говорит о возможностях улучшения результата как путём тонкой настройки сети, так через создания ансамбля моделей в дальнейших исследованиях.

Литература

1. E. N. Volkov and A. N. Averkin, "Possibilities of Explainable Artificial Intelligence for Glaucoma Detection Using the LIME Method as an Example," 2023 XXVI International Conference on Soft Computing and Measurements (SCM), Saint Petersburg, Russian Federation, 2023, pp. 130-133. DOI: 10.1109/SCM58628.2023.10159038.

2. Zhang Y., Wang J., Gorriz J. M. et al. Deep Learning and Vision Transformer for Medical Image Analysis // Journal of Imaging. MDPI AG, 2023. Vol. 9, № 7. P. 147. DOI: 10.3390/jimaging9070147.

3. Azad R., Kazerouni A., Heidari M. et al. Advances in medical image analysis with vision transformers: A comprehensive review //arXiv preprint arXiv:2301.03505. – 2023.

4. Yu S., Ma K., Bi Q. et al. Mil-vt: Multiple instance learning enhanced vision transformer for fundus image classification //Medical Image Computing and Computer Assisted Intervention–MICCAI 2021: 24th International Conference, Strasbourg, France, September 27–October 1, 2021, Proceedings, Part VIII 24. – Springer International Publishing, 2021. – P. 45-54. DOI: 10.1007/978-3-030-87237-3_5.

5. Sun R., Li Y., Zhang T. et al. Lesion-aware transformers for diabetic retinopathy grading //Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. – 2021. – P. 10938-10947.