English
!

Доклады

Генерация набора данных с реалистичным шумом для обучения шумодавляющих сетей

Коваленко А.С., Демяненко Я.М.

Южный Федеральный Университет, Россия, 344090, г. Ростов-на-Дону, ул. Мильчакова, 8а, +78632975111, akov@sfedu.ru

Наряду с подавлением шума на изображениях актуальной проблемой является шумоподавление видео. Но в отличие от изображений, сложно получить выровненные пары с кадрами видео для построения выборок для последующего обучения нейронных сетей. В этой работе предлагается использовать генеративную модель для искусственного зашумления кадров видео. В качестве эталонных изображений без шума рассматриваются кадры видео из набора Set8, рассматриваемого авторами работы [1].

Поскольку в настоящее время нет выровненных наборов данных для решения проблемы шумоподавления видео, исследователям необходимо применить синтетический шум к чистым кадрам видео. Например, авторы подходов [1] для обучения своих моделей добавляют к выходным изображениям гауссовский шум с разными сигма-параметрами. Но у этого подхода есть существенный недостаток. При наложении шума на входное изображение физические свойства КМОП-сенсора камеры не учитываются.

Для решения проблемы добавления реалистичного шума к изображению был выбран подход DANet [2], где модель UNet была заменена архитектурой под названием Uformer [3], поскольку она показала более современные результаты. Также этот подход позволит генерировать карты шума для входного изображения. Затем при сложении чистого изображения с предсказанной картой получается изображение с шумом.

Модель Uformer была обучена на наборе данных Smartphone Image Denoising Dataset (SIDD) с применением стратегии обучения из работы DANet. После обучения она достигла значения метрики PSNR 39,4 на тестовом наборе данных SIDD. Оригинальная модель автора демонстрирует результаты PSNR 39,3. Более того, результат модели Uformer дает результаты ближе к реальному распределению шума, чем распределение Гаусса. Обученную модель Uformer можно применять к кадрам видео вместо Гауссова шума для построения обучающей выборки, содержащей шум, близкий к реальному. На основе таких наборов данных можно будет обучать модели для эффективного подавления шума на видео, снятых на камеры с КМОП-сенсором [1].

Литература.

1. Tassano Matias, Delon Julie, Veit Thomas. FastDVDnet: Towards Real-Time Deep Video Denoising Without Flow Estimation // Proceedings ofthe IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR). — 2020. — June.р.

2. Yue Zongsheng, Zhao Qian, Zhang Lei, and Meng Deyu. Dual Adversarial Network: Toward Real-world Noise Removal and Noise Generation // Proceedings of the European Conference on ComputerVision (ECCV). — 2020. — August.

3. Wang Zhendong, Cun Xiaodong, Bao Jianmin, and Liu Jianzhuang. Uformer: A General U-Shaped Transformer for Image Restoration // CoRR. — 2021. — Vol. abs/2106.03106. — arXiv :2106.03106.

Материалы доклада

© 2004 Дизайн Лицея Информационных технологий №1533