Интегрированная система восстановления и аугментации изображений с использованием глубоких нейронных сетей трансформерного типа

Аннотация

Представлена система для автоматического восстановления и аугментации изображений сцен, искаженных различными помехами, атмосферными осадками, на основе моделей глубоких нейронных сетей – трансформеров. В отличие от традиционных подходов, в которых задачи восстановления изображений и генерации и синтеза искусственных помех решаются раздельно, предлагается интегрированная система, рассматривающая их как взаимно обратимые процессы. Архитектура комплекса включает в себя модуль аугментации, синтезирующий погодные и другие искажения на изображениях, и модуль восстановления, устраняющий эти искажения. Оба модуля построены на моделях-трансформерах с модифицированным механизмом внимания. Обучение системы осуществляется по циклической схеме: в модуле аугментаций формируются искаженные изображения, которые затем улучшаются в модуле восстановления с обратным преобразованием. При этом оптимизируются функции потерь и чувствительные ошибки, обеспечивая реалистичность как сгенерированных, так и восстановленных изображений. Приведены результаты экспериментов, показывающие, что предложенный подход превосходит многие современные модели по метрикам качества (PSNR, SSIM, FID и др.)