ІНТЕЛЕКТУАЛЬНА КОЛОРИЗАЦІЯ ЗОБРАЖЕНЬ ЗА ДОПОМОГОЮ ГЕНЕРАТИВНИХ ЗМАГАЛЬНИХ МЕРЕЖ
DOI:
https://doi.org/10.34185/1562-9945-5-124-2019-09Ключові слова:
нейронні мережі, інтелектуальна колоризація, сегментація зображень, оброблення зображень, оброблення мультимодальних данихАнотація
Статтю присвячено застосуванню генеративних змагальних нейронних мереж на прикладі розв’язку задачі інтелектуальної колоризації зображень. В основі розробленої програмної системи для інтелектуальної колоризації лежить робота двох конкуруючих згорткових нейронних мереж: мережі-генератора та мережі-дискримінатора. На етапі підготовки даних пропонується виконувати перетворення зображень з колірної моделі RGB у модель YUV або LAB, що дозволяє отримати кращий результат колоризації. Також у статті розглянуто можливість переходу від оброблення зображень до оброблення мультимодальних даних та запропоновано подавати вхідні мультимодальні дані про об’єкти на зображені у вигляді мультимодальної багаторівневої онтологічної моделі.
Посилання
“Adobe Photoshop: Match, replace, and mix colors”, 2017, https://helpx.adobe.com/photoshop/using/matching-replacing-mixing-colors.html
Z. Cheng, Q. Yang, B. Sheng, “Deep colorization”, Proceedings of IEEE International Conference on Computer Vision, 2015, pp. 415-423
Junghoon Seo, Taewon Yoon, and Jinwoo Kim, “One-to-one Example-based Automatic Image Coloring Using Deep Convolutional Generative Adversarial Network”, Journal of Advances in Information Technology, 2017, Vol. 8, No. 2, pp. 80-85.
Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio, “Generative Adversarial Networks”, Advances in Neural Information Processing Systems, 2014,pp.1-9.
Olaf Ronneberger, Philipp Fischer, Thomas Brox. ”U-Net: Convolutional Networks for Biomedical Image Segmentation”, Medical Image Computing and Computer-Assisted Intervention, 2015, pp. 234-241.
Tsung-Yi Lin, Piotr Dollar, Ross Girshick, Kaiming He, Bharath Hariharan, Serge Belongie, “Feature Pyramid Networks for Object Detection”, Computer Vision and Pattern Recognition, 2017, pp. 2117-2125.
ImageNet: Summary and Statistics, 2010, http://image-net.org/about-stats
COCO Dataset, 2019, http://cocodataset.org
Michal Podpora, Grzegorz Paweł Korbas, Aleksandra Kawala-Janik, “YUV vs RGB – Choosing a Color Space for Human-Machine Interaction”, Computer Science and Information Systems, 2014, pp. 29-34.
Noor A. Ibraheem, Mokhtar M. Hasan, Rafiqul Z. Khan, Pramod K. Mishra, “Understanding Color Models: A Review”, ARPN Journal of Science and Technology, 2012, Vol. 2, No. 3, pp. 265-275.
Ivanov I., Sopov E., Panfilov I., “Comprehensive approach for solving multimodal data analysis problems based on integration of evolutionary, neural and deep neural network algorithms”, IOP Conf. Series: Materials Science and Engineering, 2018, pp. 1-10.
Shishir Kumar, Prabhat Mahanti, Su-Jing Wang, "Intelligent computational techniques for multimodal data", Multimedia Tools and Applications, 2019, Vol. 78, pp. 23809–23814.
Ye. Sulema, I. Dychka, O. Sulema, “Multimodal Data Representation Models for Virtual, Remote, and Mixed Laboratories Development”, Lecture Notes in Networks and Systems, Springer Cham, 2018, Vol. 47, pp. 559-569.
Anat Levin, Dani Lischinski, Yair Weiss. “Colorization using Optimization” Proceedings of ACM SIGGRAPH, 2004, pp. 689–694.
