Using deep artificial neural networks for multimodal data classification

Oleksandr Penia; Yevgeniya Sulema

doi:10.34185/1562-9945-6-149-2023-02

Автор(и)

Oleksandr Penia
Yevgeniya Sulema

DOI:

https://doi.org/10.34185/1562-9945-6-149-2023-02

Ключові слова:

мультимодальні дані, класифікація, паралельні обчислення, штучні нейронні мережі.

Анотація

Розвиток програмних і апаратних технологій дозволяє отримувати, зберігати та обробляти набори мультимодальних даних, які краще описують стан досліджуваного об’єкта, ніж дані однієї модальності. Тому дослідження та розвиток методів ефективної обробки таких даних є актуальною задачею. У статті запропоновано спосіб організації обробки мультимодальних даних, який адаптується до наявних обчислювальних можливостей системи, для використання у системі цифрового двійника в режимі «цифрової тіні» або відокремленої симуляції. Також описано при-клад створення програмного модуля класифікації мультимодальних даних у реальному часі.

Посилання

Liang P. P., Zadeh A., Morency L. P. Foundations and recent trends in multimodal ma-chine learning: Principles, challenges, and open questions //arXiv preprint arXiv:2209.03430. – 2022.

Ngiam J. et al. Multimodal deep learning //Proceedings of the 28th international confer-ence on machine learning (ICML-11). – 2011. – P. 689-696.

Sun D., Wang M., Li A. A multimodal deep neural network for human breast cancer prog-nosis prediction by integrating multi-dimensional data //IEEE/ACM transactions on computa-tional biology and bioinformatics. – 2018. – Т. 16. – №. 3. –

P. 841-850.

Mao J. et al. Explain images with multimodal recurrent neural networks //arXiv preprint arXiv:1410.1090. – 2014.

Chen H. et al. Vggsound: A large-scale audio-visual dataset //ICASSP 2020-2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). – IEEE, 2020. – P. 721-725.

Dogs vs. Cats Dataset. URL: https://www.kaggle.com/c/dogs-vs-cats

Redmon J., Farhadi A. Yolov3: An incremental improvement //arXiv preprint arXiv:1804.02767. – 2018.

Bjorck N. et al. Understanding batch normalization //Advances in neural information proc-essing systems. – 2018. – Т. 31.

You Y., Gitman I., Ginsburg B. Large batch training of convolutional networks //arXiv pre-print arXiv:1708.03888. – 2017.