АВТОМАТИЧНА СЕМАНТИЧНА СЕГМЕНТАЦІЯ ЗОБРАЖЕНЬ SENTINEL-2: ІНТЕГРАЦІЯ МЕТОДІВ КЛАСТЕРИЗАЦІЇ ТА ВЕЛИКИХ МОВНИХ МОДЕЛЕЙ ДЛЯ ІНТЕРПРЕТАЦІЇ КЛАСТЕРІВ
DOI:
https://doi.org/10.34185/1991-7848.itmm.2025.01.095Ключові слова:
семантична сегментація, кластеризація, Sentinel-2, земний покрив, мультимодальні моделіАнотація
Семантична сегментація супутникових зображень, зокрема даних Sentinel-2, є важливим інструментом екологічного моніторингу та управління земними ресурсами. У роботі запропоновано метод автоматичної класифікації земного покриву без використання маркованих даних. Підхід ґрунтується на поєднанні кластеризації (K-Means, DBSCAN, автоенкодери) та мультимодального маркування за допомогою великих мовно-візуальних моделей (GPT-4, Claude, Gemini 2.0 тощо). Інтерпретація кластерів здійснюється на основі візуалізацій, що автоматично аналізуються моделями. Методологія дозволяє досягти точності сегментації на рівні 85–90%, порівнянної з супервізованими підходами, та забезпечує інтерпретованість і масштабованість. Система також підтримує нормалізацію термінів і голосування кількох моделей для підвищення надійності. Результати валідуються з використанням карт ESA WorldCover. Підхід є перспективним для швидкого картографування в умовах обмежених ресурсів.
Посилання
Zhang, S., Wang, Q., Liu, J., & Xiong, H. (2024). ALPS: An Auto-Labeling and Pre-training Scheme for Remote Sensing Segmentation With Segment Anything Model. arXiv preprint. https://doi.org/10.48550/arXiv.2406.10855
Nagar, S., Farahbakhsh, E., Awange, J., & Chandra, R. (2024). Remote sensing framework for geological mapping via stacked autoencoders and clustering. Advances in Space Research, 74(10), 4502–4516. https://doi.org/10.1016/j.asr.2024.09.013
Osco, L. P., de Lemos, E. L., Gonçalves, W. N., Ramos, A. P. M., & Junior, J. M. (2023). The Potential of Visual ChatGPT For Remote Sensing. arXiv preprint. https://doi.org/10.48550/arXiv.2304.13009
Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., Sastry, G., Askell, A., Mishkin, P., Clark, J., Krueger, G., & Sutskever, I. (2021). Learning Transferable Visual Models from Natural Language Supervision. arXiv preprint. https://doi.org/10.48550/arXiv.2103.00020
Duan, X., Huang, X., & Zhang, L. (2015). Unsupervised Global Urban Area Mapping via Automatic Labeling from ASTER and PALSAR Satellite Images. Remote Sensing, 7(2), 2171–2192. https://doi.org/10.3390/rs70202171
