ОЦІНКА ВПЛИВУ ПОПЕРЕДНЬОЇ ФІЛЬТРАЦІЇ НА ЯКІСТЬ ВИБІРКИ В RAG-СИСТЕМАХ З ВЕКТОРНИМ ПОШУКОМ
DOI:
https://doi.org/10.34185/1991-7848.itmm.2026.01.035Ключові слова:
комп’ютерні системи, інформаційні технології, інтелектуальний аналіз даних, штучний інтелект, RAG, машинний експеримент, генеративні мовні моделіАнотація
В роботі проаналізовано сучасні підходи до оцінювання RAG‑систем, що поєднують векторний пошук і генерацію відповідей великими мовними моделями (LLM). Розглянуто класичні метрики якості вибірки та LLM‑орієнтовані метрики якості генерації, у тому числі в контексті фреймворків RAGAS, ARES, VERA та MIRAGE. Проведено машинний експеримент на базі Google Cloud Platform (GCP) Firestore колекції з векторним пошуком по датасету резюме ІТ‑фахівців, де порівнюються стандартний векторний пошук і пошук з попередньою фільтрацією за метаданими. Встановлено, що попередня фільтрація підвищує частку релевантних документів у контексті, зменшує затримку вибірки та дозволяє збільшувати розмір контексту без пропорційного погіршення якості генерації. Результати експерименту підтверджують залежність якості відповідей RAG‑систем від чистоти й релевантності контексту.
Посилання
Lewis P., Perez E., Piktus A., Petroni F., Karpukhin V., Goyal N., Küttler H., Lewis M., Yih W., Rocktäschel T., Riedel S., Kiela D. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. Advances in Neural Information Processing Systems. – 2020. Vol. 33. P. 9459-9474. DOI: 10.48550/arXiv.2005.11401
Es S., James J., Espinosa-Anke L., Steven S. RAGAS: Automated Evaluation of Retrieval Augmented Generation. Computer Science. Computation and Language. – 2023. DOI: 10.48550/arXiv.2309.15217
Saad-Falcon J., Khattab O., Potts C., Zaharia M. ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems. Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL). 2024. P. 3464-3483. DOI: 10.48550/arXiv.2311.09476
Yu Z., Gan Z., Zhang Y., Tong X., Liu H., Liu Q. Evaluation of Retrieval-Augmented Generation: A Survey. Computer Science. Computation and Language. – 2024. DOI: 10.48550/arXiv.2405.07437
