Модель автоматической оценки адекватности запросно-ответных компьютерных систем с использованием генерации текстов
DOI:
https://doi.org/10.34185/1562-9945-4-129-2020-06Ключові слова:
система запит-відповідь, IR-based архітектура, генерація текстів, критерії оцінюванняАнотація
У статті розглянуто питання оцінки результатів роботи систем запит-відповідь з використанням IR-based архітектури, а саме системи з використанням генерації текстів, яка була розроблена на основі алгоритму побудови семантичної моделі документа. Оскільки створені алгоритми є інноваційними, розробка методів автоматичного тестування адекватності системи, побудованої на їх основі, є дуже актуальною темою для досліджень. Було сформульовано два методи досліджень результатів роботи системи - на основі бального методу, для якого були описані критерії оцінювання отриманих відповідей, і алгоритм на основі значення коефіцієнта семантичної відповідності, який дозволив організувати автоматичне оцінювання результатів роботи системи. Отримані оцінки дозволяють стверджувати про адекватність як розробленої моделі системи запит-відповідь на основі генерації текстів, так і про адекватність створеної підсистеми оцінювання IR-based систем.
Посилання
P. Gupta. A Survey of Text Question Answering Techniques // International Journal of Computer Applications – 2012. № 53(4) - p. 1-8.
O.S. Volkovsky, Y. R. Kovylin. Computer system of intellectual semantic search with the text generation using// Bulletin of the Kherson National University - 2018. №3 (66). -p. 238-245.
A.S. Kuleshov. Formation of a question-answer system in a limited volume of a semantically labeled case // Software products, systems and algorithms. No. 4, 2016.
