Використання генеративного штучного інтелекту в тестуванні програмного забезпечення

Автор(и)

  • Hnatushenko V.V.
  • Pavlenko I.V.

DOI:

https://doi.org/10.34185/1562-9945-2-151-2024-10

Ключові слова:

генеративний ШІ, GenAI, тестування програмного забезпечення, велика мовна модель, автоматизація тестування, AI-доповнене тестування, AI-асистент, автономне створення тестів

Анотація

У роботі досліджується потенціал використання генеративного штучного інтелекту (GenAI) на основі великих мовних моделей (LLM) з трансформерами для покращення різних аспектів тестування програмного забезпечення. Акцент ро-биться на можливих практичних застосуваннях і проблемах, що виникають у цих нових підходах. Визначено проблеми тестування і потенціал генеративного ШІ для можливого їх вирішення або зниження їх впливу на ведення проектів програм-них систем. Хоча генеративний ШІ на даному етапу розвитку не є повною замі-ною тестувальникам-людям, він пропонує значні перспективи як потужний допо-міжний інструмент, який може трансформувати практики тестування. Очіку-ваними перевагами є "самовиліковні" тести, які адаптуються до змін коду; гене-рація тестів у фоновому режимі; можливість генерувати тести з різних джерел (моделей, описів природною мовою, неофіційної документації), і в решті-решт – підвищення продуктивності праці тестувальників. Зазначено виклики викорис-тання генеративного ШІ на великих мовних моделях з трансформерами.

Посилання

Fan Angela, Gokkaya Beliz, Harman Mark, Lyubarskiy Mitya, Sengupta Shubho, Yoo Shin, Zhang Jie M. Large Language Models for Software Engineering: Survey and Open Problems // arXiv. 2023. DOI: https://doi.org/10.48550/arXiv.2310.03533.

Wang Junjie, Huang Yuchao, Chen Chunyang, Liu Zhe, Wang Song, Wang Qing. Software Testing with Large Language Model: Survey, Landscape, and Vision // arXiv. 2023. DOI: https://doi.org/10.48550/arXiv.2307.07221.

Nguyen-Duc Anh, Cabrero-Daniel Beatriz et al. Generative Artificial Intelligence for Software Engineering ¬– A Research Agenda // arXiv. 2023. DOI: https://doi.org/10.48550/arXiv.2310.18648.

Feldt Robert, Kang Sungmin, Yoon Juyeon, Yoo Shin. Towards Autonomous Test-ing Agents via Conversational Large Language Models // arXiv. 2023. DOI: https://doi.org/10.48550/arXiv.2306.05152.

Keen M. How Large Language Models Work // IBM Technology. 2023. URL: https://www.youtube.com/watch?v=5sLYAQS9sWQ.

Keen M. Why Large Language Models Hallucinate // IBM Technology. 2023. URL: https://www.youtube.com/watch?v=cfqtFvWOfg0.

Pythagora project Github repository // Pythagora. 2023. URL: https://github.com/Pythagora-io/pythagora.

TestCraftApp project Github repository // TestCraft. 2023. URL: https://github.com/TestCraft-App/test-craft-api-v1.

Ng Andrew. The Near Future of AI // Stanford eCorner. 2023. URL: https://www.youtube.com/watch?v=KDBq0GqKpqA.

Kirilenko Igor, Jakubiak Nathan. Pros & Cons of Generative AI in Software Test-ing // Parasoft. 2023. URL: https://www.youtube.com/watch?v=57HTehOnll0.

Kirilenko Igor, Jakubiak Nathan. Use AI to Achieve Continuous Software Quality // Parasoft. 2023. URL: https://www.youtube.com/watch?v=mUPL7qJFtKA.

Kirilenko Igor, Jakubiak Nathan. Generative AI: the future of testing? - Test Smarter, Not Harder Event // Magnifai. 2023.

URL: https://www.youtube.com/watch?v=9Hfb4nW4uSg.

Liu H., Liu L., Yue C., Wang Y., Deng B. Autotestgpt: A system for the automated generation of software test cases based on chatgpt. 2023.

URL: https://ssrn.com/abstract=4584792.

Yuan Z., Lou Y., Liu M., Ding S., Wang K., Chen Y., Peng X. No More Manual Tests? Evaluating and Improving ChatGPT for Unit Test Generation. 2023 // arXiv. DOI: https://doi.org/10.48550/arXiv.2305.04207.

Ma W., Liu S., Wang W., Hu Q., Liu Y., Zhang C., Nie L., Liu Y. The scope of chatgpt in software engineering: A thorough investigation. 2023 // arXiv preprint arXiv:2305.12138.

Haas R., Elsner D., Juergens E., Pretschner A., Apel S. How can manual testing processes be optimized? developer survey, optimization guidelines, and case studies // 29th ACM Joint Meeting on European Software Engineering Conference and Sym-posium on the Foundations of Software Engineering, ser. ESEC/FSE 2021, Athens, Greece: Association for Computing Machinery, 2021, P. 1281–1291.

Завантаження

Опубліковано

2024-04-17