Підхід до виявлення аномалій в потоках тектових даних
DOI:
https://doi.org/10.34185/1562-9945-2-127-2020-10Ключові слова:
аномалія, реферація тексту, семантичний аналізАнотація
Збільшення потоків інформації веде за собою необхідність розробки спеціалізованих інтелектуальних засобів та методів для обробки величезної кількості даних. Так популярність соціальних мереж, різного роду месенджерів вимагає створення спеціалізованих засобів для обробки потоку текстових повідомлень. Дане дослідження присвячене дослідженню та розробці методу виявлення аномальних елементів в потоках текстових даних. Особлива увага присвячена підтримці україномовних текстів.
Посилання
Mehrotra K.G., Mohan C.K., & Huang, H. (2017). Anomaly detection principles and algorithms (p. 217). New York, NY, USA:: Springer International Publishing.
Afanasieva O.Ie. Vyiavlennia anomalii v potokakh tekstovykh danykh / Afanasieva O.Ie., Oliinyk Yu.O. // Vseukrainska naukovo-praktychna konferentsiia molodykh vchenykh ta studentiv «Informatsiini systemy ta tekhnolohii upravlinnia – ISTU-2019». Sektsiia kafedry avtomatyzovanykh system obrobky informatsii i upravlinnia. m. Kyiv: NTUU «KPI im. Ihoria Sikorskoho», 26 lystopada 2019 r,– S. 88-92
Liu, F. T., Ting, K. M., & Zhou, Z. H. (2008, December). Isolation forest. In 2008 Eighth IEEE International Conference on Data Mining (pp. 413-422). IEEE.
Ding, Z., & Fei, M. (2013). An anomaly detection approach based on isolation forest algorithm for streaming data using sliding window. IFAC Proceedings Volumes, 46(20), 12-17.
WordNet - A Lexical Database for English [Electronic Resource] – Mode of access: World Wide Web: wordnet.princeton.edu - - Title from the screen
Yu. Oliynik. Review and analysis of algorithms TEXT MINING / O. Gavrilenko, Yu. Oliynik, H. Hanko. // Project management, systems analysis and logistics. – K .: NTU, 2017. - Vol., pp32-41
pymorphy2 – Mode of access: World Wide Web: https://pymorphy2.readthedocs.io/ – Title from the screen
Open Corpora [Electronic Resource] – Mode of access: World Wide Web: http://opencorpora.org/ (viewed on September 20, 2019). – Title from the screen.
MIT Information Extraction [Electronic Resource] – Mode of access: World Wide Web: https://github.com/mit-nlp/MITIE/ - Title from the screen
Dlib toolkit [Electronic Resource] – Mode of access: World Wide Web: http://dlib.net/ - Title from the screen
BEDUL Dictionary- Mode of access: World Wide Web: https://github.com/brown-uk/dict_uk Title from the screen
Arshakian H.D. Ohliad pidkhodiv ta metodiv avtomatychnoho referuvannia tekstu / Arshakian H.D. Oliinyk Yu.O. // Vseukrainska naukovo-praktychna konferentsiia molodykh vchenykh ta studentiv «Informatsiini systemy ta tekhnolohii upravlinnia – ISTU-2018». Sektsiia kafedry avtomatyzovanykh system obrobky informatsii i upravlinnia. m. Kyiv: NTUU «KPI im. Ihoria Sikorskoho», 26 lystopada 2019 r,– S. 194-198
Dataset for data analysing Mode of access: World Wide Web: https://drive.google.com/open?id=1-aImiiTqKJfIWxmifnI4GZSMbVzfnfvi - Title from the screen
Tomashevskii, V. M., Oliynik, Y. O., Yaskov, V. V., Romanchuk, V. M. (2018). Realtime text stream anomalies analysis system. Вісник Херсонського національного технічного університету, (3 (1)), 361-365.
