Графоаналітичні методи обробки «великих даних» на основі аналізу властивостей їх структурної організації
DOI:
https://doi.org/10.34185/1562-9945-3-122-2019-10Ключові слова:
big data, data structure, ordered set of arbitrary cardinality, m-tuples, Boolean graph, minimization of time and computing resourcesАнотація
У статті розглянуто питання створення математичних методів оптимізації тимчасових та обчислювальних ресурсів при обробці «великих даних». Один з напрямків для вирішення даної проблеми є створення NoSQL систем, перевагою яких є гнучкість моделей даних, можливості горизонтального масштабування та паралельної обробки, швидкість отримання результатів. З точки зору методів аналізу «великих даних» подальший розвиток отримали машинне навчання, штучний інтелект, розподілена обробка потоків і подій, візуальні методи дослідження даних.
Метою дослідження є розробка математичних методів обробки «великих даних» на основі системного аналізу властивостей структури організації даних типу «m-арні кортежі на основі впорядкованих множин довільної потужності».
СОД типу «m-арні кортежі на основі ВМДП» ‒ булеан, упорядкований за правобічним перебором елементів базової множини потужності n від нижньої межі можливої зміни значення індексу для кожного елемента кортежу до верхньої межі. Сформульовано деякі властивості досліджуваної СОД, які є наслідком логічних правил формування даної структури. Описано засновані на цих властивостях математичні методи. Графи булеана проілюстровані рисунками. Окреслені вершини графа відповідають задекларованим властивостям СОД. Для визначення цих елементів булеана виведені аналітичні залежності. Для цих елементів булеана не потрібно виконання алгоритмів, що реалізують досліджувані операції перетину, об'єднання та належності операндів, тому що шуканий результат визначений у самій властивості СОД.
Розглянуті в статті властивості СОД типу «m-арні кортежі на основі ВМДП» дозволяють визначати деякі взаємозалежності між m-арними кортежами за їх розташуванням у структурі, що визначається парою індексів (j, m), без виконання обчислювальних алгоритмів. При цьому оцінка часу отримання результатів змінюється з кубічної на O(n3) на лінійну O(n).
Посилання
Min Chen. Big Data. Related Technologies, Challenges, and Future Prospects. / Min Chen, Shiwen Mao, Yin Zhang, Victor C.M. Leung // Springer. – 2014. – 100 pp.
Petrova S. Ju. The Problem of Navigation in Big Data. / S. Ju. Petrova // Experimental and Theoretical Studies in Modern Science: Proceedings of the IIIrd International Scientific Conference, Novosibirsk: SibAK. – 2017. – P. 5-8. (in Russian).
Soloviov S. Ju. Mathematical Methods and Principles of Building Automated Knowledge Engineering Systems. / S. Ju. Soloviov // Dissertation of Doctor of Technical Sciences. – 1996. – 272 pp. (in Russian).
Totsenko V.G. Expert Diagnostic System by Unstructured Features / V.G. Totsenko, E.A. Petrova, A.A. Chernyavskaya // Registration, Storage and Data Processing. – 2005. – Issue 7(2) . –P. 94-103. (in Russian).
MacGregor J. Monitoring, Fault Diagnosis, Fault-Tolerant Control and Optimization. / J. MacGregor, A. Cinar // Data Driven Methods. Computers & Chemical Engineering. – 2012. – Issue 47. – P. 111-120.
Syrotkina O. The Application of Specialized Data Structures for SCADA Diagnostics / O. Syrotkina // System Technologies. Regional Interuniversity Collection of Scientific Papers, Dnipropetrovsk – 2015. – Issue 4. – P. 72-81.
Syrotkina O. Evaluation to Determine the Efficiency for the Diagnosis Search Formation Method of Failures in Automated Systems / O. Syrotkina, M. Alekseyev, O. Aleksieiev // Eastern-European Journal of Enterprise Technologies. – 2017. – Vol. 4, Issue 9 (88). – P. 59-68.
Syrotkina O. Methods of Minimizing Computing Resources when Processing “Big Data”. / O. Syrotkina , I. Udovyk , M. Alekseyev. // Fifth International Conference "High Performance Computing" HPC-UA 2018 (Ukraine, Kyiv, October 22-23, 2018). P. 151 – 157.
