Применение алгоритма нечеткой логики Мамдани для оценки качества моделей искусственного интеллекта на основе имеющихся данных
Ключевые слова:
искусственный интеллект, качество данных, методы нечеткой логики, алгоритм Мамдани, критерии оценки качества данныхАннотация
В статье рассмотрена актуальная проблема трудоемкости и высокой стоимости разработки систем или моделей искусственного интеллекта в связи с низким качеством используемых данных. Изучены виды и направления корреляционной связи между различными метриками качества данных и точности работы итоговой модели искусственного интеллекта. Отмечено, что в современном мире наблюдается проникновение искусственного интеллекта практически во все области человеческой деятельности: здравоохранение, агропродовольственная сфера, промышленность, творческие направления. Обоснована актуальность поставленной проблемы и проведен краткий обзор современных исследований, связанных с изучением взаимокорреляции качества данных и точности искусственного интеллекта. Указано, что плохие данные приводят к значительным финансовым потерям, повышают трудоемкость разработки систем или моделей искусственного интеллекта. На основе проведенных исследований в различных областях применения искусственного интеллекта выделены пять характеристик больших данных, влияющих на точность разрабатываемого продукта: несогласованность, неполнота, недействительность, зашумленность, размер выборки. Для определения искомых зависимостей выбран алгоритм нечеткой логики Мамдани. Критерии оценки качества данных преобразованы в термы с нечеткими треугольными числами и сформированы правила нечеткого вывода. Построены графики зависимостей и сделаны выводы о наиболее важных критериях качества данных. Высокая зашумленность или несогласованность данных допустима лишь в небольших количествах, но точность моделей резко падает при усилении этих характеристик, неполнота или недействительность менее критично влияют на качество моделей, увеличение размера выборки имеет значимое влияние либо при высокой сложности модели, либо при относительно небольшой исходной выборке.
Библиографические ссылки
Purdy M., Daugherty P. How AI Boosts Industry Profits and Innovation. Dublin : Accenture Institute for High Per-formance, 2017. 28 p.
Overview of artificial intelligence in medicine / P. Amisha, M. Malik, Pathania et al. // Journal of Family Medicine and Primary Care. 2019. № 8 (7). Р. 2328–2331. DOI 10.4103/jfmpc.jfmpc_440_19.
Baruchelli P., Botto F., Cimatti A. Overview on maturity of AI innovations in manufacturing. URL: https://eit.europa.eu/sites/default/files/overview_on_maturity_of_ai_innovations_in_manufacturing_20529-d11.pdf (Аccess date 21.10.2022).
Mhlanga D. Artificial Intelligence in the Industry 4.0, and Its Impact on Poverty, Innovation, Infrastructure Devel-opment, and the Sustainable Development Goals: Lessons from Emerging Economies? URL: https://www.mdpi.com/2071-1050/13/11/5788 (Аccess date 21.10.2022).
Mingyong C. The Creativity of Artificial Intelligence in Art // Proceedings of the 2021 Summit of the International Society for the Study of Information. Sendai, Los Angeles, 2021. Vol. 81, Iss. 1. URL: https://www.mdpi.com/2504-3900/81/1/110 (Аccess date 21.10.2022).
Mun J., Housel T.J., Jones R.D. Acquiring artificial intelligence systems: Development challenges, implementation risks, and cost/benefits opportunities. URL: https://www.researchgate.net/publication/351703250_Acquiring_Artificial_Intelligence_ Sys-tems_Development_Challenges_Implementation_Risks_and_CostBenefits_Opportunities (Аccess date 21.10.2022).
Everyone wants to work with a model, not with data: data cascades in high-stakes AI / N. Sambasivan, S. Kapania, H. Highfill et al. // Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems. Yokohama, 2021. URL: https://dl.acm.org/doi/pdf/10.1145/3411764.3445518 (Аccess date 21.10.2022).
Shafei S. Data quality for everyday analysis // Towards Data Science, 2020. URL: https://towardsdatascience.com/data-quality-for-everyday-analysis-d3aa1442c31 (access date 21.10.2022).
Assessing the impact of expert labelling of training data on the quality of automatic classification of lithological groups using artificial neural networks / Y. Kuchin, R.I. Mukhamediev, K. Yakunin et al. // Applied Computer Systems. 2020. Vol. 25. № 2. Р. 145–152.
Azimi S., Pahl C. The Impact of Data Completeness and Correctness on Explainable Machine Learning Models // Journal of Data Intelligence. 2022. Vol. 3. № 2. Р. 218–231.
Deep learning with noisy labels: Exploring techniques and remedies in medical image analysis / D. Karimi, H. Dou, S.K. Warfield et al. // Medical Image Analysis. 2020. Vol. 65. № 5. Р. 101759. DOI: 10.1016/j.media.2020.101759.
The influence of training sample size on the accuracy of deep learning models for the prediction of soil properties with near-infrared spectroscopy data / Ng Wartini, B. Minasny, W. de S. Mendes et al. // Soil. 2020. Vol. 6, № 2. Р. 565–578.
Болодурина И.П., Дусакаева С.Т. Введение в теорию нечетких множеств и систем. Оренбург : ОГУ, 2021. 172 с.
Киселев В.Ю., Калугина Т.Ф. Теория нечетких множеств и нечеткая логика. Задачи и упражнения. Иваново : ИГЭУ, 2019. 72 с.
Тихомирова А.Н., Клейменова М.Г. Нечеткие модели дискретной математики. М. : НИЯУ МИФИ, 2011. 108 с.
Хижняков Ю.Н. Алгоритмы нечеткого, нейронного и нейро-нечеткого управления в системах реального време-ни. Пермь : ПНИПУ, 2013. 156 с.
Хижняков Ю.Н. Нечеткое, нейронное и гибридное управление. Пермь : ПНИПУ, 2013. 303 с.
Бахусова Е.А. Элементы теории нечетких множеств. Тольятти : ТГУ, 2013. 116 с.
Зак Ю.А. Принятие решений в условиях нечетких и размытых данных: Fuzzy-Технологии. М. : Либроком, 2013. 352 с.
Frank H. Fuzzy Methoden in der Wirtschaftsmathematik. Braunschweig. Wiesbaden : Vieweg & Sohn Verlag, 2002. 242 p.
Friedrich A. Logik und Fuzzy-Logik. Stuttgart : Expert Verlag, 2006. 319 p.
Тэрано Т., Асаи К., Сугэно М. Прикладные нечеткие системы. М. : Мир, 1993. 368 с.
