Методы машинного обучения (токенизация) в маркетинговых исследованиях

Полевые исследования представляют особый интерес в маркетинге, так как часто формируют уникальную статистику. Закрытые вопросы в ходе сбора информации упрощают обработку данных, но одновременно значительно ограничивают глубину изучения вопроса. Открытые вопросы позволяют дать более глубокое понимание мнений респондентов, однако обработка ответов в форме естественного языка (качественных данных) сложна и трудоемка, поскольку происходит обычно вручную. Современные методы машинного обучения, в частности токенизация, могут быть использованы для автоматизации обработки таких данных. Целью настоящего исследования является апробация применения указанного метода к обработке данных полевого исследования «Мониторинг состояния и развития конкуренции на товарных рынках Новосибирской области». Поставлены и решены следующие задачи: собрана и подготовлена для обработки первичная информация, выделены и сформированы группы токенов, на основании которых далее ответы респондентов были объединены в относительно однородные кластеры, включающие схожие ответы на открытые вопросы. Последующая проверка качества проведенного исследования проводилась на основании метрик точности (Precision), полноты (Recall) и F-меры, которые показали приемлемый уровень качества обработки данных. Сбор информации реализован через социологические опросы (раздачу опросных листов) и CAWIопросы и включал открытые вопросы. В результате исследования выявлено, что даже крайне незначительные упоминания не были упущены. Полученные данные позволили сделать вывод о необходимости формирования аннотированных баз данных и библиотек токенов для целей маркетинговых исследований.

1. Андреев А.В. Искусственный интеллект и его роль в обработке больших данных. Умная цифровая экономика. 2023;1(3):65–69.

2. Sarker I.H. Machine Learning: Algorithms, Real-World Applications and Research Directions. SN Computer Science. 2021;2:160.

3. Шлыков С.В. Применение методов машинного обучения для автоматизации процессов в нефтегазовой отрасли. Транспорт и хранение нефтепродуктов. 2023;2:46–53. https://doi.org/10.24412/0131-4270-2023-2-46-53

4. Бобков С.П., Суворов С.В., Орлов А.И., Пивнев Е.А. Использование методов машинного обучения для оценки рисков при внедрении нового кредитного продукта. Известия ВУЗов. Серия «Экономика, финансы и управление производством». 2020;4(46):59–63. https://doi.org/10.6060/ivecofin.2020464.509

5. Осипова Т.А., Зайцев К.С., Биферт В.О. Применение алгоритмов машинного обучения к задаче выявления мошенничества при использовании пластиковых карт. International Journal of Open Information Technologies. 2021;8:23–29.

6. Ходашинский И.А., Сарин К.С., Бардамова М.Б., Светлаков М.О., Слезкин А.О., Корышев Н.П. Биометрические данные и методы машинного обучения в диагностике и мониторинге нейродегенеративных заболеваний: обзор. Computer Optics. 2022;6(46):988–1020. https://doi.org/10.18287/2412-6179-CO-1134

7. Tautan A., Ionescu B., Santarnecchi E. Artificial intelligence in neurodegenerative diseases: A review of available tools with a focus on machine learning techniques. Artificial Intelligence in Medicine. 2021;117:102081. https://doi.org/10.1016/j.artmed.2021.102081

8. Chaudhary K., Alam M., Al-Rakhami M.S. et al. Machine learning-based mathematical modelling for prediction of social media consumer behavior using big data analytics. Journal of Big Data. 2021;1(8):73. https://journalofbigdata.springeropen.com/articles/10.1186/s40537-021-00466-2

9. Amrit C., van Hillenberg C., van der Spoel S. Predictive Analytics for Truck Arrival Time Estimation: AField Study at a European Distribution Center. International Journal of Production Research. 2016;55(17):1–21. http://dx.doi.org/10.1080/00207543.2015.1064183

10. Logemann J., Gross G., Köhler I. Consumer Engineering, 1920s–1970s: Marketing between Expert Planning and Consumer Responsiveness. London: Palgrave Macmillan; 2019. 296 p. http://dx.doi.org/10.1007/978-3-030-14564-4

11. Положихина М.А. Маркетинг и общество потребления: Рецензия на коллективную монографию «Consumer Engineering, 1920s–1970s: Marketing between Expert Planning and Consumer Responsiveness» / ed. By J. Logemann, G. Cross, I. Köhler. – London: Palgrave Macmillan, 2019. – 296 p. Социальные новации и социальные науки. 2021;3:133–155. https://doi.org/10.31249/snsn/2021.03.08

12. Шкурин Д.В. Сравнительная оценка качества данных офлайн- и онлайн-опросов. Дискуссия. 2015;8(60):101–104.

13. Subramaniyaswamy V., Harshaa S., Padma J.M., Prabhalammbeka B.S. Sentiment analysis string token classification algorithm. International Journal of Pure and Applied mathematics. 2018;12(119):13287–13294.

14. Денисова О.Ю., Мухутдинова Э.А. Большие данные – это не только размер данных. Вестник Казанского технологического университета. 2015;4(18):226–230.

15. Friedman R. Tokenization in the Theory of Knowledge. Encyclopedia. 2023;1(3):380–386. http://dx.doi.org/10.3390/encyclopedia3010024