guuvestВестник университетаVestnik Universiteta1816-42772686-8415State University of Management10.26425/1816-4277-2024-4-61-72guuvest-5224Research ArticleСТРАТЕГИИ И ИННОВАЦИИSTRATEGIES AND INNOVATIONSМетоды машинного обучения (токенизация) в маркетинговых исследованияхMachine learning methods (tokenization) in marketing researchhttps://orcid.org/0000-0003-0669-8318ГанебныхЕ. В.GanebnykhE. V.

Ганебных Елена Викторовна, Канд. экон. наук, доц. каф. менеджмента и маркетинга 

г. Киров

Elena V. Ganebnykh, Cand. Sci. (Econ.), Assoc. Prof. at the Management and Marketing Department 

Kirov

ganebnykh@mail.ruhttps://orcid.org/0000-0002-9497-6172СавельеваН. К.SavelievaN. K.

Савельева Надежда Константиновна, Д-р экон. наук, дир. Института экономики и менеджмента 

г. Киров

Nadezhda K. Savelieva, Dr. Sci. (Econ.), Director of the Institute of Economics and Marketing 

Kirov

nk_savelyeva@vyatsu.ruhttps://orcid.org/0000-0001-5876-2823СозиноваА. А.SozinovaA. A.

Созинова Анастасия Андреевна, Д-р экон. наук, проф. каф. менеджмента и маркетинга 

г. Киров

Anastasia A. Sozinova, Dr. Sci. (Econ.), Prof. at the Management and Marketing Department 

Kirov

aa_sozinova@vyatsu.ruhttps://orcid.org/0000-0002-6697-3353ФокинаО. В.FokinaO. V.

Фокина Ольга Васильевна, Канд. экон. наук, зав. каф. менеджмента и маркетинга 

г. Киров

Olga V. Fokina, Cand. Sci. (Econ.), Head of the Management and Marketing Department 

Kirov

fokina@vyatsu.ruhttps://orcid.org/0000-0002-2204-1757АлцыбееваИ. Г.AltsybeevaI. G.

Алцыбеева Ирина Георгиевна, Канд. экон. наук, доц. каф. менеджмента и маркетинга 

г. Киров

Irina G. Altsybeeva, Cand. Sci. (Econ.), Assoc. Prof. at the Management and Marketing Department 

Kirov

irinaal81@yandex.ruВятский государственный университетРоссияVyatka State UniversityRussian Federation202417062024046172Copyright © Ганебных Е.В., Савельева Н.К., Созинова А.А., Фокина О.В., Алцыбеева И.Г., 20242024Ганебных Е.В., Савельева Н.К., Созинова А.А., Фокина О.В., Алцыбеева И.Г.Ganebnykh E.V., Savelieva N.K., Sozinova A.A., Fokina O.V., Altsybeeva I.G.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://vestnik.guu.ru/jour/article/view/5224

Полевые исследования представляют особый интерес в маркетинге, так как часто формируют уникальную статистику. Закрытые вопросы в ходе сбора информации упрощают обработку данных, но одновременно значительно ограничивают глубину изучения вопроса. Открытые вопросы позволяют дать более глубокое понимание мнений респондентов, однако обработка ответов в форме естественного языка (качественных данных) сложна и трудоемка, поскольку происходит обычно вручную. Современные методы машинного обучения, в частности токенизация, могут быть использованы для автоматизации обработки таких данных. Целью настоящего исследования является апробация применения указанного метода к обработке данных полевого исследования «Мониторинг состояния и развития конкуренции на товарных рынках Новосибирской области». Поставлены и решены следующие задачи: собрана и подготовлена для обработки первичная информация, выделены и сформированы группы токенов, на основании которых далее ответы респондентов были объединены в относительно однородные кластеры, включающие схожие ответы на открытые вопросы. Последующая проверка качества проведенного исследования проводилась на основании метрик точности (Precision), полноты (Recall) и F-меры, которые показали приемлемый уровень качества обработки данных. Сбор информации реализован через социологические опросы (раздачу опросных листов) и CAWIопросы и включал открытые вопросы. В результате исследования выявлено, что даже крайне незначительные упоминания не были упущены. Полученные данные позволили сделать вывод о необходимости формирования аннотированных баз данных и библиотек токенов для целей маркетинговых исследований.

Field research is of particular interest in marketing because it often generates unique statistics. Closed-ended questions during data collection simplify data processing, but at the same time significantly limit the research subject depth. Open-ended questions provide a deeper understanding of respondents’ opinions, but processing responses in the form of natural language (qualitative data) is difficult and time-consuming, as it is usually done manually. Modern machine learning techniques, particularly tokenization, can be used to automate such data processing. The purpose of the study is to test this method application to data processing of the field research “Monitoring of the competition state and development in the commodity markets of the Novosibirsk Region”. The following tasks have been set and solved: primary information has been collected and prepared for processing, and token groups identified and formed. Based on the groups, the respondents’ answers have been further combined into relatively homogeneous clusters including similar answers to open-ended questions. Subsequent quality control of the conducted research has been carried out on the basis of Precision, Recall and F-measure metrics, which showed an acceptable level of data processing quality. Information collection has been realized through sociological surveys (questionnaire distribution) and CAWI surveys and included open-ended questions. The study reveals that even extremely insignificant references were not missed. The obtained data allowed us to conclude that it is necessary to form annotated databases and token libraries for the marketing research purposes.

Машинное обучениетокентокенизацияполевое исследованиеоткрытые вопросыкачественные данныеобработка данныхестественный языкMachine learningtokentokenizationfield researchopen-ended questionqualitative datadata processingnatural languageReferencesАндреев А.В. Искусственный интеллект и его роль в обработке больших данных. Умная цифровая экономика. 2023;1(3):65–69.Andreev А.V. Artificial intelligence and its role in big data processing. Smart Digital Economy. 2023;1(3):65–69. (In Russian).Sarker I.H. Machine Learning: Algorithms, Real-World Applications and Research Directions. SN Computer Science. 2021;2:160.Sarker I.H. Machine Learning: Algorithms, Real-World Applications and Research Directions. SN Computer Science. 2021;2:160.Шлыков С.В. Применение методов машинного обучения для автоматизации процессов в нефтегазовой отрасли. Транспорт и хранение нефтепродуктов. 2023;2:46–53. https://doi.org/10.24412/0131-4270-2023-2-46-53Shlykov S.V. Application of machine learning methods to automate processes in the oil and gas industry. Transport and storage of oil products and hydrocarbons. 2023;2:46–53. (In Russian). https://doi.org/10.24412/0131-4270-2023-2-46-53Бобков С.П., Суворов С.В., Орлов А.И., Пивнев Е.А. Использование методов машинного обучения для оценки рисков при внедрении нового кредитного продукта. Известия ВУЗов. Серия «Экономика, финансы и управление производством». 2020;4(46):59–63. https://doi.org/10.6060/ivecofin.2020464.509Bobkov S.P., Suvorov S.V., Orlov A.I., Pivnev E.A. Using machine learning methods to assess risks when implementing a new credit product. News of Higher Educational Institutions. The Series “Economics, Finance and Production Management”. 2020;4(46):59–63. (In Russian). https://doi.org/10.6060/ivecofin.2020464.509Осипова Т.А., Зайцев К.С., Биферт В.О. Применение алгоритмов машинного обучения к задаче выявления мошенничества при использовании пластиковых карт. International Journal of Open Information Technologies. 2021;8:23–29.Osipova Т.А., Zaytsev K.S., Bifert V.O. The use of ML algorithms in the task of detecting fraud when using plastic cards. International Journal of Open Information Technologies. 2021;8:23–29. (In Russian).Ходашинский И.А., Сарин К.С., Бардамова М.Б., Светлаков М.О., Слезкин А.О., Корышев Н.П. Биометрические данные и методы машинного обучения в диагностике и мониторинге нейродегенеративных заболеваний: обзор. Computer Optics. 2022;6(46):988–1020. https://doi.org/10.18287/2412-6179-CO-1134Khodashinskyi I.А., Sarin K.S., Bardamova M.B., Svetlakov M.O., Slezkin A.O., Koryshev N.P. Biometric data and machine learning methods in the diagnosis and monitoring of neurodegenerative diseases: a review. Computer Optics. 2022;6(46):988–1020. (In Russian). https://doi.org/10.18287/2412-6179-CO-1134Tautan A., Ionescu B., Santarnecchi E. Artificial intelligence in neurodegenerative diseases: A review of available tools with a focus on machine learning techniques. Artificial Intelligence in Medicine. 2021;117:102081. https://doi.org/10.1016/j.artmed.2021.102081Tautan A., Ionescu B., Santarnecchi E. Artificial intelligence in neurodegenerative diseases: A review of available tools with a focus on machine learning techniques. Artificial Intelligence in Medicine. 2021;117:102081. https://doi.org/10.1016/j.artmed.2021.102081Chaudhary K., Alam M., Al-Rakhami M.S. et al. Machine learning-based mathematical modelling for prediction of social media consumer behavior using big data analytics. Journal of Big Data. 2021;1(8):73. https://journalofbigdata.springeropen.com/articles/10.1186/s40537-021-00466-2Chaudhary K., Alam M., Al-Rakhami M.S. et al. Machine learning-based mathematical modelling for prediction of social media consumer behavior using big data analytics. Journal of Big Data. 2021;1(8):73. https://journalofbigdata.springeropen.com/articles/10.1186/s40537-021-00466-2Amrit C., van Hillenberg C., van der Spoel S. Predictive Analytics for Truck Arrival Time Estimation: AField Study at a European Distribution Center. International Journal of Production Research. 2016;55(17):1–21. http://dx.doi.org/10.1080/00207543.2015.1064183Amrit C., van Hillenberg C., van der Spoel S. Predictive Analytics for Truck Arrival Time Estimation: AField Study at a European Distribution Center. International Journal of Production Research. 2016;55(17):1–21. http://dx.doi.org/10.1080/00207543.2015.1064183Logemann J., Gross G., Köhler I. Consumer Engineering, 1920s–1970s: Marketing between Expert Planning and Consumer Responsiveness. London: Palgrave Macmillan; 2019. 296 p. http://dx.doi.org/10.1007/978-3-030-14564-4Logemann J., Gross G., Köhler I. Consumer Engineering, 1920s–1970s: Marketing between Expert Planning and Consumer Responsiveness. London: Palgrave Macmillan; 2019. 296 p. http://dx.doi.org/10.1007/978-3-030-14564-4Положихина М.А. Маркетинг и общество потребления: Рецензия на коллективную монографию «Consumer Engineering, 1920s–1970s: Marketing between Expert Planning and Consumer Responsiveness» / ed. By J. Logemann, G. Cross, I. Köhler. – London: Palgrave Macmillan, 2019. – 296 p. Социальные новации и социальные науки. 2021;3:133–155. https://doi.org/10.31249/snsn/2021.03.08Polozhikhina М.А. Marketing and consumer society: a review of a collective monograph “Consumer Engineering, 1920s–1970s: Marketing between Expert Planning and Consumer Responsiveness”. Social Novelties and Social Sciences. 2021;3:133–155. (In Russian). https://doi.org/10.31249/snsn/2021.03.08Шкурин Д.В. Сравнительная оценка качества данных офлайн- и онлайн-опросов. Дискуссия. 2015;8(60):101–104.Shkurin D.V. Comparative evaluation of data quality of online and offline surveys. Discussion. 2015;8(60):101–104. (In Russian).Subramaniyaswamy V., Harshaa S., Padma J.M., Prabhalammbeka B.S. Sentiment analysis string token classification algorithm. International Journal of Pure and Applied mathematics. 2018;12(119):13287–13294.Subramaniyaswamy V., Harshaa S., Padma J.M., Prabhalammbeka B.S. Sentiment analysis string token classification algorithm. International Journal of Pure and Applied mathematics. 2018;12(119):13287–13294.Денисова О.Ю., Мухутдинова Э.А. Большие данные – это не только размер данных. Вестник Казанского технологического университета. 2015;4(18):226–230.Denisova О.Yu., Muhutdinova E.A. Big data is not just about the size of the data. Herald of Technological University. 2015;4(18):226–230. (In Russian).Friedman R. Tokenization in the Theory of Knowledge. Encyclopedia. 2023;1(3):380–386. http://dx.doi.org/10.3390/encyclopedia3010024Friedman R. Tokenization in the Theory of Knowledge. Encyclopedia. 2023;1(3):380–386. http://dx.doi.org/10.3390/encyclopedia3010024

The authors declare that there are no conflicts of interest present.