«АНАЛИЗ БОЛЬШИХ ДАННЫХ В ЭКОНОМИЧЕСКИХ ИССЛЕДОВАНИЯХ: МЕТОДЫ И РЕЗУЛЬТАТЫ»
Аннотация: в статье рассматривается применение анализа больших данных в экономических исследованиях. Обсуждаются различные методы и подходы к обработке и анализу больших объемов структурированных и неструктурированных данных, в том числе веб-скрейпинг, эконометрический анализ и машинное обучение. Приводятся примеры использования этих методов для изучения экономических процессов, оценки эффектов экономической политики и построения прогнозных моделей. Анализируются преимущества и ограничения применения больших данных в экономических исследованиях, а также потенциальные направления дальнейшего развития этой области. Делается вывод о том, что использование больших данных открывает новые возможности для экономической науки и практики, позволяя получать более точные и своевременные оценки экономических явлений и процессов. При этом подчеркивается необходимость развития методологии и инфраструктуры для работы с большими данными, а также обеспечения конфиденциальности и этичного использования информации.
Ключевые слова: большие данные, экономические исследования, методы анализа данных, эконометрика, машинное обучение, прогнозирование, экономическая политика, цифровизация.
"BIG DATA ANALYSIS IN ECONOMIC RESEARCH: METHODS AND RESULTS"
Abstract: The article discusses the application of big data analysis in economic research. Various methods and approaches to processing and analyzing large amounts of structured and unstructured data are discussed, including web scraping, econometric analysis and machine learning. Examples of the use of these methods for studying economic processes, assessing the effects of economic policy and building predictive models are given. The advantages and limitations of using big data in economic research are analyzed, as well as potential directions for further development of this area. It is concluded that the use of big data opens up new opportunities for economic science and practice, allowing for more accurate and timely assessments of economic phenomena and processes. At the same time, it emphasizes the need to develop a methodology and infrastructure for working with big data, as well as ensuring confidentiality and ethical use of information.
Keywords: big data, economic research, data analysis methods, econometrics, machine learning, forecasting, economic policy, digitalization.
Развитие технологий и накопление больших массивов данных открывают новые возможности для экономических исследований. Использование больших данных позволяет анализировать экономические процессы на качественно новом уровне, учитывая множество факторов и взаимосвязей [2, с. 43]. В данной работе представлен обзор значимых экономических исследований, использующих большие данные, анализ их результатов и обсуждение перспективных направлений дальнейших изысканий.
Значимые экономические исследования на основе больших данных охватывают различные сферы: от макроэкономики до поведения потребителей. Так, Д. Лабини с соавторами использовали данные о миллионах онлайн-цен для исследования динамики инфляции [6]. Результаты показали, что онлайн-индекс цен может служить опережающим индикатором официальной инфляции. Э. Гавацца с соавторами на основе данных о продажах автомобилей изучали эффективность вторичного рынка [7]. Исследование выявило, что развитие онлайн-платформ повышает ликвидность рынка и снижает транзакционные издержки. С. Атнур и С. Бейкер использовали данные Google Trends для прогнозирования продаж в ритейле [3]. Модель на основе поисковых запросов показала высокую точность краткосрочных прогнозов.
Полученные результаты демонстрируют ценность больших данных для развития экономической науки и практики. Использование альтернативных источников информации позволяет строить более точные и оперативные экономические индикаторы. Анализ микроданных дает возможность оценивать эффекты экономической политики на уровне отдельных рынков и групп потребителей. Большие данные помогают компаниям принимать обоснованные стратегические решения и повышать эффективность бизнес-процессов. В то же время, исследования на основе больших данных сталкиваются с рядом ограничений. Качество и репрезентативность данных не всегда соответствуют требованиям научного анализа, а также возникают вопросы конфиденциальности и этики использования персональной информации.
В экономических исследованиях применяются различные методы анализа больших данных, каждый из которых имеет свои преимущества и недостатки. В таблице ниже представлены основные методы, их описание, преимущества и ограничения.
Таблица 1 - Основные методы анализа больших данных в экономике
| Метод анализа больших данных | Описание | Преимущества | Недостатки |
| Машинное обучение и интеллектуальный анализ данных | Выявление закономерностей и построение предиктивных моделей на основе больших массивов данных. Пример: сегментация клиентской базы и персонализация предложений на основе анализа транзакций. | Способность обрабатывать неструктурированные данные | Качество моделей зависит от качества исходных данных, требуются затраты на вычислительные ресурсы |
| Сетевой анализ | Исследование взаимосвязей между экономическими агентами и выявление ключевых игроков на рынке. Пример: оптимизация логистики и управление рисками через анализ цепочек поставок. | Наглядное представление связей | Требует специальных навыков для интерпретации результатов |
| Текстовая аналитика | Извлечение информации из неструктурированных текстовых данных (новости, отзывы, социальные медиа). Пример: оценка репутации компаний и прогнозирование реакции рынка через анализ тональности. | Возможность работы с неструктурированными текстовыми данными | Необходимость предварительной обработки текстов и учета контекста |
| Анализ временных рядов | Моделирование и прогнозирование экономических показателей на основе исторических данных. Пример: оптимизация ценовой политики через анализ динамики цен и спроса. | Учет сезонности и трендов | Чувствительность к выбросам и структурным сдвигам |
Источник: составлено автором по [2, c.44]
Применение методов анализа больших данных в экономических исследованиях позволяет извлекать ценную информацию из масштабных и разнородных массивов данных. Это открывает новые возможности для понимания экономических процессов, построения прогнозных моделей и принятия обоснованных решений. Однако, эффективное использование этих методов требует учета их особенностей и ограничений, а также наличия соответствующей инфраструктуры и компетенций у исследователей.
Анализ больших данных находит широкое применение в экономических исследованиях, позволяя изучать различные аспекты экономики с использованием новых источников информации и методов обработки данных. Одним из примеров является исследование динамики инфляции с помощью онлайн-данных о ценах, проведенное А. Кавалло (Cavallo, 2013) [5]. Автор использовал метод веб-скрейпинга для сбора данных о ценах на товары с онлайн-ритейлеров и построил высокочастотный индекс цен, который опережал официальные показатели инфляции. Этот подход демонстрирует потенциал использования альтернативных источников данных для оперативного мониторинга экономических процессов.
Другим примером является анализ эффективности вторичного рынка автомобилей, проведенный А. Гаваццей и соавторами (Gavazza et al., 2019) [7]. Исследователи применили эконометрические методы для анализа панельных данных о продажах автомобилей и выявили, что развитие онлайн-платформ повышает ликвидность рынка и снижает транзакционные издержки. Этот результат показывает, как анализ больших данных помогает оценивать влияние технологических изменений на функционирование рынков.
Большие данные также находят применение в прогнозировании экономических показателей. Так, С. Атнур и С. Бейкер (Atnur & Baker, 2021) использовали данные Google Trends о поисковых запросах для прогнозирования продаж в ритейле [3]. Авторы построили прогнозные модели на основе этих данных и продемонстрировали их высокую точность в краткосрочной перспективе. Этот пример иллюстрирует возможности использования нетрадиционных источников данных для улучшения качества экономических прогнозов.
Дальнейшее развитие экономических исследований на базе больших данных связано с интеграцией различных источников информации и методов анализа. Перспективные направления включают:
- использование данных социальных сетей для изучения сетевых эффектов и информационного влияния;
- применение методов машинного обучения для выявления скрытых закономерностей в экономическом поведении;
- анализ текстовой информации для оценки ожиданий экономических агентов.
Важной задачей остается развитие стандартов и инфраструктуры для обмена данными между исследователями при соблюдении правовых и этических норм. Согласно Федеральному закону от 27.07.2006 N 152-ФЗ "О персональных данных", обработка больших данных в научных целях должна осуществляться с обезличиванием персональной информации и соблюдением принципа минимизации данных [1].
Использование больших данных в экономических исследованиях открывает новые горизонты для развития экономической науки и практики. Обзор значимых исследований демонстрирует потенциал данного подхода для построения более точных экономических индикаторов, оценки эффектов политики, повышения эффективности бизнес-решений. В то же время, работа с большими данными требует развития методологии и инфраструктуры, а также ответственного подхода к вопросам качества данных и конфиденциальности информации. Интеграция различных источников данных и методов анализа, включая машинное обучение и текстовую аналитику, определяет перспективные направления дальнейших экономических исследований на базе больших данных.
Список использованной литературы
- Федеральный закон от 27.07.2006 N 152-ФЗ (ред. от 31.12.2017) "О персональных данных" // Собрание законодательства РФ. - 31.07.2006. - N 31 (1 ч.). - Ст. 3451.
- Поликарпова М.Г., Шагбазян С.М. Проблемы использования больших данных в экономических исследованиях // Государственное управление. Электронный вестник. 2017. № 63. С. 43-58.
- Atnur S., Baker S. Using Google Trends data to forecast retail sales // Technological Forecasting and Social Change. 2021. Vol. 166. DOI: 10.1016/j.techfore.2021.120689.
- Boyd D., Crawford K. Critical questions for big data: Provocations for a cultural, technological, and scholarly phenomenon // Information, Communication & Society. 2012. Vol. 15, Issue 5. P. 662-679. DOI: 10.1080/1369118X.2012.678878.
- Cavallo A. Online and official price indexes: Measuring Argentina's inflation // Journal of Monetary Economics. 2013. Vol. 60, Issue 2. P. 152-165. DOI: 10.1016/j.jmoneco.2012.10.002.
- Einav L., Levin J. Economics in the age of big data // Science. 2014. Vol. 346, Issue 6210. DOI: 10.1126/science.1243089.
- Gavazza A., Nardotto M., Valletti T. Internet and Competition: Evidence from the Used Car Market // The Review of Economic Studies. 2019. Vol. 86, Issue 4. P. 1790-1825. DOI: 10.1093/restud/rdy069.