Эконометрические оценки. Учебное пособие

Валентин Юльевич Арьков

Каждое новое название грозит заказчику повышением стоимости услуг: статистика, математическая экономика, эконометрика, бизнес-аналитика, наука о данных, машинное обучение… Все перечисленные технологии используют метод наименьших квадратов (классический регрессионный анализ), который мы и будем рассматривать – в самых разных видах. Нас ожидает парная и множественная, линейная и нелинейная регрессия, разное количество входов и выходов модели, учёт качественных и количественных признаков.

2. Инструменты

Мы переходим к следующей теме. Это инструменты анализа данных, см. рис.

Рис. Инструменты анализа данных

Следует отметить несколько вариантов.

Первый способ обработки данных — простой наглядный и не всегда удобный. Это электронные таблицы. Они существуют в самых разных видах, но мы будем, в основном, ориентироваться на Excel.

Существуют разные системы, языки программирования или среды того или иного уровня для обработки данных. Очень часто используются Python или язык R. Есть более специализированные инструменты, например Matlab, но это уже коммерческий, дорогой продукт.

Естественно, есть обычные языки программирования для работы с данными. Мы увидим, что в системах типа Python несколько удобней работать с данными.

Следующий момент — это варианты реализации программы, с которой мы работаем.

Чаще всего и привычней настольные, локальные варианты — Desktop Version.

При этом становится доступным всё больше облачных вариантов, когда мы можем работать через браузер. Здесь не всегда доступен полный функционал.

Наконец, есть варианты для мобильных устройств. Но чаще всего мобильные устройства — смартфоны и планшеты — не такие удобные, если требуется много печатать. Нужно подключать внешнюю клавиатуру. Кроме того, мобильные варианты приложений чаще всего ограничены по своим возможностям. Они подходят для определенных целей, например, чтобы посмотреть готовый график / отчёт или отсканировать QR-код.

Для дальнейшей работы нам понадобится так называемая надстройка «Анализ данных». Чтобы включить настройку, нужно перейти в меню Файл Настройки — Надстройки: File — Options — Add-ins — Excel Add-ins — Go — Analysis ToolPak, см. рис.

Рис. Включение надстройки

Теперь в верхнем меню появится надстройка — в разделе «Данные» — кнопка «Анализ данных», см. рис.

Рис. Вызов надстройки

Другой инструмент, который имеет очень похожие возможности — это Libre Office. Это бесплатный свободно распространяемый инструмент c открытым исходным кодом (Open Source). Как видим, у нас есть варианты для MS Windows, Linux и MacOS, см. рис.

Рис. Варианты Libre Office

Мы рекомендуем использовать английский вариант программных пакетов. К сожалению, перевод интерфейса часто оставляет желать лучшего и выполняется по остаточному принципу. В ряде случаев можно обнаружить половину интерфейса на русском, а половину на английском. Разработчики не успевают перевести — слишком быстро выходит новая версия программы. Перевод интерфейса и справочной системы очень часто делается чуть не автоматическим, машинным, программным путём, что отрицательно отражается на качестве.

В ряде случаев неудачный перевод может сбивать с толку и запутывать. Мы обнаруживаем английские слова, написанные русскими буквами. Конечно, это не помогает в изучении программ. Гораздо проще запомнить несколько английских слов, но при этом желательно узнать, как эти понятия грамотно называются по-русски. А для этого нужно знать теорию и читать учебники.

По поводу Libre Office надо отметить наличие так называемой Portable Version, см. рис. Это «переносимая» версия программы, которая не требует установки. Мы просто скачиваем архивный файл, разворачиваем его в отдельном каталоге и оттуда его запускаем на выполнение. Если он нас больше не интересует, мы удаляем этот каталог — и он не засоряет операционную систему.

Рис. Переносимая версия

Электронная таблица Libre Office Calc очень похожа на MS Excel — внешне и по возможностям. Есть совместимость на уровне формата файлов *.XLSX. По сути, мы встречаем здесь стандартный вид электронной таблицы. Может немного отличаться верхнее меню, но разобраться совсем несложно, см. рис.

Рис. Интерфейс Libre Office Calc

Что касается Python, у нас есть тоже два варианта. Первый вариант — скачать какой-нибудь пакет, например, Анаконда. Anaconda — это целый набор инструментов, см. рис.

Рис. Варианты пакета Anaconda

На сайте www.anaconda.com нас будет интересовать бесплатная версия Individual Edition для личного пользования.

После установки мы получаем первое окно — так называемый навигатор Anaconda Navigator. В рамках этого окна нас будет интересовать Jupyter Lab — лаборатория Юпитер. Здесь есть ещё Jupyter Notebook — Блокнот Юпитер, см. рис. Слово Юпитер здесь написано почти как название планеты, но с намёком на язык Питон.

Рис. Интерфейс Anaconda Navigator

Мы запускаем Jupyter Lab получаем новое окно браузера. При этом через браузер мы получаем доступ к своему локальному компьютеру. В строке адреса указан локальный компьютер localhost и номер порта, см. рис.

Рис. Среда Jupyter Lab

Мы получаем в окне браузера возможность работать с Jupyter Notebook — Блокнотом Юпитер. Нас интересует возможность работать в диалоге. Каждая ячейка блокнота — это одна или несколько строк кода. Мы можем запустить на выполнение любую ячейку блокнота в любом порядке и любое количество раз — и сразу видим результат выполнения.

Задание

Просмотрите статьи в Википедии про Anaconda и Jupyter Notebook на русском и английском языках. Обратите внимание, насколько различаются русский и английский варианты этих статей. Если есть трудности с английским, можно использовать Переводчик Google или включить автоматический переводчик, встроенный в браузер Google Chrome. Ознакомьтесь с расшифровкой названия Jupyter.

Задание

Скачайте и установите пакет Anaconda. Запустите Jupyter Lab. Создайте новый блокнот. Запустите программу «Hello, World».

Демонстрация Jupyter LAb

Запускаем Jupyter Lab. Создаём новый блокнот. Notebook — это страница с любым количеством строк. Появляется пустое окно. Есть разные варианты ячеек. Нас будет интересовать два вида. В кодовой ячейке Code пишем команды. В текстовой ячейке Markdown пишем текст. В нашем случае это будут просто заголовки. Markdown — это язык разметки текста, который позволяет украшать текст и вставлять формулы в формате LaTeX.

Вставляем символ «решётки» # и вводим название нашего первого упражнения. Напомним, что выражение «Hello, World» вообще-то переводится как «Всем привет». Перевод «Привет, мир» — это слишком дословно.

Нажимаем комбинацию клавиш [Shift+Enter]. Ячейка выполняется. Теперь у нас просто текст. Для редактирования можно дважды щёлкнуть по ячейке и внести исправления.

Обратим внимание, что первая ячейка имеет тип Markdown. Следующая ячейка автоматически получает тип кодовой Code.

Наша простая программа напечатает приветствие. Мы вводим команду print. Обратите внимание, что команда пишется маленькими буквами. Python различает заглавные и строчные буквы (большие и маленькие). Открываем круглую скобочку — автоматически появляется закрывающая скобка. Нажимаем кавычки — появляется закрывающая кавычка. Пишем сообщение. Нажимаем комбинацию клавиш [Ctrl+Enter]. В этом случае выполняется текущая ячейка, а новая ячейка не создаётся.

Система работает в режиме диалога. Можно загружать файлы и обрабатывать данные. Можно строить разнообразные графики.

Демонстрация Google Colab

Посмотрим в действии облачный сервис — очень простой и очень бесплатный. Называется он Google Colab — «ко-лаборатория», то есть совместная работа. Адрес в интернете:

https://colab.research.google.com

Единственное ограничение: нужно зайти со своей учётной записью Google. Для этого нужно зарегистрироваться на сайте Google. Подойдёт и учётная запись почты Gmail.

Интерфейс пользователя очень похож на предыдущий вариант, см. рис.

Рис. Интерфейс Google Colaboratory

Ко-лаборатория — это облачный сервис. Можно сказать, что это облачный блокнот Юпитер. Сам блокнот хранится на облачном диске Google Drive. Сюда можно закачивать файлы или скачивать их оттуда.

В верхней части окна отображается название файла. Расширение *.ipynb говорит о том, что в нём сохраняются не только команды, но и результаты выполнения, в том числе, графики. Такой файл можно посмотреть, не запуская его на выполнение, и увидеть, какие результаты были в прошлый раз. Можно также скачать только саму программу — файл с расширением *.py.

Интерфейс очень похож — тот же самый блокнот Юпитер. Точно также создаём ячейки с текстом или кодом, можем нажимать [Shift+Enter] и [Ctrl+Enter].

Мы запускаем этот самый инструмент под названием Колаб. Создаем новый блокнот и запускаем нашу «игрушечную» программу, которая говорит: «Всем привет!»

Мы можем при желании переименовать блокнот. Двойным щелчком начинаем редактирование названия. В начале работы, при первом запуске первой ячейки происходит соединение с виртуальной машиной, выделяются ресурсы на сайте Google. Для добавления текстовой ячейки нажимаем кнопку [+Text]. Значок «плюс» означает «добавить ячейку в блокнот». Для организации заголовка ставим символ «решетки» #. Одиночный знак решетки означает, что это главный заголовок — первого, верхнего уровня. Для удаления ячейки щёлкаем по ней и справа над ячейкой нажимаем кнопку с иконкой мусорного ведра.

Начиная вводить команду, можно заметить всплывающую подсказку. Можно выбрать подходящую команду или аргумент.

Когда мы открываем скобки, автоматически появляются закрывающие. Сразу появляется краткое описание вводимой функции.

Обычно принято считать, что облачный сервис работает медленнее, чем программа на локальном компьютере. Однако, компания Google предоставляет свои дополнительные вычислительные возможности — причем бесплатно — для общего знакомства с продуктом. Есть специальные настройки для использования графических и тензорных аппаратных ускорителей. С другой стороны, если на вашей машине имеется мощная графическая плата с поддержкой технологии CUDA, тогда можно ускорить работу локальной версии Python. Это может быть полезно, если проводить сложные расчеты.