Реализация проекта машинного обучения от A до Я на примере приложения для обобщения текста

Алексей Михнин, 2023

Книга посвящена практической реализации проекта машинного обучения. Рассматривается весь жизненный цикл создания продукта на основе моделей машинного обучения, от формулировки бизнес-задачи до развертывания веб-приложения.Автор на конкретном кейсе демонстрирует процесс исследования проблемы, поиска алгоритмов, разработки и обучения AI моделей. Особое внимание уделяется вопросам проектирования кода и архитектуры, позволяющим создавать гибкие и масштабируемые системы искусственного интеллекта.Читатель получает ценные практические навыки по модульной разработке, тестированию, контейнеризации моделей и их интеграции через веб-интерфейсы. Книга содержит примеры кода и инструкции для создания собственных приложений машинного обучения.Это издание станет полезным как для начинающих, так и для опытных разработчиков в области искусственного интеллекта.

Начало проекта по

Data

Science

Бизнес-постановка — основа любого коммерческого проекта по Data science

В 90% случаев коммерческие проекты по Data science начинаются с бизнес-постановки от заказчика. Это означает, что заказчик четко определяет, какую задачу необходимо решить с помощью данных.

Бизнес-постановка включает в себя следующие элементы:

Цель проекта. Что заказчик хочет достичь с помощью данных?

Задачи проекта. Какие шаги необходимо предпринять для достижения цели?

Данные. Какие данные необходимы для выполнения проекта?

Ожидаемые результаты. Что заказчик ожидает получить в результате проекта?

Дано:

Заказчик обратился с потребностью автоматически суммаризировать большие объемы текста, в особенности длинные диалоги. Основная цель состояла в том, чтобы пользователи могли быстро понять основное содержание предоставленного текста без необходимости читать его полностью. Это особенно актуально для быстрого анализа новостей, длинных документов или корпоративных диалогов.

Кроме того, заказчик предоставил специфические данные для обучения, чтобы модель лучше понимала и адаптировалась к уникальной специфике и структуре диалогов в компании заказчика.

Ожидание заказчика — Web API интерфейс для решения задач по суммаризации текста

Заказчик ожидает, что исполнитель предоставит Web API интерфейс для решения задач по суммаризации текста. Этот интерфейс должен соответствовать следующим требованиям:

Легкость использования. Интерфейс должен быть простым и понятным в использовании. Он должен быть доступен через стандартные методы HTTP, такие как POST, GET и PUT.

Производительность. Интерфейс должен быть производительным. Он должен обеспечивать быстрое и эффективное выполнение запросов.

Надежность. Интерфейс должен быть надежным. Он должен поддерживать высокую доступность и отказоустойчивость.

Цели заказчика:

Эффективность:

Сократить время, затрачиваемое на анализ и понимание больших объемов текста, предоставляя краткие и точные резюме.

Адаптация к специфике:

Улучшить качество и точность суммаризации, адаптируя модель к уникальным особенностям и структуре диалогов в компании заказчика.

Интеграция:

Возможность легко интегрировать решение в существующие корпоративные системы для автоматизации процесса суммаризации.

Улучшение взаимодействия:

Помочь сотрудникам быстрее и эффективнее взаимодействовать с информацией, улучшая таким образом коммуникации и принятие решений в компании.

Данные:

Для наглядности обсуждения примем ситуацию, где заказчик предоставил, среди прочего, размеченный датасет для дополнительного обучения нашей предстоящей модели.

В целях демонстрации, мы взяли обучающий датасет с платформы Hugging Face. После получения всей необходимой информации от заказчика, включая данные, исполнитель переходит к этапу прототипирования решения. Если прототип удовлетворяет требованиям заказчика, следуют действия по внедрению решения в рабочую среду. Данный процесс будет описан в деталях в нашей книге.