Машинное обучение на практике – от модели PyTorch до Kubeflow в облаке для BigData

Машинное обучение на практике – от модели PyTorch до Kubeflow в облаке для BigData

В этой книге Главный Архитектор Департамента Архитектуры Управления Технической Архитектуры (Центра Облачных Компетенций Cloud Native и Корпоративного университета архитекторов) и архитектор решения Сбербанка делится знаниями и опытом с читателей в области ML, полученных в работе Школе архитекторов. Автор:

* проводит читателя через процесс создания, обучения и развития нейронной сети, показывая детально на примерах

* повышает кругозор, показывая, какое она может занимать место в BigData с точки зрения Архитектора

* знакомит с реальными моделями в продуктовой среде

Жанры: Программы, Программирование, Научно-популярная литература
Цикл: Не является частью цикла
Год публикации: 2021

Читать онлайн Машинное обучение на практике – от модели PyTorch до Kubeflow в облаке для BigData


О книге

Книга построена как учебник – от простого к сложному. Читатель сможет:

* в первых трёх главах создать простейшую нейронную сеть распознавания и классификации изображений,

* в последующих – углубиться в устройство и архитектуру для оптимизации,

* далее расширить понимание экосистемы как компании в целом, в которой работают нейронные сети, как её составная часть, способы ее взаимодействия с окружающими технологиями и их использование,

* закончить изучение развёртыванием полномасштабной производственной системы в облаке полного цикла.

Фактически каждая глава в начале даёт общую информацию, необходимую для последующей практической части. В практической части:

* демонстрируется процесс подготовки окружения, но чаще используются бесплатные готовые облачные сервисы,

* демонстрируется процесс написания совместно с разбором написанного и обзором альтернативных решений,

* проводится анализ результата и формирование способов дальнейшего развития.

Книга состоит из разделов:

* Введение в Машинное обучение. Это единственная глава без практической части, созданная для того, чтобы дать начальное представление о границах применимости машинного обучения, преимуществах перед другими методами и об общем устройстве нейронных сетей для начинающих. Также производится классификация нейронных сетей по принципам, заложенных в них, и разделение на группы, о которых будет говориться в книге.

* Основы для написания сетей. Здесь даются базовые знания, необходимые для написания первой сети на PyTorch, знакомство со средой разработки Jupyter в облачном сервисе Google Colab, которая является упрощенным вариантом облачной платформы Google ML, запуск кода в нём и использование фреймворка на написания нейронных сетей PyTorch.

* Создаём первую сеть. Автор демонстрирует для практики читателя создание простой нейронной сети на PyTorch в Colab с детальным разбором написанного кода, обучение её на DataSet изображений MNIST и запуском.

* Улучшаем распознавание нейросети на сложных изображениях. Здесь автор для читателя демонстрирует на практике обучение нейронным сетям для цветных картинок, методы повышения качества предсказаний сети. Детально разбирается устройство, подводные камни при написании и обучении эффективных нейронных сетей.

* Современные архитектуры нейронных сетей. Приводятся архитектурные принципы, используемые в современных нейронных сетях для повышения качества предсказаний. Приводится разбор различных архитектур нейронных сетей, сделавших прорыв в качестве обучения и принёсших новые подходы. Рассматриваются различные архитектурные универсальные паттерны увеличения качества, такие как создание ансамблей нейронных сетей.

* Использование предобученных сетей. Демонстрируется использование в своих сетях уже обученных слоёв.

* Масштабирование ML. Приводятся примеры подготовки окружения для запуска их в облачной инфраструктуре.

* Получение данных от BigData. Рассказывается, как можно из Jupyter подключаться к различным источникам данных, в том числе BigData, для обучения моделей.

* Подготовка больших данных. В этом разделе описываются BigData технологии, такие как Hadoop и Spark, которые являются источниками данных для обучения моделей.

* ML в промышленной среде. В этом разделе рассказываются о таких системах, как Kubeflow и MLflow. Читатель может попробовать развернуть платформу, настроить процесс обучения и запустить в облачной среде модель, как это делается в компаниях.

Об авторе. Автор является корпоративным (главным) архитектором крупного подразделения (трайба) компании Сбер. Сбер лидер по объёмам накопленных данных в России и обладатель вычислительного центра для обучения моделей Кристофари, занимающей 39 место в ТОП500 мира и самый мощный в России и СНГ (первое место в ТОП50 СНГ), в нём разработано более 5000 моделей более тысячью DataSience учёных. Автор проходил обучение (Sber AI Architect, Sber Certified Architect) в Сбер в области искусственного интеллекта, создавал внутренние курсы по этой тематике для других архитекторов, разрабатывал предиктивную аналитику на машинном обучении в нейронных сетях для универсальных облачных систем, участвовал в качестве ментора (команда заняла 2 место среди всех команд Сбер) и оценщиком на соревнованиях Сбер.


Вам будет интересно
Жизнь современного человека плотно связана с видеоиграми. Даже если вы не играете сами, в вашем окружении наверняка найдутся заядлые геймеры, а новости из индустрии игр зачастую не обходят и вас стороной. Это положение дел приводит к вопросам: а что же такое видеоигры и какое место они занимают в жизни человека? Поиском ответов на них занимается дисциплина game studies. Александр Ветушинский – один из ведущих российских представителей этого направления исследований. Его книга «Игродром» – филосо...
Читать онлайн
Книга посвящена компьютерным методам анализа почерка. Автор рассматривает анализ почерка как одно из перспективных направлений психологии, медицины, социологии, педагогики. С развитием цифровых технологий письмо от руки, с одной стороны, используется все меньше, с другой стороны, эти технологии предоставляют новые возможности для научно-обоснованного анализа почерка. Письмо от руки остается неотъемлемой частью нашей культуры и практики. В книге отражена дискуссия о ее сегодняшнем статусе. Предст...
Читать онлайн
Тематика посвященного основам статистической обработки педагогической информации учебного пособия оказалась на редкость востребованной и актуальной, что послужило стимулом к написанию продолжения. Учебное пособие предназначено для бакалавров, обучающихся по направлению подготовки «Математическое образование» интересы которых лежат в области статистической обработки социальной и педагогической информации. Из отличительных особенностей R хорош тем, что бесплатен и установлен на серверах Google Clo...
Читать онлайн
Цель данной книги – ознакомить читателя с рабочим шаблоном проектного решения «ведение основных данных контроллинга» на примере программного обеспечения SAP. Продемонстрировать, что такое проектное решение по основным данным, ознакомить с его содержанием и наполнением. Данная книга в первую очередь будет полезна тем, кто хочет разобраться, как в крупных компаниях осуществляется процесс внедрения информационных систем, как правильно писать подобного рода документы. Поможет более успешно пройти со...
Читать онлайн
Книга заядлого геймера Остина Мурхеда переносит читателя в центр киберспортивной революции, шаг за шагом рассказывая о создании самой масштабной лиги – Overwatch League. Вы проникнете в переговорные комнаты компании Blizzard Entertainment, где бизнесмены инвестируют в киберспортивные франшизы десятки миллионов долларов; узнаете, как живут и тренируются суперзвезды гейминга и из чего складывается их успех; побываете на матчах первых двух сезонов лиги и проживете все взлеты и падения с командами S...
Читать онлайн
Вы написали свой первый PHP скрипт и хотите его продать. Эта книга поможет Вам с пошаговой инструкцией в этом начинании, а также подскажет как избежать распространённых ошибок при создании и продаже своего собственного программного обеспечения....
Читать онлайн
История машинного обучения, от теоретических исследований 50-х годов до наших дней, в изложении ведущего мирового специалиста по изучению нейросетей и искусственного интеллекта Терренса Сейновски. Автор рассказывает обо всех ключевых исследованиях и событиях, повлиявших на развитие этой технологии, начиная с первых конгрессов, посвященных искусственному разуму, и заканчивая глубоким обучением и возможностями, которые оно предоставляет разработчикам ИИ.В формате PDF A4 сохранен издательский макет...
Читать онлайн
Создание новых игровых миров может стать вашей профессией! Индустрия разработки игр дает шанс раскрыть творческий потенциал, воплощая идеи в игровые проекты. А с чего вам следует начать, подскажет книга «Хочу в геймдев!», написанная ведущими специалистами игровой индустрии. Вы узнаете, в чем состоит работа гейм-дизайнера и других участников разработки, определите, какие навыки вам нужно оттачивать в первую очередь, познакомитесь с производственными процессами и разберетесь, как устроен мир геймд...
Читать онлайн
После разговора, Григорий при поддержке своей подруги понимает, что стоит поменять приоритетную цель. Главное, не допустить захвата земли. В противном случае, возвращаться будет не куда. Много вопросов, нет ответов. Множество если и но. Нужна информация, нужна поддержка, а главное нужна сила и воля к победе....
Читать онлайн
Ники Родрих после окончания университета отправляется в Виннипег продолжать дело своего скупого дяди Дейла, надеясь осуществить свою мечту. Но его позитивный настрой исчезает, после того как парень понимает, что заперт в стенах, в которых когда-то разбогател его дядька. Выхода нет! Теперь Ники предстоит расплачиваться за дела дядюшки Дейла… Справится ли он с этим испытанием? Останется ли верным своей мечте? Или уйдёт во все тяжкие?...
Читать онлайн
Нет ничего проще дыхания. Нет ничего важнее дыхания. С момента рождения мы овладеваем этим, казалось бы, нехитрым искусством делать вдох и выдох и редко задумываемся о том, правильно ли мы дышим. А ведь от глубины, частоты, ритма дыхания зависят здоровье внутренних органов, регуляция обмена веществ, чистота сосудов, крепость суставов и костей. И малейшие нарушения природного ритма поступления кислорода в легкие со временем превращаются в большие проблемы со здоровьем. Можно ли их избежать?Да, ес...
Читать онлайн
В книгу вошли две повести Романа Сенчина – «Минус» и «Вперед и вверх на севших батарейках». Их герой – полный тезка автора – и автопортрет, и самопародия: как настоящий реалист, он пишет о том, что хорошо знает.Действие «Минуса» происходит в небольшом сибирском городке, Роман работает монтировщиком в театре. Таскает тяжелые декорации, спит с актрисами, пьёт от тоски по вечерам… а ночью мечтает о далекой столице. Герой повести «Вперед и вверх на севших батарейках» уже живет в Москве, учится в Лит...
Читать онлайн