Инженер данных от Яндекс Практикум

    Яндекс Практикум
    Стоимость курса
    95 000 Р
    Рассрочка
    от 4 886 Р в месяц
    Длительность
    6 месяцев
    Сертификат
    Да
    Начало курса
    В любой момент
    Трудоустройство
    Содействие

    Кому подойдет

    • Специалистам по Data Science и аналитикам
    • Начинающим инженерам данных
    • Практикующим разработчикам

    Чему Вы научитесь

    • Освоите проектирование пайплайнов
    • Узнаете, как создавать витрины и хранилища
    • Научитесь обрабатывать данные разными инструментами

    Программа обучения

    Бесплатный вводный курс. Простая витрина данных

    Устроитесь на работу в IT-компанию как начинающий инженер данных и попробуете выполнить своё первое задание — получите от лида требования и построите по ним витрину данных.

    Технологии и инструменты:

    • Metabase
    • PostgreSQL
    • SQL и Python

    Актуализация модели данных

    Компания продолжает погружать вас в свои процессы. Данные, с которыми вы работали, обновились, поэтому необходимо изменить модель данных.

    В этом курсе вы:

    • разберётесь, как в компании строят БД;
    • обновите структуру текущей БД в соответствии с новыми требованиями бизнеса;
    • подготовите новые витрины и метрики для аналитиков и менеджеров.

    Технологии и инструменты:

    • PostgreSQL

    DWH: пересмотр модели данных

    Компания растёт, архитектура данных усложняется. Вам дают задание — оптимизировать процессы с данными.

    В этом курсе вы:

    • продумаете процесс перехода со старой схемы БД на новую с минимизацией потерь для бизнеса (zero-downtime deployment);
    • подготовите миграцию данных;
    • учтёте возможные проблемы и спроектируете вариант отката изменений;
    • реализуете новую структуру БД и адаптируете её под существующие процессы вокруг данных.

    Технологии и инструменты:

    • Python
    • PosgreSQL

    ETL: автоматизация подготовки данных

    О хранилище данных компании вы теперь знаете почти всё. Пришло время пересмотреть ETL-процессы.

    В этом курсе вы:

    • автоматизируете пайплайн данных;
    • настроите автоматическую выгрузку данных из источников;
    • научитесь регулярно и инкрементально загружать данные в БД.

    Технологии и инструменты:

    • Python
    • Airflow
    • PostgreSQL

    Проверка качества данных

    Вы хотите быть уверены, что ваши первые пайплайны работают нормально. Качество данных необходимо проверять, а поломки — вовремя отслеживать.

    В этом курсе вы:

    • поймёте, как пользоваться метаинформацией и документацией;
    • оцените качество данных.

    Каникулы

    В это время вы сможете перевести дух, оценить свои результаты и настроиться на новый спринт.

    DWH для нескольких источников
    Вы продолжаете исследовать DWH, потому что развитие компании и, следовательно, увеличение объёма данных не остановить.

    В этом курсе вы:

    • построите DWH с нуля на реляционной СУБД;
    • познакомитесь с MongoDB в качестве источника данных.

    Технологии и инструменты:

    • NoSQL
    • MongoDB
    • PostgreSQL

    Аналитические базы данных

    Специфичных неструктурированных данных, которые тоже надо хранить и обрабатывать, становится больше. Поэтому мы познакомим вас с концепцией аналитических баз данных на примере СУБД Vertica.

    В этом курсе вы:

    • изучите организацию хранилища в Vertica;
    • научитесь делать базовые операции с данными в Vertica;
    • построите простое хранилище данных в Vertica.

    Технологии и инструменты:

    • S3
    • Vertica
    • Airflow
    • PostgreSQL

    Организация Data Lake

    Классические решения не помогают справиться с объёмом данных. Чтобы справиться с новыми вызовами бизнеса, вы построите и наполните Data Lake.

    В этом курсе вы:

    • рассмотрите архитектуру Data Lake (пер. «озеро данных»);
    • научитесь обрабатывать данные в MPP-системе;
    • наполните Data Lake данными из источников;
    • потренируетесь в обработке данных с помощью PySpark и Airflow.

    Технологии и инструменты:

    • HDFS
    • Hadoop
    • MapReduce
    • Apache Spark (PySpark)

    Каникулы

    В это время вы сможете перевести дух, оценить свои результаты и настроиться на новый спринт.

    Потоковая обработка данных
    Трудности с большим объёмом данных вы победили, но появилась новая задача — нужно помочь бизнесу быстрее принимать решения. Тут понадобятся знания потоковой обработки данных (англ. streaming).

    В этом курсе вы:

    • рассмотрите особенности потоковой обработки данных;
    • построите свою стриминговую систему;
    • построите витрину с использованием real-time данных.

    Технологии и инструменты:

    • Kafka
    • Spark Streaming

    Облачные технологии

    Теперь вы умеете работать и с большими объёмами данных, и с потоками. Осталось только автоматизировать масштабирование систем с помощью облачных сервисов.

    В этом курсе вы познакомитесь с тем, как реализовать уже изученные решения, но в облаке (на примере Яндекс Облака).

    Технологии и инструменты:

    • Redis
    • NoSQL
    • kubectl
    • Kubernetes
    • PostgreSQL
    • Яндекс.Облако

    Выпускной проект

    Подтвердите, что освоили новые навыки.

    Здесь вам будет нужно самостоятельно выбрать и реализовать решения для бизнес-задачи. Это поможет вам ещё раз закрепить использование изученных инструментов, а также самостоятельность.

    Отзывы о школе 7

    4.3 из 5
    5
    0
    1
    1
    0
    Сортировать:
    Дате публикации
    • Дата публикации
    • Популярности
    • Сначала положительные
    • Сначала отрицательные
    • Константин 12 октября 2023

      Мои полгода обучения в Яндекс Практикуме оказались весьма впечатляющими, прежде всего благодаря высокому качеству программы и ее тщательной проработке. Важно отметить, тренажер, который предоставляют на курсе. Он обладает хорошо структурированным сценарием и высоким уровнем геймификации, что значительно облегчает освоение информации. Здесь мы не просто пересказываем теорию, а погружаемся в ситуации, анализируем поведение виртуальных коллег, разбираем проблемы и находим решения. Одним из замечательных аспектов программы является ее обширное покрытие всех необходимых тем и вопросов, которые студент должен овладеть. Кроме того, наставники акцентируют внимание на практических заданиях, проводимых онлайн в ходе еженедельных воркшопов и вебинаров, что способствует развитию реальных навыков. Особой чертой данного курса и комьюнити его студентов является возможность работать в команде. Во время обучения мы не просто учимся, но и находим новых друзей, создавая тесные связи с однокурсниками. Еще одной фантастической особенностью обучения является карьерный модуль в конце курса. Здесь нам не только рассказывают о том, как написать эффективное резюме и куда его отправлять, но и предоставляют возможность практического сотрудничества с опытными специалистами, которые помогают улучшить наше резюме, подготовиться к собеседованиям и многое другое. Они обеспечивают реальную поддержку и помощь при поиске работы и продвижении по карьерной лестнице. Я действительно поражен высоким качеством обучения в Яндекс Практикуме и всеми преимуществами, которые он предлагает. Этот курс является превосходным выбором для тех, кто стремится получить качественное и практическое образование в области, связанной с программированием и разработкой.

      Был ли отзыв полезен?
    • Анатолий 8 августа 2023

      Приветствую всех! Недавно приобрел курс "Аналитик данных" от Яндекс Практикума, и пока ни капли сожаления не испытывал. Выбор пал на данную платформу по следующим основаниям: 1. Отсутствие навязчивой рекламы со стороны блогеров на YouTube 2. Знакомые стартаперы, которые уже прошли другие программы Практикума и остались очень удовлетворены результатами 3. Отсутствие причин усомниться в надежности такой компании как Яндекс Курс организован по модулям, каждый из которых длится две недели. Предоставляется достаточно теоретических материалов, но и практической составляющей еще больше. Хотелось бы отметить профессионализм команды разработчиков курса и их умение доступно разъяснять сложные вопросы (к примеру, теорию вероятностей). Все объяснения идут через примеры, что позволяет гармонично совмещать теорию с практикой. Безусловно, стоит отметить работу специалистов команды Практикума (наставников, кураторов, рецензентов проектов). Все участники высококвалифицированы, крайне вежливы и терпеливы. Лично для меня, будучи человеком без каких-либо технических знаний, порой сталкиваюсь со сложностями, однако стремление освоить новую профессию преобладает, а к тому же команда Яндекса поддерживает в нужный момент. В итоге, моя оценка – 10 из 10.

      Был ли отзыв полезен?
    • Евгения 3 июня 2023

      Решила пройти здесь бесплатные курсы по Backend разработке. Все настолько поверхностно, что даже не описать. Маленькие окошечки с заданиями, которые приходится каждый раз увеличивать, а это неудобно. Выходит, что даже функционал толком не доработан. Все темы из теории очень поверхностны. Ни слова про рекурсию и переменные, а это основа основ. Практики на курсах нет, хоть вам обещают обратное. А ведь это основная задача, только практикой можно закрепить материал. Как можно научиться кодить и запоминать сантаксис? Задачи можно решать разными способами, но если вы напишите решение не так, как забито в компьютере, то результат зачтут как неправильный. Если задачу вы не решите, то к следующему блоку тем вас просто не допустят. Продукт крайне сырой и даже для новичка бесплатный курс это просто трата времени. Разработчики ценятся за знания, в том числе и математические, на курсах Яндекса эти знания вам никто не даст. Не советую трать время.

      Был ли отзыв полезен?
    Посмотреть все отзывы о Яндекс Практикум