Инженер данных — обучение Data Engineer от Карпов курсы

    Карпов курсы
    Стоимость курса
    92 000 Р
    Длительность
    5 месяцев
    Сертификат
    Нет
    Начало курса
    В любой момент
    Трудоустройство
    Нет

    Кому подойдет

    • аналитик данных
    • инженер данных
    • bi-разработчик
    • backend-разработчик

    Чему Вы научитесь

    • Работать с реляционными базами данных, в том числе MPP, понимать особенности работы распределенных систем на базе Greenplum
    • Уметь строить и автоматизировать ETL\ELT-пайплайны на базе Apache Airflow
    • Уметь составлять сложные SQL запросы в Apache Hive
    • Разбираться в архитектуре хранилищ данных (DWH), владеть методами многомерного моделирования, якорного моделирования и Data Vault

    Программа обучения

    1. РЕЛЯЦИОННЫЕ И MPP СУБД

    Начнём погружение в инженерию данных со знакомства с реляционными и MPP базами данных. Рассмотрим их архитектуру, обсудим популярные решения и узнаем, в каких случаях MPP СУБД оказываются лучше традиционных. Научимся готовить PostgreSQL и MPP базы данных на примере Greenplum.

    2. АВТОМАТИЗАЦИЯ ETL-ПРОЦЕССОВ

    ETL — ключевой процесс в управлении хранилищами данных. Рассмотрим принципы и основные этапы его построения. Познакомимся с популярным инструментом Airflow, подробно разберём его основные компоненты и научимся с его помощью автоматизировать ETL-пайплайны.

    3. BIG DATA

    Познакомимся с механизмами распределённого хранения больших данных на базе Hadoop, разберём основные паттерны реализации их распределённой обработки. Рассмотрим вопросы отказоустойчивости и восстановления после сбоев. Поговорим о потоковой обработке данных, методах и средствах мониторинга и профилирования заданий Spark.

    4. ПРОЕКТИРОВАНИЕ DWH

    Data Warehouse — централизованное хранилище данных из разных источников. Познакомимся с его верхнеуровневой логической архитектурой, рассмотрим её основные компоненты и разберём на практике разные подходы к проектированию детального слоя DWH.

    5. ОБЛАЧНОЕ ХРАНИЛИЩЕ

    Рассмотрим облачные решения и инструменты для построения DWH и Data Lake. Познакомимся с Kubernetes и научимся применять его для работы с данными. Поработаем с облаком на практике, рассмотрим процесс установки и настройки JupyterHub и Spark в Kubernetes.

    6. ВИЗУАЛИЗАЦИЯ ДАННЫХ

    Рассмотрим основные принципы работы с данными с точки зрения их визуализации и научимся смотреть на данные глазами их потребителя. Познакомимся с Tableau — гибким и мощным BI-инструментом. Узнаем, как он взаимодействует с базами данных, и построим с его помощью интерактивный дашборд для мониторинга DWH платформы.

    7. BIG ML

    Познакомимся с теорией распределённого машинного обучения. Научимся работать с популярным модулем Spark ML и рассмотрим подходы к обучению и применению моделей на больших данных.

    8. УПРАВЛЕНИЕ МОДЕЛЯМИ

    В работе инженеры часто сталкиваются с подготовкой данных для обучения ML-моделей. Рассмотрим инструменты для построения ML-пайплайнов, версионирования датасетов, организации учёта и трекинга моделей.

    9. УПРАВЛЕНИЕ ДАННЫМИ

    На практике часто приходится иметь дело с разными данными и огромным числом интеграций и процессов, выполняющих над ними те или иные преобразования. Познакомимся с популярными подходами к управлению данными, обсудим инструменты для контроля качества данных и отслеживания их происхождения.

    Отзывы о школе 2

    5 из 5
    2
    0
    0
    0
    0
    Сортировать:
    Дате публикации
    • Дата публикации
    • Популярности
    • Сначала положительные
    • Сначала отрицательные
    • Наталья 12 августа 2023

      Как тестировщик с опытом работы несколько лет в сфере айти, я почувствовала усталость от монотонности работы по поиску багов и желание построить что-то красивое и полезное самостоятельно. Начала с изучения нескольких курсов по JS,HTML, CSS однако чувствовала неуверенность в своих знаниях и решила найти курс, который дает не только базовые знания, но и практический опыт, который пригодится в работе. Мой выбор пал на курс Frontend на Карпов курсы в силу интересного содержания и обещания дать все необходимые навыки для повседневных задач. Меня также увлекли высококачественные видео на Youtube, в которых преподаватели предоставляли доступную полезную информацию. Сейчас, обучаясь на этом курсе, я уверена, что получаю именно то, что обещано в описании. Лекции содержат множество полезной информации, которую я не найду в других учебных материалах, а подача материала четкая и не затянутая - видно, что лекции предельно точно подготовлены. Задания зачастую вызывают у меня сложности, но мне нравится бороться с ними и я учусь на примере выполнения заданий. Мини-проекты разработаны таким образом, чтобы мы применяли знания, полученные в каждом модуле. Благодаря ним я поборола свой страх перед созданием кода с нуля. Теперь я уверена в своих знаниях и думаю, что на своей первой работе в качестве фронтенд-разработчика я справлюсь с задачами и принесу пользу. Желаю нам всем успехов в этом интересном и нелегком пути становления профессионалом в области веб-разработки!

      Был ли отзыв полезен?
    • Виталий 4 июня 2023

      Благодаря курсам "Аналитик данных" и "Симулятор аналитика" на платформе Карпов курсы, мне удалось значительно улучшить свой профессиональный уровень в области аналитики данных. Кроме того, на курсе "Инженер данных" я смог дополнить свой набор навыков. Особенно я хотел бы отметить курс "Симулятор аналитика". Кроме того мне понравилось наличие множества новых инструментов и тем, которые можно было использовать в работе сразу после прохождения курса. Благодаря помощи преподавателей и эффективной методике курса, мне уже после выполнения первого задания удалось создать метрики и систему мониторинга в нашей компании. Это было невероятно полезным, так как сразу запустилось практическое применение учебной программы, что помогло мне значительно расширить свой профессиональный опыт. В настоящее время я работаю в продуктовой команде и сталкиваюсь с огромным количеством продуктов, функций, API-интеграций и многим другим. Однако благодаря курсам в этой школе, я смог наладить систему мониторинга на основе Qlik Sense, придумал новые метрики для одного из наших продуктов и успешно использую GitLab. Эти знания и навыки помогают мне в работе на проектах с большим объемом данных и повышают мою профессиональную ценность.

      Был ли отзыв полезен?
    Посмотреть все отзывы о Карпов курсы