Фреймворк Apache Spark для разработчиков: продвинутый уровень от IBS Training Center

    IBS Training Center
    Стоимость курса
    41 500 Р
    Сертификат
    Да
    Начало курса
    В любой момент
    Трудоустройство
    Нет

    Кому подойдет

    • Разработчики
    • Архитекторы

    Чему Вы научитесь

    • Понимать внутреннее устройство Spark;
    • Понимать механизмы запуска и настройки компонентов Spark на разных кластерах (Standalone, YARN, Mesos);
    • Научиться оптимизировать программы, обрабатывающие RDD;
    • Понимать механизмы оптимизации программ на Spark SQL;
    • Понимать механизмы оптимизации программ, обрабатывающих потоковые данные, как в микропакетах, так и в Dataset.

    Программа обучения

    Разбираемые темы

    • Внутренняя архитектура Spark, Spark Runtime Environment
    • Настройка Spark Context, SparkConf
    • Внутреннее устройство RDD, логический план
    • Лучшие практики программирования с RDD
    • Физический план: работы, стадии, задачи
    • Планировщики и выполнение физического плана
    • Настройка памяти, сериализация, кеширование, сборка мусора
    • Datasource API, внутреннее представление данных Tungsten, форматы файлов
    • Оптимизатор Catalyst
    • Микропакетный Spark Streaming: получение и выдача данных
    • Structured Streaming: получение и выдача данных

    Отзывы о школе 1

    5 из 5
    1
    0
    0
    0
    0
    Сортировать:
    Дате публикации
    • Дата публикации
    • Популярности
    • Сначала положительные
    • Сначала отрицательные
    • Василий 14 июня 2023

      Я посещал курс по анализу данных для начинающих, который проводил доктор наук. Он довольно просто и понятно объясняет сложные вещи, что позволяет легко погрузиться в тему и быстро овладеть новыми знаниями. Здесь вы найдете приятный и модернизированный дизайн классов и новое современное оборудование. Но что делает это место по-настоящему эффективным для обучения? Ежедневные экзамены! Как только вы освоите новый материал, вам предложат пройти небольшой тест, чтобы убедиться, что вы действительно поняли всю информацию. Это помогает зафиксировать знания и убедиться, что вы продвигаетесь в обучении. Также стоит отметить, что для тех, кто хочет учиться офлайн, школа имеет свою собственную недурную столовую с большим выбором блюд, которой могут воспользоваться как обучающиеся, так и сотрудники - вход только изнутри. Это очень удобно, если у вас нет времени или желания искать место, где можно перекусить. Школа также выдает официальный и реальный сертификат об окончании курсов, что может быть очень полезно при поиске работы или продолжении обучения в другом месте. Я очень рекомендую эту школу для всех, кто ищет эффективное место для обучения в современной и комфортной обстановке.

      Был ли отзыв полезен?
    Посмотреть все отзывы о IBS Training Center