ВigData Тeam Практический курс по Big Data. Часть 2. Spark: from zero to hero 2023
- Автор / Школа: 2023
- Категория: Администрирование и программирование
- Скачать: Облако Google / Yandex / Mail
- Торрент (torrent): нет
- Бесплатно 1 урок: по запросу
О курсе
[ВigData Тeam] Практический курс по Big Data. Часть 2. Spark: from zero to hero (2023)
Практический курс по Big Data. Часть 2. Spark: from zero to hero [bigdata team]
На протяжении этой части курса вы будете работать со Spark: от основных терминов и RDD до Spark DataFrames и оптимизации Spark вычислений.
В этом модуле вы изучите:
Практический курс по Big Data. Часть 2. Spark: from zero to hero [bigdata team]
На протяжении этой части курса вы будете работать со Spark: от основных терминов и RDD до Spark DataFrames и оптимизации Spark вычислений.
В этом модуле вы изучите:
- cхема выполнения задачи в Spark;
- основные термины Spark (job, task, stage);
- представление вычислений в виде графа. Spark Python API. Spark RDD API;
- Broadcast-сообщения и счетчики.
- взаимодействие Hive и Spark SQL;
- отличия DF от RDD.
- Spark on YARN;
- типы stage в Spark;
- оптимизация операции shuffle;
- настройка Garbage Collection, тюнинг потребления памяти.
