ADH-A

Эксплуатация Arenadata Hyperwave

ПОИСК

Быстрый заказ

ОЦЕНКА КУРСА

общая оценка курса:

оценка преподавателя:

Отзывов: 0

Стать преподавателем

Хочу скидку

Программа «Эксплуатация Arenadata Hyperwave» поможет получить актуальные знания по работе с компонентами и сервисами универсальной гибридной платформы и успешно применять их на практике.

Выберите форму обучения, чтобы увидеть актуальные даты:

После изучения курса вы сможете

планировать и развёртывать распределённые вычислительные кластеры на базе дистрибутива Arenadata Hyperwave версии 4 и системы управления Arenadata Cluster Manager;
работать с сервисами и компонентами платформы Arenadata Hyperwave;
выполнять мониторинг и оптимизацию производительности системы;
обслуживать и выполнять аварийное восстановление узлов кластера и отдельных компонент.

Содержание курса

Модуль 1. Введение в экосистему Hadoop

История возникновения Hadoop.
Понятия BigData, Data Lake.
История проекта.
Основные компоненты и экосистема.
Основные проекты Hadoop: HDFS, MR, YARN, Hive, Tez, HBase, Phoenix, Solr, Spark, Zookeeper, Impala, HUE, Kyybi.
Дистрибутивы Hadoop.
Проект ODPi. Arenadata Hyperwave.
Проект Ambari. ADCM.
Архитектура кластера Hadoop.
HDFS. YARN.
Отказоустойчивость.

Модуль 2. Подготовка окружения к установке Hadoop

Планирование кластера.
Типы узлов. Профили нагрузки.
Аппаратное обеспечение. Примеры кластеров.
Настройка параметров окружения.
Подготовка к установке.
Лабораторная работа. Настройка сети и DNS.
Монтирование и настройка файловой системы.

Модуль 3. Введение в Arenadata Cluster Manager

Основные понятия и компоненты.
Развертывание системы управления.
Подготовка и настройка инфраструктуры с использованием бандла.
Планирование и первичная конфигурация кластера Hadoop.
Установка и настройка мониторинга.
Установка кластера Hadoop.
Мониторинг.
Подходы к конфигурированию сервисов экосистемы Hadoop.
Основные конфигурационные файлы и описание.
Работа с логами сервисов, поиск и выявление проблем работы с сервисами.
Обзор возможностей ADCM. Интерпретация статусов тестов, сервисов в системе управления ADCM

Модуль 4. Пост-настройка кластера Hadoop: HDFS, YARN

Файловая система HDFS.
Основные операции в HDFS.
Работа с файлами и каталогами. Balancer.
Распределенное копирование. HttpFS.
Обслуживание и диагностика HDFS. DataNodes, NameNodes, HA. HDFS UI.
Политики хранения. Tiering. Erasure Coding. Rack Awareness.
Компрессия и форматы файлов.
Парадигма Map Reduce.
Архитектура YARN, HA-режим. Работа с YARN UI.
Scheduler YARN.

Модуль 5. Проверка работоспособности кластера

ZooKeeper. Основные понятия и операции. Работа с Zookeeper CLI.
HBase. Основные понятия и примеры операций. Установка и конфигурирование (GC, Memstore, Compression, Load balancing, Flush). High Availability. Работа с утилитами HBase (check, repair).
Phoenix. Основные операции с данными.
Примеры запросов Hive. Основные понятия и примеры операций. Установка и конфигурирование. High Availability HiveServer.
Работа с утилитами Hive (schema-tool). Работа с Tez UI.
Оптимизация запросов Hive.
Impala. Архитектура и конфигурирование
Spark. Основные понятия и операции.
Установка и конфигурирование. Работа со Spark UI. Примеры кода.
Работа с Livy сервером (REST API).
Kyuubi. Архитектура, подключение и примеры операций. Установка и конфигурирование
HUE. Установка, конфигурирование и обзор UI.

Слушатели

системные администраторы Hadoop, которые хотят получить знания по работе с компонентами и сервисами универсальной гибридной платформы и продвинутые навыки по установке, конфигурированию, обслуживанию, восстановлению и управлению кластером Hadoop с использованием дистрибутива Arenadata Hyperwave и системы управления Arenadata Cluster Manager.

Предварительная подготовка

Знание базовых команд Linux (опыт работы с командной строкой, файловой системой).
Опыт работы с текстовыми редакторами vi, nano.