Uploaded by khollow405

Установка Hadoop

advertisement
Hadoop
Шаг №1: Установка виртуальной системы;
Шаг №2: Установка Ubuntu;
Шаг №3: Настройка Ubuntu;
Шаг №4: Настройка от hduser;
Шаг №5: Скачивание и развёртывание Hadoop;
Шаг №6: Настройка Hadoop;
Шаг №7: Запуск Hadoop.
Шаг №1: Установка виртуальной системы
Шаг 1.1 Найдите на компьютере Iso-файл системы!
(У вас может находится в других папках ваш iso-файл!!!)
Шаг 1.2 Найдите на компьютере и запустите VirtualBox!
(Сама визуальная часть программы может отличаться!!!)
Шаг 1.3 В VirtualBox нажмите на создать и введите название, путь куда создать, тип и версию виртуальной машины!
(Из-за новой версии есть отличия, но делайте так, как сказано в тексте!!!)
Шаг 1.4 Дальше в VirtualBox указываем размер памяти в 3гб!
(Сама визуальная часть программы может отличаться!!!)
Шаг 1.5 Дальше в VirtualBox создаём динамический диск с 20гб!
(Сама визуальная часть программы может отличаться!!!)
Шаг 1.6 Ждём установки новой виртуальной машины!
(Сама визуальная часть программы может отличаться!!!)
Шаг 1.7 Заходим в настройки машины и настраиваем общие  дополнительно!
(Сама визуальная часть программы может отличаться!!!)
Шаг 1.8 Заходим в настройки машины и настраиваем Система  процессор!
(Сама визуальная часть программы может отличаться!!!)
Шаг 1.9 Заходим в настройки машины и настраиваем Дисплей  экран!
(Сама визуальная часть программы может отличаться!!!)
Шаг 1.10 Заходим в настройки машины и настраиваем Носители  ваш iso!
(Сама визуальная часть программы может отличаться!!!)
Шаг 1.11 Смотрим на все наши изменения!
(Сама визуальная часть программы может отличаться!!!)
Шаг №2: Установка Ubuntu
Шаг 2.1 Запускаем нашу виртуальную машину!
Шаг 2.2 Выбираем русский язык и нажимаем установить Ubuntu!
Шаг 2.3 Выбираем русскую раскладку клавиатуры и далее!
Шаг 2.4 Выбираем как на картинке и далее!
Шаг 2.5 Выбираем по умолчанию и далее!
Шаг 2.6 Продолжаем!
Шаг 2.7 Выбираем место, где вы находитесь!
Шаг 2.8 Создаём root пользователя!
Шаг 2.9 Ждём установку Ubuntu!
Шаг 2.10 Перезагружаем!
Шаг 2.11 Нажмите Enter!
Шаг 2.12 Пропускаем!
Шаг 2.13 Пропускаем дальше!
Шаг 2.14 Нечего не обновляем!
Шаг 2.15 Нечего не отправляем!
Шаг 2.16 Нажимаем далее!
Шаг 2.17 Готово!
Шаг №3: Настройка Ubuntu
Шаг 3.1 Настраиваем размер экрана!
Шаг 3.2 Настраиваем размер экрана!
Шаг 3.3 Проверяем выход в интернет!
Шаг 3.4 Подключаем и запускаем образ диска гостевой
ОС, а после перезагружаем систему!
Шаг 3.5 Заново настраиваем экран!
Шаг 3.6 Запускаем терминал!
Шаг 3.7 переходим в супер-пользователя!
Шаг 3.8 Обновляем систему (Update и Upgrade)!
Шаг 3.9 Обновляем систему (full upgrade) и перезапускаем систему!
Шаг 3.10 Устанавливаем MC!
Шаг 3.11 Запускаем MC!
Шаг 3.12 Устанавливаем Java!
Шаг 3.13 Проверяем установку Java!
Шаг 3.14 Делаем группу Hadoop!
Шаг 3.15 Добавляем в группу Hadoop нового пользователя hduser!
Шаг 3.16 проверяем создание пользователя!
Шаг 3.17 Открываем файл от V1 (sudoers)!
Шаг 3.18 Записываем все права пользователю!
Шаг 3.19 Проверяем его права!
Шаг №4: Настройка от hduser
Шаг 4.1 Устанавливаем SSH-сервер!
Шаг 4.2 Генерируем SSH-ключ! (первую делаем от 2ух пользователей)
sudo cat /home/v1/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
Шаг №5: Скачивание и развёртывание Hadoop
Шаг 5.0 Команды для помощи!
C 56 по 60 делаем под v1
Шаг 5.1 Качаем по ссылке Hadoop-2.10.1.tar.gz!
Шаг 5.2 Распаковываем его в папке загрузки!
Шаг 5.3 Переносим папку в Local!
Шаг 5.4 В самой папке делаем два файла NameNode и DataNode!
Шаг 5.5 В самой папке делаем владельца Hadoop!
В последней команде вместо v1 ставим hduser!
Шаг №6: Настройка Hadoop
Шаг 6.1 Открываем файл .bashrc!
Шаг 6.2 Настройка окружения Hadoop!
Шаг 6.3 Проверка запуска HDFS!
Шаг 6.4 Открываем Hadoop-env.sh!
Шаг 6.5 Добавляем окружение Java в Hadoop-env.sh!
Шаг 6.6 Открываем файл Core-site.xml!
Шаг 6.7 добавляем данные в Core-site.xml!
Шаг 6.8 Открываем файл hdfs-site.xml!
Шаг 6.9 добавляем данные в hdfs-site.xml!
Шаг 6.10 Открываем файл yarn-site.xml!
Шаг 6.11 добавляем данные в yarn-site.xml!
Шаг 6.12 Делаем копию mapred-site.xml!
Шаг 6.13 Открываем файл mapred-site.xml!
Шаг 6.14 добавляем данные в mapred-site.xml!
Шаг №7: Запуск Hadoop
Шаг 7.1 Форматируем hadoop!
Шаг 7.2 Запускаем первых демонов!
Шаг 7.3 Запускаем вторых демонов!
Шаг 7.4 Проверка демонов!
Шаг 7.5 Запущенный Hadoop!
Download