Phenquestions
Апацхе Хадооп је решење за велике податке за складиштење и анализу великих количина података. У овом чланку ћемо детаљно представити сложене кораке за подешавање Апацхе Хадооп-а како бисте што брже започели с њим на Убунтуу. У овом посту ћемо инсталирати Апацхе Хадооп на Убунту 17.10 машина.
Убунту верзија
За овај водич користићемо Убунту верзије 17.10 (ГНУ / Линук 4.13.0-38-генерички к86_64).
Ажурирање постојећих пакета
Да бисмо започели инсталацију за Хадооп, неопходно је да ажурирамо нашу машину најновијим доступним софтверским пакетима. То можемо учинити са:
судо апт-гет упдате && судо апт-гет -и дист-упградеКако је Хадооп заснован на Јави, морамо га инсталирати на нашу машину. Можемо користити било коју Јава верзију изнад Јава 6. Овде ћемо користити Јаву 8:
судо апт-гет -и инсталирај опењдк-8-јдк-хеадлессПреузимање датотека Хадооп
Сви потребни пакети сада постоје на нашој машини. Спремни смо за преузимање потребних Хадооп ТАР датотека како бисмо могли да их започнемо са подешавањем и покренемо пример програма са Хадооп-ом.
У овом водичу ћемо инсталирати Хадооп в3.0.1. Преузмите одговарајуће датотеке помоћу ове наредбе:
вгет хттп: // огледало.цц.колумбија.еду / пуб / софтваре / апацхе / хадооп / цоммон / хадооп-3.0.1 / хадооп-3.0.1.катран.гзУ зависности од брзине мреже, ово може потрајати неколико минута јер је датотека велике величине:
Преузимање Хадооп-а
Овде можете пронаћи најновије Хадооп бинарне датотеке. Сада када смо преузели ТАР датотеку, можемо да издвојимо у тренутни директоријум:
тар квзф хадооп-3.0.1.катран.гзОво ће потрајати неколико секунди због велике величине датотеке архиве:
Хадооп архивиран
Додата је нова група корисника Хадооп
Како Хадооп ради преко ХДФС-а, нови систем датотека може пореметити и наш сопствени систем датотека на Убунту машини. Да бисмо избегли ову колизију, створићемо потпуно одвојену корисничку групу и доделити је Хадоопу тако да садржи сопствене дозволе. Овом наредбом можемо додати нову корисничку групу:
аддгроуп хадоопВидећемо нешто попут:
Додавање Хадооп корисничке групе
Спремни смо да додамо новог корисника у ову групу:
усерадд -Г хадооп хадоопусерИмајте на уму да су све наредбе које извршавамо саме по себи као роот корисник. Помоћу команде аове успели смо да додамо новог корисника у групу коју смо креирали.
Да бисмо кориснику Хадооп омогућили да изводи операције, морамо му омогућити и роот приступ. Отвори / етц / судоерс датотека са овом наредбом:
судо висудоПре него што додамо било шта, датотека ће изгледати овако:
Датотека Судоерс пре додавања било чега
На крај датотеке додајте следећи ред:
хадоопусер СВЕ = (СВЕ) СВЕСада ће датотека изгледати овако:
Датотека Судоерс након додавања корисника Хадооп
Ово је била главна поставка за пружање Хадооп-а платформе за извођење акција. Спремни смо да сада подесимо кластер Хадооп са једним чвором.
Постављање Хадооп појединачног чвора: самостални режим
Када је реч о стварној снази Хадооп-а, обично се поставља на више сервера тако да се може прилагодити великој количини скупа података присутних у Дистрибуирани систем датотека Хадооп (ХДФС). Ово је обично у реду са окружењима за отклањање грешака и не користи се за продуктивну употребу. Да би поступак био једноставан, објаснићемо како овде можемо да извршимо подешавање једног чвора за Хадооп.
Када завршимо са инсталирањем Хадооп-а, покренућемо и примерак апликације на Хадооп-у. Од сада се датотека Хадооп назива хадооп-3.0.1. преименујмо га у хадооп ради једноставније употребе:
мв хадооп-3.0.1 хадоопДатотека сада изгледа као:
Мовинг Хадооп
Време је да искористимо хадооп корисника којег смо раније креирали и доделимо власништво над овом датотеком том кориснику:
цховн -Р хадоопусер: хадооп / корен / хадоопБоља локација за Хадооп биће / уср / лоцал / директоријум, па га преместимо тамо:
мв хадооп / уср / лоцал /цд / уср / лоцал /
Додавање Хадооп-а у Патх
Да бисмо извршили Хадооп скрипте, сада ћемо га додати на путању. Да бисте то урадили, отворите датотеку басхрц:
ви ~ /.басхрцДодајте ове редове на крај .басхрц датотеку тако да путања може садржати путању извршне датотеке Хадооп:
# Конфигуришите Хадооп и Јава Хомеизвоз ХАДООП_ХОМЕ = / уср / лоцал / хадооп
извоз ЈАВА_ХОМЕ = / уср / либ / јвм / јава-8-опењдк-амд64
извози ПАТХ = $ ПАТХ: $ ХАДООП_ХОМЕ / бин
Датотека изгледа овако:
Додавање Хадооп-а у Патх
Како Хадооп користи Јаву, морамо да кажемо датотеци окружења Хадооп хадооп-енв.сх где се налази. Локација ове датотеке може се разликовати у зависности од верзија Хадооп-а. Да бисте лако пронашли где се налази ова датотека, покрените следећу команду одмах испред директоријума Хадооп:
пронађи хадооп / -име хадооп-енв.схДобит ћемо излаз за локацију датотеке:
Локација датотеке окружења
Уредимо ову датотеку да обавестимо Хадооп о локацији Јава ЈДК и убацимо је у последњи ред датотеке и сачувамо:
извоз ЈАВА_ХОМЕ = / уср / либ / јвм / јава-8-опењдк-амд64Инсталација и подешавање Хадооп-а је сада завршено. Спремни смо да сада покренемо нашу апликацију за узорке. Али сачекајте, никада нисмо поднели узорак пријаве!
Покретање Сампле апликације са Хадооп-ом
Заправо, Хадооп инсталација долази са уграђеном апликацијом за узорке која је спремна за покретање након што завршимо са инсталирањем Хадооп-а. Звучи добро, тачно?
Покрените следећу наредбу да бисте покренули пример ЈАР:
хадооп јар / роот / хадооп / схаре / хадооп / мапредуце / хадооп-мапредуце-примери-3.0.1.јар вордцоунт / роот / хадооп / РЕАДМЕ.ткт / роот / оутпутХадооп ће показати колику је обраду урадио на чвору:
Статистика обраде Хадооп-а
Једном када извршите следећу наредбу, датотеку парт-р-00000 видимо као излаз. Само напред и погледајте садржај резултата:
мачка део-р-00000Добићете нешто попут:
Излаз броја речи помоћу Хадооп-а
Закључак
У овој лекцији смо погледали како можемо да инсталирамо и почнемо да користимо Апацхе Хадооп на Убунту 17.10 машина. Хадооп је одличан за складиштење и анализу огромне количине података и надам се да ће вам овај чланак помоћи да брзо почнете да га користите на Убунту-у.
