Визуелизујте Апацхе евиденције помоћу ЕЛК Стацк-а

Надгледање и анализа дневника за различите инфраструктуре у реалном времену може бити врло досадан посао. Када се ради о услугама попут веб сервера који непрестано евидентирају податке, процес може бити врло сложен и готово немогућ.

Као такво, знање о коришћењу алата за праћење, визуализацију и анализу евиденција у реалном времену може вам помоћи у проналажењу и решавању проблема и надгледању сумњивих системских активности.

Овај водич ће размотрити како можете да користите једну од најбољих колекција дневника у реалном времену и алате за анализу - ЕЛК. Користећи ЕЛК, познатији као Еластицсеарцх, Логстасх и Кибана, можете сакупљати, евидентирати и анализирати податке са Апацхе веб сервера у реалном времену.

Шта је ЕЛК Стацк?

ЕЛК је скраћеница која се користи за означавање три главна алата отвореног кода: Еластицсеарцх, Логстасх и Кибана.

Еластицсеарцх је алат отвореног кода развијен за проналажење подударања у великој колекцији скупова података користећи избор језика и типова упита. То је лаган и брз алат способан за лако руковање терабајтима података.

Логстасх енгине је веза између серверске стране и Еластицсеарцх, омогућавајући вам прикупљање података из одабраних извора до Еластицсеарцх. Нуди моћне АПИ-је који су лако интегрирани са апликацијама развијеним у различитим програмским језицима.

Кибана је завршни део ЕЛК стека. То је алат за визуелизацију података који вам омогућава да визуелно анализирате податке и генеришете проницљиве извештаје. Такође нуди графиконе и анимације који вам могу помоћи у интеракцији са вашим подацима.

ЕЛК стек је веома моћан и може да уради невероватне ствари у вези са анализом података.

Иако ће вам различити концепти о којима ћемо разговарати у овом водичу добро разумети ЕЛК стек, за додатне информације размотрите документацију.

Еластицсеарцх: хттпс: // линкфи.до / Еластицсеарцх-Референце

Логстасх: хттпс: // линкфи.у / ЛогстасхРеференце

Кибана: хттпс: // линкфи.до / КибанаГуиде

Како инсталирати Апацхе?

Пре него што започнемо инсталирање Апацхе-а и свих зависности, добро је напоменути неколико ствари.

Тестирали смо ово упутство на Дебиану 10.6, али ће радити и са другим Линук дистрибуцијама.

У зависности од конфигурације система, требају вам судо или роот дозволе.

Компатибилност и употребљивост ЕЛК стека могу се разликовати у зависности од верзије.

Први корак је осигурати да ваш систем буде потпуно ажуриран:

судо апт-гет упдате
судо апт-гет надоградња

Следећа команда је инсталирање веб сервера апацхе2. Ако желите инсталирати минимални апацхе, уклоните документацију и услужне програме из наредбе у наставку.

судо апт-гет инсталирати апацхе2 апацхе2-утилс апацхе2-доц -и
судо сервис апацхе2 старт

До сада би на вашем систему требао бити покренут Апацхе сервер.

Како инсталирати Еластицсеарцх, Логстасх и Кибана?

Сада морамо да инсталирамо ЕЛК стек. Инсталираћемо сваки алат појединачно.

Еластицсеарцх

Почнимо са инсталирањем Еластицсеарцх-а. Користићемо апт за његову инсталацију, али стабилно издање можете добити са званичне странице за преузимање овде:

хттпс: // ввв.еластичан.цо / довнлоадс / еластицсеарцх

Еластицсеарцх захтева да Јава ради. Срећом, најновија верзија долази у пакету са пакетом ОпенЈДК, уклањајући муку око ручне инсталације. Ако требате ручно инсталирати, погледајте следећи ресурс:

хттпс: // ввв.еластичан.цо / гуиде / ен / еластицсеарцх / референце / цуррент / сетуп.хтмл # јвм-верзија

У следећем кораку морамо преузети и инсталирати званични кључ за потписивање Еластиц АПТ помоћу команде:

вгет -кО - хттпс: // артефакти.еластичан.цо / ГПГ-КЕИ-еластицсеарцх | судо апт-кеи додај -

Пре него што наставите, можда ће вам требати пакет апт-транспорт-хттпс (потребан за пакете који се сервирају преко хттпс-а) пре него што наставите са инсталацијом.

судо апт-гет инсталирај апт-транспорт-хттпс

Сада додајте одговарајуће репо информације изворима.листа.д датотека.

ецхо “деб хттпс: // артефакти.еластичан.цо / пакети / 7.к / апт стабилан главни ”| судо тее / етц / апт / соурцес.листа.д / еластична-7.Икс.листа

Затим ажурирајте листу пакета на вашем систему.

судо апт-гет упдате

Инсталирајте Еластицсеарцх помоћу наредбе испод:

судо апт-гет инсталирај еластицсеарцх

Инсталирајући Еластицсеарцх, покрените и омогућите покретање приликом покретања помоћу наредби системцтл:

судо системцтл даемон-релоад
судо системцтл омогући еластично претраживање.услуга
судо системцтл старт еластицсеарцх

Услуга може потрајати док не почне. Сачекајте неколико минута и потврдите да је услуга покренута командом:

судо системцтл статус еластицсеарцх.услуга

Користећи цУРЛ, тестирајте да ли је доступан Еластицсеарцх АПИ, као што је приказано у ЈСОН излазу испод:

цурл -Кс ГЕТ "лоцалхост: 9200 /?прилично"

"наме": "дебиан",
"цлустер_наме": "еластицсеарцх",
"цлустер_ууид": "ВЗХцуТУкСсКО1риХкМДВсг",
"верзија":
"нумбер": "7.10.1 ",
"буилд_флавор": "подразумевано",
"буилд_типе": "деб",
"буилд_хасх": "1ц34507е66д7дб1211ф66ф3513706фдф548736аа",
"буилд_дате": "2020-12-05Т01: 00: 33.671820З ",
"буилд_снапсхот": нетачно,
"луцене_версион": "8.7.0 ",
"минимум_вире_цомпатибилити_версион": "6.8.0 ",
"минимум_индек_цомпатибилити_версион": "6.0.0-бета1 "
,
„Таглине“: „Знате, за претрагу“

Како инсталирати Логстасх?

Инсталирајте логстасх пакет помоћу наредбе:

судо апт-гет инсталирајте логстасх

Како инсталирати Кибана?

Унесите наредбу испод да бисте инсталирали кибана:

судо апт-гет инсталирај кибана

Како да конфигуришете Еластицсеарцх, Логстасх и Кибана?

Ево како да конфигуришете ЕЛК стек:

Како конфигурисати Еластицсеарцх?

У Еластицсеарцх-у подаци се поређају у индексе. Сваки од ових индекса има једну или више крхотина. Крхотина је самостални претраживач који се користи за управљање индексима и упитима за подскуп у кластеру унутар Еластицсеарцх-а и управљање њима. Крхотина делује као пример индекса луцена.

Подразумевана инсталација Еластицсеарцх креира пет крхотина и једну копију за сваки индекс. Ово је добар механизам у производњи. Међутим, у овом упутству ћемо радити са једном крхотином и без реплика.

Почните са израдом индексног предлошка у ЈСОН формату. У датотеци ћемо поставити број крхотина на једну и нула реплика за подударање имена индекса (развојне сврхе).

У Еластицсеарцх, предложак индекса односи се на то како упутите Еластицсеарцх у постављању индекса током процеса стварања.

Унутар датотеке јсон предлошка (индек_темплате.јсон), унесите следећа упутства:

"темплате": "*",
"подешавања":
"индекс":
"нумбер_оф_схардс": 1,
"нумбер_оф_реплицас": 0

Користећи цУРЛ, примените јсон конфигурацију на образац, који ће се применити на све креиране индексе.

цурл -Кс ПУТ хттп: // лоцалхост: 9200 / _темплате / дефаултс -Х 'Цонтент-Типе: апплицатион / јсон' -д @индек_темплате.јсон
"потврђено": тачно

Једном примењен, Еластицсеарцх ће одговорити потврђеном: истинитом изјавом.

Како конфигурисати Логстасх?

Да би Логстасх прикупљао евиденције из Апацхе-а, морамо га конфигурисати да прати све промене у евиденцијама прикупљањем, обрадом, а затим чувањем дневника у Еластицсеарцх. Да би се то догодило, потребно је да подесите путању дневника прикупљања у Логстасх-у.

Почните са креирањем Логстасх конфигурације у датотеци / етц / логстасх / цонф.д / апацхе.цонф

улазни
датотека
путања => '/ вар / ввв / * / логс / аццесс.Пријава'
типе => "апацхе"


филтер
грок
матцх => "мессаге" => "% ЦОМБИНЕДАПАЦХЕЛОГ"


оутпут
еластична претрага

Сада осигурајте да омогућите и покренете услугу логстасх.

судо системцтл омогући логстасх.услуга
судо системцтл старт логстасх.услуга

Како омогућити и конфигурисати Кибана?

Да бисте омогућили Кибана, уредите главно .имл конфигурациона датотека која се налази у / етц / кибана / кибана.имл. Пронађите следеће уносе и ракоментирајте их. Када завршите, користите системцтл за покретање услуге Кибана.

сервер.лука: 5601
сервер.домаћин: "лоцалхост"
судо системцтл омогући кибана.сервис && судо системцтл старт кибана.услуга

Кибана креира узорке индекса на основу обрађених података. Дакле, морате сакупљати евиденције помоћу Логстасха и складиштити их у Еластицсеарцх-у, који Кибана може користити. Користите цурл за генерисање дневника из Апацхе-а.

Једном када добијете евиденције из Апацхе-а, покрените Кибана у свом прегледачу помоћу адресе хттп: // лоцалхост: 5601, која ће покренути индексну страницу Кибана.

Углавном, треба да конфигуришете образац индекса који Кибана користи за претрагу дневника и генерисање извештаја. Подразумевано, Кибана користи образац индекса логстасх *, који се подудара са свим подразумеваним индексима које генерише Логстасх.

Ако немате никакву конфигурацију, кликните на дугме Креирај да бисте започели прегледање дневника.

Како прегледати дневнике Кибане?

Како настављате да извршавате Апацхе захтеве, Логстасх ће прикупљати евиденције и додавати их у Еластицсеарцх. Ове дневнике можете прегледати у Кибани кликом на опцију Откривање у левом менију.

Картица Откривање омогућава вам преглед дневника док их сервер генерише. Да бисте видели детаље дневника, једноставно кликните падајући мени.

Прочитајте и разумите податке из Апацхе дневника.

Како претраживати дневнике?

У интерфејсу Кибана пронаћи ћете траку за претрагу која вам омогућава претрагу података помоћу стрингова упита.

Пример: статус: активан

Сазнајте више о ЕЛК низовима упита овде:

хттпс: // ввв.еластичан.цо / гуиде / ен / еластицсеарцх / референце / 5.5 / куери-дсл-куери-стринг-куери.хтмл # куери-стринг-синтакса

Будући да имамо посла са Апацхе евиденцијама, једно могуће подударање је статусни код. Отуда претрага:

одговор: 200

Овај код ће претраживати евиденције са статусним кодом 200 (ОК) и приказивати их Кибани.

Како визуализовати евиденције?

Можете да креирате визуелне контролне табле у Кибани избором картице Визуализација. Изаберите тип контролне табле за креирање и изаберите индекс претраге. Подразумевано можете користити у сврхе тестирања.

Закључак

У овом водичу смо разговарали о прегледу како се користи ЕЛК стек за управљање дневницима. Међутим, овај чланак може да обухвати више ових технологија. Препоручујемо да истражите сами.