Велики подаци су подаци реда терабајта или петабајта и даље, који се састоје од рударства, анализе и предиктивног моделирања великих скупова података. Брзи раст информационог и технолошког развоја пружио је јединствену прилику појединцима и предузећима широм света да остваре профит и развију нове способности редефинисањем традиционалних пословних модела користећи велику аналитику.

Овај чланак пружа поглед из птичје перспективе на пет најпопуларнијих платформи података отвореног кода. Ево наше листе:

Апацхе Хадооп

Апацхе Хадооп је софтверска платформа отвореног кода која обрађује веома велике скупове података у дистрибуираном окружењу с обзиром на меморију и рачунску снагу, а углавном је изграђена на јефтином робном хардверу.

Апацхе Хадооп је дизајниран за лако скалирање са неколико на хиљаде сервера. Помаже вам да обрађујете локално ускладиштене податке у укупном паралелном обрађивању. Једна од благодати Хадооп-а је та што рјешава кварове на софтверском нивоу. Следећа слика илуструје укупну архитектуру Хадооп екосистема и где су различити оквири у њему:

Апацхе Хадооп пружа оквир за слој система датотека, слој управљања кластером и слој обраде. Оставља могућност да други пројекти и оквири дођу и раде заједно са Хадооп екосистемом и развију сопствени оквир за било који слој доступан у систему.

Апацхе Хадооп се састоји од четири главна модула. Ови модули су Хадооп Дистрибутед Филе Систем (слој система датотека), Хадооп МапРедуце (који ради и са управљањем кластером и са слојем обраде), Још један преговарач о ресурсима (ИАРН, слој за управљање кластером) и Хадооп Цоммон.

Еластицсеарцх

Еластицсеарцх је пун претраживач и аналитички механизам заснован на тексту. То је високо скалабилан и дистрибуиран систем, посебно дизајниран за ефикасан и брз рад са системима великих података, где је један од његових главних примена анализа дневника. Оспособљен је за обављање напредних и сложених претрага и обраду готово у реалном времену за напредну аналитику и оперативну интелигенцију.

Еластицсеарцх је написан на Јави и заснован је на Апацхе Луцене-у. Објављен 2010. године и брзо је стекао популарност због флексибилне структуре података, скалабилне архитектуре и врло брзог времена одзива. Еластицсеарцх заснован је на ЈСОН документу са структуром без шеме, чинећи усвајање лаким и без муке. Један је од врхунских претраживача пословног нивоа. Можете написати његовог клијента на било ком програмском језику; Еластицсеарцх званично ради са Јавом, .НЕТ, ПХП, Питхон, Перл итд.

Еластицсеарцх углавном комуницира користећи РЕСТ АПИ. Добија податке у облику ЈСОН докумената са свим потребним параметрима и пружа свој одговор на сличан начин.

МонгоДБ

МонгоДБ је НоСКЛ база података заснована на моделу података складишта докумената. У МонгоДБ-у је све или збирка или документ. Да би се разумела МонгоДБ терминологија, збирка је алтернативна реч за табелу, док је документ алтернативна реч за редове.

МонгоДБ је база података отвореног кода, оријентисана на документе и на више платформи. Првенствено је написано у Ц++. Такође је водећа НоСКЛ база података која пружа високе перформансе, високу доступност и лаку скалабилност. МонгоДБ користи ЈСОН-сличне документе са шемом и пружа богату подршку за упите. Неке од главних карактеристика укључују индексирање, репликацију, уравнотежење оптерећења, агрегацију и складиштење датотека.

Цассандра

Цассандра је Апацхе пројекат отвореног кода дизајниран за управљање НоСКЛ базом података. Редови Касандре су организовани у табеле и индексирани кључем. Користи додатак, механизам за складиштење заснован на евиденцији. Подаци у Цассандри дистрибуирају се кроз више чворова без мастер-а, без иједне тачке квара. То је Апацхе пројекат највишег нивоа, а његов развој тренутно надгледа Апацхе Софтваре Фоундатион (АСФ).

Цассандра је дизајнирана за решавање проблема повезаних са радом у великом (веб) обиму. С обзиром на Цассандрину безмастерну архитектуру, она је у стању да настави да изводи операције упркос малом (иако значајном) броју хардверских кварова. Касандра пролази преко више чворова у више центара података. Реплицира податке у овим дата центрима како би избегао кварове или застоје. То га чини системом врло отпорним на кварове.

Касандра користи сопствени програмски језик за приступ подацима преко својих чворова. Зове се Цассандра Куери Лангуаге или ЦКЛ. Сличан је СКЛ-у, који углавном користе релационе базе података. ЦКЛ се може користити покретањем сопствене апликације зване цклсх. Цассандра такође нуди мноштво интеграционих интерфејса за више програмских језика за изградњу апликације помоћу Цассандре. Његов интеграциони АПИ подржава Јава, Ц ++, Питхон и друге.

Апацхе ХБасе

ХБасе је још један Апацхе пројекат дизајниран за управљање НоСКЛ складиштем података. Дизајниран је да користи карактеристике екосистема Хадооп, укључујући поузданост, толеранцију грешака итд. За потребе складиштења користи ХДФС као систем датотека. Постоји више модела података са којима НоСКЛ ради, а Апацхе ХБасе припада моделу података оријентисаном на колону. ХБасе се првобитно заснивао на Гоогле Биг Табле, који је такође повезан са моделом оријентисаним на колоне за неструктуриране податке.

ХБасе чува све у облику пара кључ / вредност. Важно је напоменути да су у ХБасеу кључ и вредност у облику бајтова. Дакле, да бисте сачували било какве информације у ХБасе, морате их претворити у бајтове. (Другим речима, његов АПИ не прихвата ништа осим бајт поља.) Будите опрезни са ХБасе-ом, јер када складиштите податке, треба да се сетите њиховог оригиналног типа. Подаци који су првобитно били низ вратиће се као бајтни низ ако су погрешно опозвани. Као резултат, створиће грешку у вашој апликацији и срушиће вашу апликацију.

Надам се да вам се свидео овај чланак. Ако желите да дизајнирате и дизајнирате апликације које захтевају много података, онда можете истражити Ануј Кумар Архитектура података интензивних апликација. Ово књига је ваш пролаз за изградњу паметних система који захтевају податке уграђивањем основних архитектонских принципа, образаца и техника који захтевају податке директно у вашу архитектуру апликација.