Није новост да је Гоогле највећи претраживач на свету. Много људи ће уложити додатне напоре да њихов садржај буде високо рангиран на Гоогле-у пре било ког другог претраживача. Као резултат овога, Гоогле има пуно квалитетних резултата за сваку претрагу, а са сјајним алгоритмима за рангирање можете очекивати најбоље резултате претраживања на Гоогле-у.

Ово има импликацију. Његова импликација је да на Гоогле-у постоји пуно корисних података и то захтева потребу за уклањањем ових златних података. Изгребани подаци могу се користити за квалитетну анализу података и откривање дивних увида. Такође може бити важно у једном покушају добити велике истраживачке информације.

Говорећи о стругању, то се може учинити помоћу алата независних произвођача. То се може урадити и са Питхон библиотеком познатом као Сцрапи. Стругање је оцењено као један од најбољих алата за стругање и може се користити за стругање готово сваке веб странице. Више можете сазнати у библиотеци Сцрапи.

Међутим, без обзира на снаге ове дивне библиотеке. Стругање података на Гоогле-у могао би бити један тежак задатак. Гоогле се тешко сруши на било који покушај стругања путем интернета, осигуравајући да скрипте за стругање не поднесу чак 10 захтева за гребањем у сат времена пре него што им ИП адреса буде забрањена.  Ово чини скрипте за стругање треће стране и личног веб-а бескорисним.

Гоогле даје прилику да струже информације. Међутим, било какво стругање које би се вршило мора бити преко интерфејса за програмирање апликација (АПИ).

Само ако већ не знате шта је интерфејс за програмирање апликација, нема разлога за бригу јер ћу дати кратко објашњење. По дефиницији, АПИ је скуп функција и поступака који омогућавају стварање апликација које приступају карактеристикама или подацима оперативног система, апликације или друге услуге. У основи, АПИ вам омогућава приступ крајњим резултатима процеса без потребе да будете укључени у те процесе. На пример, температурни АПИ пружио би вам Целзијусове / Фахренхеитове вредности места, а да тамо не морате да идете са термометром да бисте сами мерили.

Уводећи ово у опсег стругања информација са Гоогле-а, АПИ који бисмо користили омогућава нам приступ потребним информацијама без потребе за писањем било које скрипте за стругање странице резултата Гоогле претраге. Путем АПИ-ја можемо једноставно имати приступ крајњем резултату (након што Гоогле изведе „стругање“ на њиховом крају) без писања било каквог кода за стругање веб страница.

Иако Гоогле има пуно АПИ-ја за различите сврхе, ми ћемо користити ЈСОН АПИ за прилагођену претрагу у сврху овог чланка. Више информација о овом АПИ-ју можете пронаћи овде.

Овај АПИ омогућава нам да бесплатно извршимо 100 упита за претрагу дневно, уз доступне планове цена за постављање додатних упита ако је потребно.

Израда прилагођеног претраживача

Да бисмо могли да користимо ЈСОН АПИ прилагођене претраге, требао би нам ИД прилагођеног претраживача. Међутим, прво бисмо морали да креирамо прилагођени претраживач, што се може урадити овде.

Када посетите страницу прилагођеног претраживача, кликните на дугме „Додај“ да бисте креирали нови претраживач.

У поље „веб странице за претрагу“ једноставно унесите „ввв.линукхинт.цом “и у поље„ Име претраживача “унесите било које описно име по вашем избору (Гоогле би био пожељнији).

Сада кликните на „Креирај“ да бисте креирали прилагођени претраживач и кликните на дугме „контролна табла“ на страници да бисте потврдили успех стварања.

Видели бисте одељак „ИД претраживача“ и испод њега ИД, то је ИД који би нам требао АПИ, а позвали бисмо се на њега касније у овом упутству. ИД претраживача треба држати приватним.

Пре него што одемо, сетите се да смо ставили „ввв.линухинт.цом “раније. Са том поставком резултате бисмо добили само са странице. Ако желите да добијете нормалне резултате укупне веб претраге, кликните на „Подешавање“ у менију са леве стране, а затим на картицу „Основе“. Идите на одељак „Претражите целу мрежу“ и укључите ову функцију.

Креирање АПИ кључа

Након креирања прилагођеног претраживача и добијања његовог ИД-а, следеће би било стварање АПИ кључа. АПИ кључ омогућава приступ АПИ услузи и требало би да буде заштићен након креирања, баш као и ИД претраживача.

Да бисте креирали АПИ кључ, посетите страницу и кликните на дугме „Набавите кључ“.

Направите нови пројекат и дајте му описно име. Кликом на „даље“, генерисали бисте АПИ кључ.

На следећој страници имали бисмо различите опције подешавања које нису потребне за овај водич, тако да само кликнете на дугме „сачувај“ и спремни смо за почетак.

Приступање АПИ-ју

Успешно смо добили ИД прилагођене претраге и АПИ кључ. Следеће ћемо користити АПИ.

Иако АПИ-ју можете приступити са другим програмским језицима, то ћемо чинити са Питхоном.

Да бисте могли да приступите АПИ-ју са Питхоном, морате да инсталирате Гоогле АПИ клијент за Питхон. Ово се може инсталирати помоћу пип инсталл пакета помоћу наредбе испод:

пип инсталирајте гоогле-апи-питхон-цлиент

Након успешне инсталације, сада можете да увезете библиотеку у наш код.

Већина онога што ће се урадити било би путем функције испод:

фром гооглеапицлиент.откриће увоз градити
ми_апи_кеи = "Ваш АПИ кључ"
ми_цсе_ид = "Ваш ЦСЕ ИД"
деф гоогле_сеарцх (сеарцх_терм, апи_кеи, цсе_ид, ** кваргс):
сервице = буилд ("цустомсеарцх", "в1", девелоперКеи = апи_кеи)
рес = услуга.цсе ().листа (к = термин за претрагу, цк = цсе_ид, ** кваргс).извршити ()
повратак рез

У горњој функцији, ми_апи_кеи и ми_цсе_ид променљиве треба заменити АПИ кључем и ИД претраживача, односно вредностима низа.

Све што сада треба да урадимо је да позовемо функцију која прослеђује појам за претрагу, апи кључ и цсе ид.

резултат = гоогле_сеарцх ("Кафа", ми_апи_кеи, ми_цсе_ид)
испис (резултат)

Горњи позив функције тражио би кључну реч „Кафа“ и враћеној вредности доделио вредност резултат променљива, која се затим штампа. АПИ прилагођеног претраживања враћа ЈСОН објекат, па би свако даље рашчлањивање резултујућег објекта захтевало мало знања о ЈСОН-у.

То се може видети из узорка резултата као што се види доле:

Горњи враћени ЈСОН објекат врло је сличан резултату из Гоогле претраге:

Резиме

Стругање Гоогле-а за информацијама заправо није вредно стреса. АПИ прилагођене претраге олакшава живот свима, јер је једина потешкоћа у рашчлањивању ЈСОН објекта за потребне информације. Подсећања ради, увек имајте на уму да ваше вредности ИД-а прилагођеног претраживача и АПИ кључа морају бити приватне.