Wat is 'n kruiper? kruiper instrument "Yandex" en Google

Elke dag op die internet is daar 'n groot hoeveelheid van die nuwe materiaal te skep van 'n webwerf die ou webblaaie opgedateer, fotos en videos. Sonder verborge soekenjins kon nie gevind word in die World Wide Web, geeneen van hierdie dokumente. Alternatiewe soos robot programme op enige gegewe tyd bestaan nie. Wat is 'n soektog robot, hoekom jy dit nodig het en hoe om te werk?

Wat is 'n soektog robot

Kruiper webwerf (search engine) - dit is 'n outomatiese program wat in staat is om die miljoene webblaaie besoek, vinnig opgevolg deur die internet sonder enige operateur ingryping. Bots is voortdurend scan ruimte van die World Wide Web, die vind van nuwe webblaaie en gereeld te besoek reeds geïndekseer. Ander name vir web crawlers spinnekoppe, kruipers, bots.

Hoekom is soekenjins

Die belangrikste funksies wat soekenjins te voer - webblaaie geïndekseer, sowel as teks, beelde, klank en video lêers wat op hulle. Bots kyk verwysings, spieël webwerwe (afskrifte) en updates. Die robotte ook HTML-kode beheer vir ooreenstemming standaarde van die Wêreldorganisasie, wat ontwikkel en implementeer tegnologiese standaarde vir die World Wide Web uit te voer.

Wat is kruip, en waarom dit nodig is

Kruip - is, in werklikheid, is die proses van die besoek van 'n bepaalde webblad deur soek enjins. Die program skanderings die teks op hierdie webwerf, beelde, video's, uitgaande skakels, dan die bladsy verskyn in die resultate. In sommige gevalle, die webwerf kan nie outomaties geskandeer, dan kan dit na die soekenjin bygevoeg hand webmeester. Tipies, dit gebeur in die afwesigheid van eksterne skakels na 'n spesifieke (dikwels eers onlangs geskep) bladsy.

Hoe kan soek enjin spinnekoppe

Elke soektog het sy eie bot met die Google-soektog robot kan aansienlik wissel na gelang van die meganisme werk op 'n soortgelyke program, "Yandex" of ander stelsels.

In die algemeen, 'n robot werk beginsel is soos volg: die program "kom" op die terrein en eksterne skakels van die hoofblad, "lui" Web hulpbron (insluitend diegene wat op soek oorhoofse wat nie die gebruiker sien). Boot is hoe om te navigeer tussen bladsye van 'n webwerf en skuif op na die ander.

Die program sal wat site indeks te kies? Meer dikwels as nie "reis" die spinnekop begin met nuus of groot hulpbron dopgehou en aggregators met groot verwysing gewig. Kruiper skanderings voortdurend die bladsye een vir een, op die tempo en konsekwentheid van kruip die volgende faktore:

• Interne: perelinovka (interne skakels tussen bladsye van dieselfde bron), site grootte, die korrekte kode, gebruikers-vriendelike en so meer;
• Eksterne: die totale verwysing gewig, wat lei tot die terrein.

Die eerste ding wat die soektog robot soektogte op enige webwerf deur robots.txt. Verdere hulpbron kruip uitgevoer gebaseer op die inligting wat ontvang is van hierdie dokument. Die lêer bevat spesifieke instruksies vir die "spinnekoppe" dat die kanse van bladsy besoeke kan verhoog deur soek enjins, en gevolglik tot 'n vroeë treffer webwerf in die "Yandex" of Google bereik.

Program analoë crawlers

Dikwels die term "soek robot" is verwar met intelligente, gebruiker of outonome agente, "miere" of "wurms". Gedompel beduidende verskille net in vergelyking met agente, ander definisies verwys na soortgelyke tipes robots.

Byvoorbeeld, kan agente wees:

• intellektuele: die program, wat verhuis van werf na werf, onafhanklik te besluit hoe om voort te gaan; hulle is nie baie algemeen op die Internet;
• Outonome: Hierdie agente help die gebruiker in 'n produk, soek kies, of vorms invul, die sogenaamde filters, wat min verband hou met netwerk programme is;.
• gebruiker: die program by te dra tot die gebruiker interaksie met die World Wide Web, 'n leser (byvoorbeeld, Opera, Internet Explorer, Google Chrome, Firefox), boodskappers (Viber, Telegram) of e-pos programme (MS Outlook en Qualcomm).

"Miere" en "wurms" is meer soortgelyk aan die soektog "spinnekoppe". Die eerste vorm tussen 'n netwerk en konsekwent interaksie soos hierdie mier kolonie, "wurms" in staat is om te herhaal in ander opsigte dieselfde as die standaard kruiper.

Verskeidenheid van die soektog robots

Onderskei tussen baie soorte crawlers. Afhangende van die doel van die program, hulle is:

• "Mirror" - Duplikate is op webtuistes.
• Mobile - fokus op mobiele weergawes van webblaaie.
• Vinnige - vinnig op te los nuwe inligting deur die lees van die nuutste updates.
• Verwysing - verwysing indeks, tel hul getalle.
• Index verskillende tipes van die inhoud - spesifieke programme vir teks, klank, video, beelde.
• "Spyware" - op soek na bladsye wat nog nie vertoon word in die soektog.
• "Woodpecker" - van tyd tot tyd besoek webwerwe om hul relevansie en doeltreffendheid na te gaan.
• National - op die Web hulpbronne geleë op een van die land gebiede (bv, mobi, of .kz .ua).
• Global - indeks al die nasionale webwerwe.

Robotte groot soekenjins

Daar is ook 'n paar soekenjins. In teorie, kan hul funksies wissel, maar in die praktyk die programme is byna identies. Die belangrikste verskille kruip webblaaie robots twee groot soekenjins is soos volg:

• Die streng toets. Daar word geglo dat die meganisme van kruiper "Yandex" ietwat strenger skattings die terrein vir die nakoming van die standaarde van die World Wide Web.
• Behoud van die integriteit van die site. Die Google kruiper kruip die hele werf (insluitende media-inhoud), "Yandex" kan ook inhoud selektief.
• Spoedtoets nuwe bladsye. Google voeg nuwe hulpbron in die resultate binne 'n paar dae, in die geval van "deur Yandex" proses kan twee weke of langer duur.
• Die frekwensie van re-kruip. Kruiper "Yandex" kyk vir updates twee keer 'n week, en Google - een elke 14 dae.

Internet, natuurlik, nie beperk tot die twee soek enjins. Ander soekenjins het hul robots wat hul eie kruip parameters volg. Daarbenewens is daar is 'n hele paar "spinnekoppe" wat ontwerp is nie groot hulpbronne search, en individuele spanne of webmasters.

algemene wanopvattings

In teenstelling met die algemene opvatting, "spinnekoppe" nie die inligting te verwerk. Die program skanderings net en slaan webblaaie en verdere verwerking neem 'n heel ander robots.

Ook, baie gebruikers is van mening dat die soekenjins het 'n negatiewe impak en "skadelike" Internet. In feite, kan 'n paar weergawes van "spinnekoppe" aansienlik oorlaai die bediener. Daar is ook 'n menslike faktor - die webmeester, wat die program, kan foute in die robot opset maak geskep. Maar die meeste van die bestaande programme is goed ontwerp en professioneel bestuur, en enige opkomende probleme dadelik verwyder word.

Hoe om die kruip bestuur

Soektog robots is die outomatiese programme, maar die indeksering proses kan gedeeltelik beheer word deur die webmeester. Dit help baie eksterne en interne optimalisering van die hulpbron. Daarbenewens, kan jy met die hand 'n nuwe tuiste te voeg om 'n soektog: groot hulpbronne het 'n spesiale vorm van webblaaie registrasie.