Die soekenjinrobot is verantwoordelik vir die webblaai van webblaaie. Die program lees outomaties data van alle webwerwe en registreer dit in 'n vorm wat verstaanbaar is vir die soekenjin, sodat die stelsel later die geskikste resultate vir die gebruiker sal vertoon.
Funksies
Alle geïndekseerde inligting word in 'n algemene databasis aangeteken.
'N Soekrobot is 'n program wat outomaties deur die bladsye van die internet beweeg, die nodige dokumente aanvra en die struktuur van deursoekde webwerwe ontvang. Die robot kies onafhanklik die bladsye wat geskandeer moet word. In die meeste gevalle word webwerwe om te skandeer willekeurig gekies.
Bot soorte
'N Robot wat verkeerd funksioneer, verhoog die las op die netwerk en die bediener aansienlik, wat kan veroorsaak dat die hulpbron nie beskikbaar is nie.
Elke soekenjin het verskeie programme wat robotte genoem word. Elkeen kan 'n spesifieke funksie verrig. Byvoorbeeld, by Yandex is sommige robots verantwoordelik vir die skandering van RSS-nuusfeeds, wat nuttig sal wees vir die indeksering van blogs. Daar is ook programme wat slegs na foto's soek. Die belangrikste is egter die indekseringsbot, wat die basis vorm vir enige soektog. Daar is ook 'n hulp-vinnige robot wat ontwerp is om te soek na opdaterings oor nuusfeeds en gebeure.
Skandeerprosedure
'N Ander manier om deurkruising van inhoud te voorkom, is om toegang tot die webwerf via die registrasiepaneel te skep.
As u die webwerf besoek, soek die program die lêerstelsel na die teenwoordigheid van robots.txt-instruksielêers. As daar 'n dokument is, begin die lees van die riglyne in die dokument. Robots.txt kan die skandering van sekere bladsye en lêers op die webwerf verbied of, omgekeerd, toelaat.
Die skanderingsproses hang af van die tipe program. Soms lees robotte net die bladsytitels en enkele paragrawe. In sommige gevalle word skandering deur die dokument gedoen, afhangende van die HTML-opmaak, wat ook kan werk as 'n manier om sleutelfrases op te gee. Sommige programme spesialiseer in verborge of metatags.
Voeg by die lys
Elke webmeester kan voorkom dat die soekenjin bladsye deur robots.txt of die META-tag deurkruip. Die skepper van die werf kan die werf ook handmatig by die indekseringswag voeg, maar as u dit toevoeg, beteken dit nie dat die robot die gewenste bladsy onmiddellik sal deurkruip nie. Om 'n webwerf by die tou te voeg, bied soekenjins ook spesiale koppelvlakke. Die toevoeging van 'n webwerf versnel die indekseringsproses aansienlik. Ook, vir vinnige registrasie in 'n soekenjin, kan webanalystelsels, werfgidse, ens. Gebruik word.
