Indeksering is die proses om lêers te skandeer wat op 'n internetbron geleë is deur 'n soekrobot. Hierdie prosedure word uitgevoer sodat die werf beskikbaar is in die soekresultate vir verskillende navrae in die soekenjin. Onder die grootste soekenjins is Yandex, wat hierdie skandering op sy eie manier uitvoer.
Instruksies
Stap 1
Die indeksering van die internetwerf word uitgevoer deur spesiale outomatiese programme - soekrobotte, wat outomaties die voorkoms van nuwe webwerwe op die Wêreldwye web volg, wat internetbladsye op die internet voortdurend skandeer, lêers en skakels daarna op elke bron plaas.
Stap 2
Om te skandeer, gaan die robot na die gids waar die bron op 'n spesifieke bediener geleë is. By die keuse van 'n nuwe werf word die robot gelei deur die beskikbaarheid daarvan. Daar is byvoorbeeld die mening dat Yandex eers webwerwe wat in 'n Russies-taal domein en in Russies geskep is, deursoek - ru, rf, su of ua, en dan eers na ander streke beweeg.
Stap 3
Die robot navigeer na die werf en skandeer die struktuur daarvan en soek eers na lêers wat dui op verdere soektog. 'N Webwerf word byvoorbeeld gesoek vir Sitemap.xml of robots.txt. Hierdie lêers kan gebruik word om die gedrag van die soekrobot tydens skandering in te stel. Met behulp van die sitemap (sitemap.xml) kry die robot 'n meer akkurate idee van die struktuur van die hulpbron. Die webmeester gebruik robots.txt om lêers te definieer wat hy nie graag in die soekresultate wil wys nie. Dit kan byvoorbeeld persoonlike inligting of ander ongewenste data wees.
Stap 4
Nadat hierdie twee dokumente geskandeer is en die nodige instruksies ontvang het, begin die robot om die HTML-kode te ontleed en die ontvangste etikette te verwerk. By verstek van 'n robots.txt-lêer begin die soekenjin standaard alle dokumente wat op die bediener gestoor is, verwerk.
Stap 5
Deur op skakels in dokumente te klik, ontvang die robot ook inligting oor ander webwerwe wat in die ry staan vir skandering na aanleiding van hierdie bron. Die geskandeerde lêers op die webwerf word as 'n tekskopie en struktuur op bedieners in Yandex-datasentrums gestoor.
Stap 6
Die behoefte aan herskandering word ook outomaties deur robotte bepaal. Die program vergelyk die bestaande skanderingsresultaat met die opgedateerde weergawe van die webwerf wanneer dit weer deur die indeksering gaan. As die data wat die program ontvang, verskil, word die werfkopie ook op die Yandex-bediener opgedateer.
