Целта на пребарувачите и како тие работат

Пребарувачите со најголема дистрибутивна мрежа продаваат најмногу рекламен простор. Додека го пишувам ова, Google се смета за најрелевантен пребарувач. Нивните технологии генерираат најголем дел од веб-пребарувањата.
Најголемиот проблем со новите веб-страници е што пребарувачите немаат идеја дека постојат. Дури и кога пребарувачот ќе најде нов документ, тешко може да го одреди неговиот квалитет. Пребарувачите се потпираат на врските за да помогнат да се утврди квалитетот на документот. Некои мотори, како Гугл, имаат уште поголема доверба во страниците како што стареат.
Следните редови може да содржат некои напредни теми за пребарување. Добро е ако не ги разбирате веднаш поимите за кои веб-администраторот не треба длабоко да ја знае технологијата за пребарување. Некои можеби се интересираат за тоа, па затоа напишав малку за тоа имајќи ги на ум тие луѓе. (Ако не сте нови во мрежата и не ве интересираат алгоритми, можете да го прескокнете ова)
Coverе опфатам некои делови од пребарувачот во следните неколку редови, додека се обидувам да се задржам на основните. Не е важно целосно да се разбере сето ова (всушност, мислам дека е подобро за повеќето веб-мастери ако не се грижат за некои техники за пребарување работи).
Водечкиот вселенски модел на изразување, на кој сè уште се базираат алгоритмите за пребарување, датира од 1970-тите години. Eraерард Салтон бил познат експерт за пребарување информации, кој бил пионер на многу современи методи на денешницата.
Доколку сте заинтересирани да дознаете повеќе за системите за брзо пребарување на информации, препорачуваме да прочитате теорија за индексирање, што е кратка книга на Салтон, која опишува многу од вообичаените термини и концепти од областа на пребарувањето информации.
Книгата на Мајк Грехан, Маркетинг на пребарувачи: Суштински водич за најдобри практики, исто така, детално ги разгледува техничките делови за добивање информации Неговата книга е создадена за да биде тековен водич, додека е повеќе фокусирана на обезбедување информации за тоа како работи пребарувањето на информации.
Иако постојат различни начини за организирање веб-содржина, секој пребарувач на роботи ги има истите основни компоненти:
- индексирање
- индекс (или каталог)
- интерфејс за пребарување
Роботот прави токму она што го подразбира неговото име. Тој ја пребарува мрежата за врски, ажурира страници и додава нови страници кога станува збор за нив. Секој пребарувач има долги и длабоки периоди на пристап до индексирање и површни периоди за пристап до индексирање. Исто така постои и механизам за планирање за да се спречи пајак да преоптоварува сервери.