Защо се нарича краулер?

Въведение

Чудили ли сте се защо на определени технологични устройства или оборудване се дават конкретни имена или термини? Например, защо търсачката Google се нарича Google или платформата за съобщения WhatsApp, известна като WhatsApp? По същия начин, защо уеб роботите се наричат ​​роботи? В тази статия ще отговорим на въпроса – „Защо се нарича краул?“ в детайли.

Какво е краулер?

Преди да се потопим в историята на термина „краулер“, нека първо разберем какво всъщност означава. Роботът, известен също като паяк или бот, е автоматизирана програма, използвана от търсачките за събиране на информация от уеб страници. След това събраните данни се анализират и индексират, за да се създаде по-бърза и ефективна търсачка за потребителите.

Роботите на търсачките или паяците анализират съдържанието на уеб страниците и следват наличните хипервръзки на страницата, за да открият ново съдържание за индексиране. Този непрекъснат процес на обхождане и индексиране гарантира, че страниците с резултати от търсачките (SERP) са винаги актуални и показват най-подходящите резултати за потребителски заявки.

Произход на термина "краулер"

Най-ранното използване на термина „обхождащ“ може да бъде проследено до средата на -1990в. По това време някои търсачки използваха автоматизирани програми, наречени „паяци“, за да обхождат уеб страниците и да ги индексират. Въпреки това беше необходима по-ефективна и мощна програма, за да се справи с бързо нарастващото съдържание в световната мрежа.

През 1994 г. студент по компютърни науки във Вашингтонския университет на име Браян Пинкертън разработи програма, наречена WebCrawler. Това беше първата в света машина за уеб търсене с пълен текст, която индексира цялото съдържание на уеб страница, вместо само метаданните или ключовите думи. Програмата беше подходящо наречена „краулър“, тъй като обхождаше уеб страници, като следваше хипервръзки.

WebCrawler бързо набра популярност и вдъхнови разработването на няколко други роботи и търсачки, като Lycos, AltaVista и Yahoo! С течение на времето „краулер“ се превърна в стандартен термин, използван за обозначаване на уеб роботи, които обхождат уеб страниците.

Видове краулери

Уеб роботите могат най-общо да бъдат класифицирани в три категории – с общо предназначение, специализирани и в реално време. Нека да разгледаме отблизо всеки от тях.

- Роботи с общо предназначение: Това са най-често срещаният тип уеб роботи, използвани от търсачките. Те обхождат уебсайтове и индексират съдържанието, за да предоставят подходящи резултати от търсенето на потребителите. Примери за роботи с общо предназначение включват Googlebot, Bingbot и Yandexbot.

- Специализирани роботи: Тези роботи са предназначени да събират специфична информация от уебсайтове и се използват предимно в изследвания и извличане на данни. Например, специализиран робот може да се използва за събиране на данни за цените на продуктите, продавани от онлайн търговци на дребно, или за проследяване на промените, направени на уебсайтове във времето.

- Роботи в реално време: Тези роботи непрекъснато наблюдават уебсайтовете за актуализации и промени в съдържанието и индексират промените в реално време. Те се използват главно в новинарската и медийната индустрия, за да предоставят на читателите актуални новинарски статии.

Заключение

В заключение, терминът „краулър“ произхожда от програмата WebCrawler, разработена от Brian Pinkerton през 1994 г. Терминът се отнася до способността на програмата да обхожда уеб страници и да събира информация за създаване на индекс на търсачката. С течение на времето това се превърна в стандартен термин, използван за обозначаване на всички видове уеб роботи. Днес хиляди роботи или паяци пълзят в мрежата, индексират съдържание и предоставят резултати на потребителите на търсачки по целия свят.