Для посетителейДля клиентов На главную Карта сайта Обратная связь


Паук

Паук (краулер, бот, робот поисковика) – система поисковой системы, осуществляющая индексацию веб-страниц интернета. П

Паук (краулер, бот, робот поисковика) – система поисковой системы, осуществляющая индексацию веб-страниц интернета. Переходя по ссылкам, робот-паук копирует, обрабатывает и заносит в специальную базу данных все веб-страницы.

Отследить заходы пауков на страницы вашего сайта можно по логам сервера или с помощью систем статистики. User-agent робота Google – GoogleBot, Rambler – StackRambler.

ереходя по ссылкам, робот-паук копирует, обрабатывает и заносит в специальную базу данных все веб-страницы.

Отследить заходы пауков на страницы вашего сайта можно по логам сервера или с помощью систем статистики. User-agent робота Google – GoogleBot, Rambler – StackRambler.

К списку