Поисковый робот. Программа, которая является составной частью поисковой машины и предназначена для обзора страниц Интернета, чтобы занести их в базу поисковика. Частота визитов, порядок обхода страниц, регулируется алгоритмами поисковой машины. Можно запретить индексацию всего сайта или его части с помощью файла robots.txt, имеющего инструкции для поисковых роботов.