Технология поиска документальной информации в Интернет
...поисковыми механизмами, используются для того, чтобы помочь людям найти информацию , в которой они нуждаются. Cредства поиска типа агентов, пауков, кроулеров и роботов используются для сбора информации о документах, находящихся в Сети Интернет .