Поисковая система и ее возможности

Поисковая система - это вызываемая поисковая система, которая автоматически и часто выходит в Интернет и сохраняет заголовок, ключевые слова и, частично, даже содержимое веб-страниц в базе данных. К примеру, если вам нужен будет насос К 150-125-315 по разумной цене, но вы не знаете, где его купить, тогда достаточно вбить данную фразу в поисковую систему.

Когда пользователь использует поисковую систему для поиска информации, конкретной фразы или слова, поисковая система просматривает эту базу данных и, в соответствии с определенными приоритетными критериями, создает и отображает ее - список результатов.

Проблема совсем не тривиальна, потому что:

1. по всему миру уже существует более 100 миллионов веб-сайтов , которые насчитывают миллиарды веб-страниц;
2. содержимое этих страниц не статично, но также чрезвычайно динамично (часто меняется);
3. ответ на команду поиска должен прийти быстро, обычно менее чем за полсекунды, даже если список результатов содержит, скажем, десятки тысяч веб-страниц, которые соответствуют используемым критериям поиска.

Любая поисковая система имеет три основных элемента:

Поисковая система (робот или веб-сканер ) - это программа, которая посещает веб-страницы, читает их и затем переходит по ссылкам на другие страницы. Указатель или каталог куда передается информация о каждой веб-странице, которую находит робот (название и адрес страницы, ключевые слова, текстовые части посещенных страниц, ссылки на другие страницы и т. д.); для этого робот использует текстовый файл (robots), расположенный в корне сайта, который может разрешать или ограничивать доступ роботов поисковых систем к страницам сайта.

Поисковое программное обеспечение позволяет осуществлять поиск по множеству страниц, зарегистрированных в индексе, а также отображать результат в виде списка ссылок в порядке релевантности.