Turtle >> Извлечение новых объектов сканирования. Поисковая система "Turle".

3.4. Извлечение новых объектов сканирования.
Нахождение новых объектов сканирования является массовой операцией современной поисковой системы. Мы возлагаем ответственность за этот процесс на агенты накопления CA. Каждую найденную ссылку в документе CA должен проверить на правильность, с точки зрения интернет-имени сервера. Для этих целей используется стандартный механизм DNS. Однако поисковые системы имеют некоторую специфику. Обычные DNS-сервера сообщают результат установления соответствия между логическим именем компьютера и его IP-адресом и заносят в свой локальный кэш этот результат только в том случае, если ответ был получен. Это свойство обычных DNS-серверов может существенно снизить производительность CA в случае, если рассматриваемая им страница содержит массу ссылок на другие страницы и при этом первичный сервер зоны, в которой располагаются данные страницы в данный момент по каким-либо причинам не доступен. Несмотря на жесткиеx требования построения системы DNS к первичным серверам, указанная ситуация возникает достаточно часто. Для предотвращения потерь времени на попытках установления соответствия недоступных в данный момент первичных серверов мы построили специализированный кэширующий DNS сервер, который хранит и информацию о недоступности зоны в течение некоторого интервала времени, по истечении которого ранее недоступный сервер вновь проверяется.

<< 3.3. Некоторые соображения о распределенности накопления | Содержание | 3.5. Базовая функция поиска документов >>

Черепаший Ранк. Реклама на Turtle Логотипы Правовая информация Конфиденциальность Контакты