Настало время описать, каким образом мы формируем новые данные для индекса.
Как отмечалось ранее, каждый агент накопления CA в процессе своей работы откладывает во временное хранение промежуточные результаты сканирования. Важнейшими из них являются списки выявленных лексем с сопутствующей информацией. Введем понятие индексирующего сервера Indexer Server (IS). В какой-то момент времени этот сервер посылает по сети сигнал всем CA о том, что собирается забрать у них накопленные данные. По этой команде каждый CA осуществляет сортировку накопленных данных для того, чтобы в дальнейшем IS мог легко объединить эти данные и сформировать результирующие пачки данных. Данные забираются на IS и объединяются там при помощи специально разработанной сетевой версии программы слияния сортированных данных (merge sort). После этого по полученным данным строится индекс, который разбивается на составные части по законам, определяющим разбиение на группы SP-индекса. IS формирует очереди данных индекса для каждого SP, после чего начинает синхронную передачу сформированных данных на все SP. На стороне SP эти данные принимает специальная программа, в состав которой входит менеджер свободного места индекса. Отметим, что при подобном методе обновления индекса мы достигаем параллельности работы CA при сортировке данных и параллельности работы SP при приеме новой порции индекса, что позволяет существенно сократить время общего обновления индекса.
С учетом всего описанного выше, результирующая структурная схема поисковой системы "Turtle" имеет вид:
©ЗАО "Группа компаний Стек". 2003-2007