Turtle >> Поисковая система "Turle". Физиология и Анатомия.

Поисковая система "Turtle". Физиология и анатомия.

Д.В.Крюков, Stack Technologies Ltd. dvk@stack.net

От автора.
Описание прототипа поисковой системы "Turtle" представлено в двух вариантах:

Полный текст в виде одного документа.
Странично-ориентированный вариант, который представлен здесь.
Первоначально была написана статья об архитектуре Turtle в виде одного документа. Однако в процессе работы над статьей стало понятно, что ее размеры становятся неприлично большими, и я решил разбить ее на главы, не смотря на то, что такое ознакомление может иногда приводить к потере нитей между отдельными частями работы. Кроме того, публикация содержит некоторое количество ссылок на внутренние документы разработки нашей поисковой системы, которые могут представлять интерес только для ограниченного числа специалистов. Полным текстом статьи могут воспользоваться и те, кто предпочитает читать "твердую" копию. Какой вариант использовать - выбирать Вам.
Содержание.

1. Введение.
2. Текущая реализация прототипа.
3. Структура и функции.

3.1. Базовая функция извлечения данных.
3.2. Как организовать взаимодействие.
3.3. Некоторые соображения о распределенности накопления.
3.4. Извлечение новых объектов сканирования.
3.5. Базовая функция поиска документов.
3.6. Как на практике предсказать время выполнения запроса.
3.7. Ранжирование результатов.
3.8. Некоторые замечания о поиске (кэш, отображение, дубли, ссылки).
3.9. Язык поисковых запросов.
3.10. Индекс, подготовка данных для поиска.
3.11. Борьба за компактность. Компрессия.
3.12. Построение и обновление индекса.
3.13. Результирующая структурная схема.

4. Масштабируемость.
5. Контроль работоспособности и статистика.
6. Заключение.
7. Благодарности.
В работе рассматриваются, преимущественно, сами принципы построения подобных систем. Реализация конкретных компонент с момента написания, в некоторых случаях, претерпела существенные изменения. Однако архитектура системы Turtle и сейчас соответствует описанной.

Дмитрий Крюков.
Stack Technologies Ltd.
Генеральный директор.
117946, Москва, ул. Косыгина, д.15.
dvk@stack.net.

Черепаший Ранк. Реклама на Turtle Логотипы Правовая информация Конфиденциальность Контакты