Оптимизатор запроса QP должен вычислить примерную продолжительность
выполнения поискового запроса различными способами и выбрать наиболее
оптимальную схему. Эти данные он потом сообщает балансировщику нагрузки. В
качестве исходных данных для вычисления он использует оптимизированную им же
программу выполнения запроса, количество данных по каждому поисковому
термину, местоположение индекса (на каком из серверов находится индекс
данного слова). При этом известна средняя скорость чтения данных с диска,
известна скорость передачи данных по локальной сети и известно среднее время
установления головок системы в необходимое для чтения состояние.
Пикантность вопроса заключается лишь в том, как организовать общее для
оптимизаторов хранилище памяти, в котором будут указаны размеры данных
поисковых терминов. Количество возможных лексем для происка с учетом
орфографических ошибок, сокращений, абревиатур и пр. составляет примерно
40-100 миллионов. На практике нет необходимости хранить длину данных каждого
поискового слова. Достаточно лишь выбрать правильный критерий размера,
начиная с которого длину данных следует учитывать при оптимизации запроса.
Данные по остальным поисковым терминам в силу их небольшого размера следует
положить некоей константой. Этот барьер подбирается экспериментально в
зависимости от размера коллекции, точнее, от количества уникальных слов,
пригодных для индекса. При этом барьер занесения поискового слова в такую
таблицу выбирается с учетом того, чтобы использовать только ограниченное,
разрешенное администратором количество памяти на компьютере, на котором
работает каждый QP. С помощью специальной программы такой сегмент общей
памяти строится один раз в разумный интервал времени (например, раз в месяц)
и загружается во время запуска операционной системы компьютера оптимизаторов
запроса. Нет необходимости иметь абсолютно точные значения длины данных
поискового термина, достаточно иметь приблизительные или оценочные величины.
©ЗАО "Группа компаний Стек". 2003-2007