5.2. Директивы конфигурационного файла

Путь к файлу протокола индексирования, абсолютный или относительно WorkDir.

Значение по умолчанию: стандартный поток вывода

Директория, в которой будут размещены вновь созданные индексные файлы. Должен быть указан абсолютный путь или путь относительно WorkDir. Если директория отсутствует, будет сделана попытка ее создать. Если в указанной директории находятся рабочие индексные файлы, созданные при предыдущем индексировании ("старый индекс"), они будут учтены при построении нового индекса, в соответствии с аргументами других директив конфигурационного файла, и заменены новым индексом перед окончанием работы индексатора. В противном случае индекс будет создан заново, а ключи, относящиеся к режиму обновления индекса, проигнорированы.

Значение по умолчанию: ./workindex

Пример:

  IndexDir myindex

Директория, в которой будут храниться промежуточные данные, необходимые индексатору, в том числе вновь создаваемые индексные файлы. Должен быть указан абсолютный путь или путь относительно WorkDir. Если директория отсутствует, будет сделана попытка ее создать. Аргументы директив TempDir и IndexDir должны быть различны. После окончания сеанса индексирования индексатор удаляет временные файлы, созданные им в указанной директории, а вновь созданный индекс перемещает в директорию, заданную в IndexDir.

Значение по умолчанию: ./newindex

Пример:

  TempDir /var/tmp/yandex

Путь к файлу, содержащему список стоп-слов. Слова, указанные в этом списке и их формы по умолчанию не будут заноситься в индекс. Применение стоп-слов может значительно уменьшить размер индексного файла. Список стоп-слов должен быть набран в кодировке Windows-1251. В состав поставки включен файл stopword.lst, в котором приведен список некоторых часто встречающихся слов. Файл можно редактировать.

Значение по умолчанию: не задан

Пример:

  StopWordFile my_stopword.lst

Директива может иметь несколько аргументов, задающих тот или иной параметр индексирования. Внутри каждой группы аргументов, указанных ниже, нужно выбрать один.

Значение по умолчанию: Update

Значение по умолчанию: StoreArchive

Значение по умолчанию: DiscardWordForms

Значение по умолчанию: DiscardStopWords

Значение по умолчанию: StoreIndexingDate

Определяет максимальное число проиндексированных документов в хранящейся в памяти порции индекса. Чем больше это число, тем быстрее происходит индексирование, но объем памяти, требуемый индексатору, возрастает. При достижении максимального размера порция индекса записывается на диск в директорию, указанную в директиве TempDir, и в памяти создается новая порция. Все временные порции индекса сливаются в итоговый индекс на заключительном этапе индексирования.

Значение по умолчанию: 250

Выдача тестовой информации. Директива бывает полезна при отладке и тонкой настройке конфигурации. Директива имеет любое число аргументов из перечисленных ниже.

Значение по умолчанию: не задан

Пример:

  Debug config, info, warning

Директива имеет один или несколько аргументов, каждый из которых задает имя документного поискового атрибута, значение которого должно быть сохранено в архиве документов. Документные поисковые атрибуты обсуждаются в разделе Форматы документов, зоны и атрибуты. Имена и критерии, определяющие эти атрибуты, задаются в конфигурации парсера документного формата, а значения определяются во время индексирования документа. Значение каждого документного атрибута, указанного в данной директиве, может быть получено на странице с результатами поиска с помощью функции DocProperty, которой надо передать название свойства, совпадающее с одним из аргументов данной директивы. Дополнительно к атрибутам, указанным в данной директиве, в архиве документов автоматически сохраняются и другие свойства документа (см. подробности в разделе Особые названия зон и атрибутов), которые тоже могут быть получены при формировании страницы с результатами найденного с помощью функции DocProperty.

Если задан аргумент StoreArchive директивы GlobalOptions, в документном архиве также сохраняется весь текст документа.

Суммарный объем значений атрибутов, указанных в данной директиве, заголовка, аннотации и URL документа не может превышать 8 Кб.

Директива имеет один или несколько аргументов, каждый из которых задает имя документного поискового атрибута, из которого должен быть автоматически создан группировочный атрибут.

Группировочные атрибуты обсуждаются в разделе Группировочные атрибуты. Они являются целыми числами и дают возможность сгруппировать или отсортировать найденные документы по тем или иным критериям, не зависящим от текста документа.

Документные поисковые атрибуты обсуждаются в разделе Форматы документов, зоны и атрибуты. Значения этих атрибутов могут определяться во время индексирования документа в соответствии с настройками парсера документного формата (см. раздел Конфигурирование зон и атрибутов). Дополнительно, поисковые документные атрибуты типа LITERAL могут быть заданы в директиве Options конфигурационного файла индексатора (см. подраздел Набор атрибутов документа).

В обоих случаях, если в данной директиве указаны имена поисковых атрибутов, определенные в настройках парсера или в директиве Options, то автоматически будут созданы группировочные атрибуты с теми же именами. Значения поисковых атрибутов, определенных в настройках парсера, должны быть целыми числами или последовательностью целых чисел. В этом случае такими же будут и значения группировочных атрибутов. Для литеральных поисковых атрибутов из директивы Options значения группировочных атрибутов будут генерироваться автоматически. В этом случае будут также автоматически созданы файлы соответствия имен имя_атрибута.c2n.

В каждом аргументе директивы сразу после имени атрибута через двоеточие может быть указано одно из чисел 1,2,3,4, имеющее смысл максимального числа байт, которое может занимать значение данного атрибута. Указание меньшего числа уменьшает размер базы группировочных атрибутов. Значение по умолчанию - 4.

Один или несколько URL документов, с которых индексатор начинает индексирование. Указывать начальный префикс http:// не обязательно. Если в секциях IndexedArea и директиве DefaultAreaOptions не указано по-другому, будет реализовано следующее поведение по умолчанию. URL других документов, кроме указанных, будут получены в результате распознавания гипертекстовых ссылок в тексте уже проиндексированных документов. Будут проиндексированы только документы из тех же веб-директорий, в которых лежат указанные начальные URL, и документы из поддиректорий этих директорий. Содержимое документов будет получено по протоколу HTTP, кодировка документов будет распознана автоматически. При переиндексировании будут повторно индексироваться только новые и изменившиеся документы, а недоступные (удаленные) документы будут удалены из индекса.

Значение по умолчанию: не задан

Пример 1:

  StartUrls www.host.name/

      <IndexedArea>
          HttpPrefix www.host.name/
      </IndexedArea>
      

Пример 2:

  StartUrls www.host.name/docs/doc.html

Пример 3:

  StartUrls http://www.host.name/news/, www.host.name/conference/conf.html

Задает регулярное выражение. Все документы, URL которых содержит подстроку, удовлетворяющую этому регулярному выражению, будут исключены из индексирования.

Значение по умолчанию: не задан

Примеры:

      ! Исключать из индексирования файлы _index.html,
      ! _index.htm, default.html и default.htm
      Disallow /(_index|default)[.]htm[l]?
  
      ! Исключать из индексирования скрипт /lists/showfolder.asp, если
      ! первым в списке cgi-параметров идет параметр с именем fid
      Disallow /lists/showfolder.asp[?]fid=.*
      

Задает регулярное выражение. Будут проиндексированы только те документы, URL которых содержит подстроку, удовлетворяющую этому регулярному выражению.

Значение по умолчанию: не задан

Примеры:

      ! проиндексировать файлы только из архивов за 1990-1999 годы и
      ! из каталога archives
      Allow /(199[0-9]|archive)/
  
      ! проиндексировать файлы только из тех каталогов, имя
      ! которых состоит из 4-х цифр
      Allow /([0-9]{4})/
      

Задает префикс URL по умолчанию, относительно которого может быть задан аргумент директивы HttpPrefix в секциях IndexedArea. Дает возможность задавать относительные URL в секциях IndexedArea.

Значение по умолчанию: http://127.0.0.1/

Пример:

  DefaultHttpPrefix myhost.ru

Задает значение по умолчанию, которое будет использоваться в директиве Options в секциях IndexedArea и DataSource. Это же значение задает способ индексирования при использовании директивы StartUrls, если определяемые ею веб-директории не входят в дерево директорий, определенное в секциях IndexedArea. Аргументы этой директивы описаны в разделе Директива Options

Значение по умолчанию: use_content_type update

Пример:

  DefaultAreaOptions windows-1251