Российский семинар по оценке методов информационного поиска

Российский семинар по оценке методов информационного поиска (РОМИП) — это открытый семинар, проводимый ежегодно с 2003 года группой российских исследователей и разработчиков, занимающихся информационным поиском. Основная цель семинара — создание плацдарма для проведения независимой оценки методов информационного поиска, ориентированных на работу с русскоязычной информацией. РОМИП — некоммерческий семинар: затраты на подготовку и проведение оценки возмещаются за счет грантов РФФИ и взносов участников.

Важнейшим принципом РОМИП является совместное с участниками определение задач для оценки и формирование правил проведения оценки, оргкомитет лишь координирует проведение секций. Другим основополагающим принципом РОМИП является использование результатов оценки исключительно в исследовательских целях и запрещение их использования в маркетинговых/коммерческих целях без согласия участника.

Структурно семинар представляет собой набор дорожек — секций, посвящённых конкретным проектам с определенной задачей и правилами оценки. Оргкомитет формирует тестовые наборы данных, заданий и распространяет их участникам. Участник самостоятельно и на своём оборудовании выполняет поисковые задания интересующих его дорожек, и затем предоставляет результаты (ответы) оргкомитету в оговорённые сроки. Оргкомитет организует проведение оценки полученных ответов, в большинстве случаев — с использованием независимых экспертов (асессоров). Конкретная методология оценки зависит от рассматриваемой задачи и определяется на подготовительном этапе. Информация о всех оценках участников публикуется, но эта информация анонимна: для ссылок на участников используются псевдонимы, каждый из участников знает свой псевдоним, но не знает псевдонимы других участников.

В 2006 году в РОМИП были следующие дорожки:

• классическая задача поиска по запросу
  • по коллекции нормативно-правовых документов
  • по веб-коллекции
  • по смешанной коллекции
• тематическая классификация
  • нормативно-правовых документов
  • веб-сайтов
  • веб-страниц
• фактографический поиск по новостной коллекции
• кластеризация новостного потока
• контекстно-зависимое аннотирование текстовых документов
• поиск похожих документов по документу образцу или фрагменту текста
• вопросно-ответный поиск

Участвовать в РОМИП могут все заинтересованные лица — как создатели поисковых систем, так и исследователи, занимающиеся проблемами информационного поиска.

• Text Retrieval Conference (TREC)
• Информационный поиск
• Поисковые системы

• Сайт РОМИП
• П. И. Браславский, М. В. Губин, Б. В. Добров, В. Ю. Добрынин, И. Е. Кураленок, И. С. Некрестьянов, Е. Ю. Павлова, И. В. Сегалович. «Инициативный проект Российского семинара по оценке методов информационного поиска (РОМИП)». Труды Диалог’2003, Москва, июнь 2003
• Агеев М. С., Губин М. В., Добров Б. В., Кураленок И. Е., Некрестьянов И. С., Плешко В. В., Сегалович И. В., Шабанов В. И. «Российский семинар по оценке методов информационного поиска (РОМИП) в 2004 году»
• Александр Сафронов. РОМИП-2008 глазами участника
• Огарок А. Л. «Стокона на РОМИП — 2006». Труды четвёртого российского семинара РОМИП’2006. (Суздаль, 19 октября 2006 г.) Санкт-Петербург: НУ ЦСИ, 2006, 274 с.