Xapian and Omega

Xapian є бібліотека з відкритим вихідним кодом ймовірнісної інформації великих об'ємів, яке розповсюджується за ліцензією GPL. Xapian МКС написаний на С, з прив'язками, що дозволяє використовувати з інших мов (Perl, Java, Python, PHP, і TCL в даний час підтримується; Підступність і C # ведеться робота з).
Xapian призначений для легко адаптується інструментарій дозволяє розробникам легко додавати передові індексування та пошуку об'єктів в свої додатки.
Якщо ви після пакетованого пошукової системи для вашого сайту, ви повинні поглянути на Омезі, що додаток, яке ми поставляємо створений на Xapian. Але на відміну від більшості інших рішень Пошук по сайту, універсальність Xapian дозволяє вам розширити Omega для задоволення ваших потреб, як вони ростуть

Особливості :.

< LI> Free Software / Open Source -. під ліцензією GPL
• Портативний - працює на багатьох Linux, MacOS X, багатьох інших платформ Unix і Microsoft Windows
.
• Написано в C. Perl прив'язки доступні у модулі пошуку :: Xapian на CPAN. Java JNI прив'язки включені в модуль Xapian прив'язок. Ми також підтримуємо SWIG, які можуть генерувати прив'язки для 13 мов. В даний час ті, для Python, PHP 4, і TCL працюють. Підступність і C # в даний час працюють.
• Перше місце ймовірнісної пошуку - важливі слова отримують більшу вагу, ніж неважливі слова, тому найбільш відповідні документи, швидше за все, наблизиться до верхньої частини списку результатів
.
• Актуальність зворотного зв'язку - з урахуванням один або кілька документів, Xapian може запропонувати найбільш підходящі терміни покажчика, щоб розширити запит, запропонувати відповідні документи, категоризувати документи і т.д.
.
• фрази і пошук близькості. - Користувачі можуть шукати слова, що відбуваються в точною фразою або протягом певної кількості слів, або в зазначеному порядку, або в будь-якому порядку
• Повний спектр структурованих логічних операторів пошуку (і Quot; акції не продавати і Quot;, і т.д.). Результати логічний пошук класифіковані за імовірнісних ваг. Логічні фільтри також можуть бути застосовані для обмеження імовірнісного пошуку.
• Підтримка випливають з умов пошуку (наприклад, пошук і Quot; футболі і Quot; відповідатиме документи, які зачіпають & Quot; м'ячі & Quot; або & Quot; футболіста & Quot;). Це допомагає знайти відповідні документи, які в іншому випадку могли б бути пропущені. Парадигматичні модулі включені в даний час для датська, голландська, англійська, фінська, французька, німецька, італійська, норвезька, португальська, російська, іспанська та шведська.
• Підтримка файлів бази даних & GT; 2GB -., Необхідно для поступового і великих колекцій документів
• залежить від платформи формати даних -. Ви можете створити базу даних на одному комп'ютері і шукати його на інший
• Дозволяє одночасно оновлення та пошуку. Нові документи стають для пошуку відразу.

<Клас Li = "bbli"> Як і в бібліотеці, ми поставляємо ряд невеликих прикладів програм, і більше застосування - індексування та CGI-додаток під назвою Omega:
• індексатор поставленого індекс HTML, PHP, PDF, PostScript, і текст. Додавання підтримки для індексації інші формати легко, де фільтри перетворення доступні (наприклад, Microsoft Word). Це індексатор працює з використанням системи подачі, але ми також надаємо скрипт, щоб htdig Роботи зачепитися, дозволяючи віддалені сайти для пошуку за допомогою Omega.
• Ви також можете форумів даних з будь-яких SQL або інший СУБД, підтримуваних модулем Perl DBI. Це включає в себе MySQL, PostgreSQL, SQLite, Sybase, MS SQL, LDAP і ODBC.
• пошук CGI передній кінець забезпечений настроюється зовнішній вигляд. Це також може бути налаштований для виведення результатів в XML або CSV, що корисно, якщо ви динамічно генерувати сторінки (наприклад PHP або mod_perl) і просто хочете отримати результати Raw Search, який можна обробляти у вашому власному коді розмітки сторінки.

Що нового У цьому випуску:

• У даній версії виправлені деякі незначні помилки і додає кілька нових функцій, .

Що нового у версії 1.2.4:

• Ця версія додає API для об'єднання і ущільнення бази даних , робить багато поліпшень Omega, включає в себе нові ковток на основі Perl прив'язки, і виправлені деякі витоку пам'яті в Python палітурках.

Що нового у версії 1.0.22:

• Ця версія виправляє ряд незначних помилок і покращує переносимість .

Що нового у версії 1.0.21:

• Xapian-Core API:
• Xapian :: стовбурових тепер розпізнає і Quot; NB & Quot; і & Quot; Н.Н. та Quot; в якості додаткових кодів для норвезької Стеммер.
• Xapian :: QueryParser тепер коректно розбирає байдужих термін в двох інших термінів (Ticket # 484).
• Matcher:
• OP_OR може пропустити відповідний документ, якщо він загасав, щоб OP_AND або OP_AND_MAYBE під час матчу в деяких випадках. Виправлення квиток # 476.
• OP_XOR з не-листа підзапитів міг пропустити відповідні документи в деяких випадках, і OP_XOR з трьох або більше суб-запити можна повертати невірні гирі. Виправлення квиток # 475.
• OP_OR в даний час більш ефективно, якщо підзапит є потенційно дорого (наприклад, OP_VALUE_RANGE, OP_NEAR, OP_PHRASE, PostingSource). 10-кратної швидкості, з OP_VALUE_RANGE спостерігається.
• Система збирання:
• Встановити файли, щоб Xapian простіше користуватися CMake.
• Мобільність
• На x86 процесорів, Xapian тепер за замовчуванням використовує інструкції SSE2 FP. Це дозволить уникнути проблем з надмірною точністю, і трохи швидше. Якщо вам потрібна підтримка процесорів без SSE2 (це означає, пре-Pentium4 для Intel), то налаштувати за допомогою --disable-SSE. (Квиток # 387)

Що нового у версії 1.0.18:

• QueryParser:
• Поліпшення підтримки для таких мов, як бірманський, які використовують Unicode огороджувальних знак та об'єднання відстань символи маркування.
• Флінт базова
• При оновленні документів, не оновлювати розміщення записів, які не змінилися (квиток # 250).
• Fix код блокування, щоб працювати, якщо стандартне введення і / або стандартний висновок були закриті.

Що нового у версії 1.0.13:

• API

не «LI> Xapian :: Документ більше не коли-небудь зберігає порожні значення в явному вигляді. Це не було навмисним поведінку, і як це справа було оброблено не було зафіксовано. Внесено зміни поведінки узгоджується з тим, як метадані користувач обробляється. Ця зміна не спостерігається, використовуючи документа :: get_value (), але можна помітити при переборі з документом :: values_begin (), використовуючи документа :: values_count (), або намагається видалити значення з документом :: remove_value ().
• Тестів:
• Fix TestCase scaleweight4 не провалився на x86 при компіляції з -O0. Проблема була в коді тестовий, і було викликано надмірною точності проміжних значень ПС.
• Testcases, які перевіряють, що операції мають очікуваний O (...) поведінка не перевірено процесорного часу замість часу стандартної дати на більшості платформ, які повинні усунути окремі невдачі через завантаження шипи від інших процесів.
• (квиток № 308)
• випробувань Fix невдачі через SKIP_TEST_FOR_BACKEND (& Quot; InMemory & Quot;) не пропускаючи, коли він повинен через порівняння текстові рядки з == (на стовбурі значення, що повертається випробовується STD :: рядок, а не сопзЬ сЬаг *)
• Поліпшення тестове покриття в декількох кутових випадках.
• Fix TestCase consistency2 насправді повинна бути виконана (на щастя, вона проходить).
• В згенерованих testcases, зателефонуйте get_description () на об'єкт за умовчанням, побудовані з кожного класу, щоб переконатися, що працює (і не намагатися разименовиванія NULL, або Не деяке твердження, і т.д.). Все в даний час перевіряються класи в порядку - це, щоб уникнути майбутніх регресії або такі проблеми з новими класами
.
• У збірці тестового покриття, використовуйте & Quot; - освітлення та Quot; замість & Quot; -fprofile-дуги -ftest охоплення і Quot ;.
• засоби тестування тепер має InMemory бекенд позначений як підтримка вказаний користувачем метадані (крім ітерації над клавішами метаданих).
• збігів:
• Якщо запит містить підзапит MatchAll, перевірити його, перш ніж перевіряти інші умови, щоб петля, яка перевіряє, скільки членів матч може вийти раніше, якщо всі вони матчі.
• Коли АБО або ANY_MAYBE розпалися на І, ми були ретельно поміняти місцями дітей для забезпечення максимальної ефективності, але стан було скасовано, так що ми були насправді робить речі гірше. Це було помічено, тому що це було в результаті в тому ж запиті працює швидше, коли більше результати попросили!
• Тільки побудувати termname в termfreq і вага карту для першої subdatabase замість його відновлення для кожного з них. Також не копіюйте цю карту, щоб повернути його. Це має прискорити шукає мало, особливо тих, кому за декількома базами даних.
• Якщо submatcher не вдається, але ErrorHandler розповідає нам продовжувати без нього, ми просто використовувати покажчик NULL стояти в, а не виділятися спеціальний манекен об'єкт заповнювачів.
• Видалити AndPostList, на користь MultiAndPostList. AndPostList використовується тільки в якості продукту розпаду (по AndMaybePostList і OrPostList), і, здається, не бути будь швидше. Видалення зменшує тиск кешу процесора, а це менше коду в обслуговуванні.
• Перевірити виклик () замість skip_to () на додатковому філії AND_MAYBE.
• кремінь базова
• Виправлена ​​помилка в TermIterator :: skip_to () над клавішами метаданих.
• пульт дистанційного базова
• Fix варіант --interface Xapian-tcpsrv працювати на MacOS X (Ticket # 373).
• Fix опечатка, де змусив нас повернутися в DOCID замість максимальної ваги документ з віддаленого матчу міг повернутися! Це могло б призвести до помилкових результатів при пошуку кількох баз даних з віддаленим серверна частина, але, ймовірно, зазвичай не має значення, з BM25 ваги, як правило, невеликі (часто все і # x3c; 1), а docids неминуче & # x3e; = 1 .
• InMemory базова
• InMemory базова браузер не підтримує перебору ключів метаданих. Спроба зробити так звикли, щоб дати порожню ітерації, але тепер виправлена, щоб кинути
• UnimplementedError (і це обмеження в даний час документовано).
• система збирання
• Видалити багато невикористаних заголовків включень і неиспользуемое код, який повинен зробити збірку швидше і трохи менше.
• Fix для компіляції під --disable-серверної-кремінь, --disable-серверної-пульт дистанційного управління, і --disable-серверної-InMemory.
• Чи не видаляти вбудовані джерела в & Quot; зробити чистим і Quot; навіть при --make-розробника-режимі, що порушує перемикання дерево від розробника режимі з: зробити distclean; ./ налаштувати
• Налаштування: Включити більше GCC попередження - і Quot; -Woverloaded віртуальні & Quot; для всіх версій, і Quot; -Wstrict-нуль-дозорного і Quot; для 4.0+, і Quot; -Wlogical-OP -Wmissing декларацій та Quot; для 4.3+. Примітно й Quot; -Wmissing декларацій та Quot; зловив, що consistency2 не будучи бігти.
• Всередині виправити кілька місць, де ми пройти STD :: String від вартості пройти по константній посиланню, а не (крім випадків, коли ми повинні змінюваний копія в будь-якому випадку), як бенчмаркінг показує, що константній посиланням трохи швидше і генерує менше коду з посиланням ССЗ враховуються реалізацію STD :: String - з нереференсних враховуються виконанню, будівництва посилання повинне бути набагато швидше. (Квиток # 140)
• Документація
• Встановити. Ми більше не регулярно перевіряти будувати з GCC 2.95.4, і ми підвищення мінімального версію GCC, необхідне для 3,1 для Xapian 1.1.x
• Документ, що попутний maxitems = 0 для Запит :: get_mset () робить.
• Документи / queryparser.html: Додати приклади використання префікса по фразі або подвираженія
.
• Виправляти Doxygen коментарі для функцій метаданих користувач :. База даних :: get_metadata () кинути UnimplementedError але WritableDatabase :: set_metadata () може
• Документ, бази даних :: metadata_keys_begin () повертає ітератор кінця, якщо базова браузер не підтримує метадані.
• ЗЛОМ :. Оновити список Debian / Ubuntu пакетів, необхідних для роботи в середовищі розробки
• налагоджувати код:
• Fix будувати з --enable-налагодження.
• Додана ще кілька тверджень.

Що нового у версії 1.0.11:

• Цей реліз виправляє ряд помилок і додає підтримку Omega для індексації формати MS Office 2007 і XPS-файли.

Що нового у версії 1.0.10:

• Цей реліз виправляє можливі випадки корупції бази даних, якщо диск заповнюється при оформленні змін.
• файл блокування для бази даних кременю зараз створюється за допомогою параметра UMASK.
• Раніше не було можливості відкрити базу даних кремінь метою оновлення, якщо вона належала іншому користувачеві, навіть з достатніми правами через & Quot; групи & Quot; або & Quot; інший & Quot ;.
• складанні OP_NEAR запит з двох не які термінових підзапитів тепер кидає UnimplementedError замість AssertionError.

Що нового у версії 1.0.9:

• виправлення правопису тепер ще швидше. (15% швидкість до вимірювалася.)
• дві помилки, викликані надмірною точністю на x86 Linux були виправлені.
• Запит :: MatchAll тепер дає рівні ваги для всіх документів.
• збій при ущільненні правопису таблиця була виправлена.
• Приклад copydatabase тепер копії метаданих користувач теж.
• Омега CGI бінарний тепер ловить і звіти STD :: виняток.