DataCleaner

DataCleaner є відкритим вихідним кодом і абсолютно безкоштовно рішення для організацій і підприємств, які бажають підвищити і виміряти якість даних.

З DataCleaner, користувачі зможуть в профіль, порівнювати, перевіряти дані щодо бізнес-правил, а також спостереження за розвитком цих вимірювань з плином часу.

Серед його особливостей можна згадати моніторинг даних, профілювання і аналіз даних DQ, очищення даних і збагачення, виявлення і злиття дублікатів, якість даних клієнтів, а також супер-швидкий ETLightweight (Extract-Transform-Load).

Для того, щоб дізнатися більше про функції і можливості DataCleaner-ті роки, а також як працювати з ним, будь ласка, зверніться до http://eobjects.dk/docs

What новий в цьому випуску:

• Покращення і нові функції:
• Ми зробили це можливим створювати і видаляти таблиці за допомогою настільного призначеного для користувача інтерфейсу з DataCleaner. Слід зазначити, що термін & Quot; таблиця & Quot; тут насправді охоплює більше, ніж просто реляційних таблиць бази даних. Вона також включає в себе листи в датасторов MS Excel, Колекції в MongoDB, типи документів в CouchDB і ElasticSearch і так далі ... В основному всі типи сховища даних, які підтримують запис-операції, за винятком однієї таблиці датасторов, таких як CSV, датасторов підтримує цю функцію! Функціональність піддається впливу за допомогою:
• & Quot; Створити таблицю & Quot; включений через меню правою кнопкою миші схем в дереві на лівій стороні додатки.
• & Quot; Створити таблицю & Quot; включений також через входи таблиці вибору в таких компонентів, як вставити в таблицю, таблицю пошуку і таблиці поновлення.
• & Quot; Drop Table & Quot; включений через меню правою кнопкою миші таблиць в дереві на лівій стороні додатки.
• Ми додали (опціонально) можливість задавати свій веб-сервіс Salesforce.com Endpoint URL. Це дозволяє використовувати DataCleaner для підключення до пісочниці середовищах Salesforce.com, а також для власних користувальницьких кінцевих точок.
• Підтримка ElasticSearch була поліпшена, дозволяючи призначені для користувача відображення, а також повторне використання визначень сховища даних ElasticSearch тепер також для пошуку і індексування.
• Вибірка записів і відбору потенційних дублікатів в функції виявлення дублікатів була покращена, що призводить до більш швидкої конфігурації, так як рішення, прийняті під час тренування є більш репрезентативними.
• Формат файлу моделі Дублікати був оновлений, який зняв необхідність в окремому файлі '' еталонним з метою економії минулих навчальних рішень. Сумісність зі старим форматом був збережений, але з використанням нового формату додає багато переваг для користувачів.
• Bugfixes:
• проблема потік голодування був зафіксований в DataCleaner моніторі. Вплив цього питання була велика, але це сталося тільки в рідкісних і дуже індивідуальних випадках. Якщо призначені для користувача об'єкти слухачем на моніторі DataCleaner буде згенеровано повідомлення про помилку, це призведе до ресурсу ніколи не звільнившись і займаючи потік з пулу Кварц-планування на сервері. Якщо це буде відбуватися багато разів сервер може в кінцевому рахунку втекти з потоків в цьому пулі.
• Вертикальне меню на екрані результатів тепер робить правильну роботу показу мітки компонентів, які мають результати. Це робить його легше розпізнати, який пункт меню вказує на який елемент результату.

Що нового у версії 3.5.5:

• The 'Синонім пошуку' перетворення тепер має опцію щоб подивитися кожен маркер входу. Це корисно, якщо ви робите заміну синонімів у межах значень довгого текстового поля.
• Блокування виконання завдань DataCleaner через веб-служби монітора для цього іноді може завершитися з помилкою, викликаної блокуючого потоку. Ця проблема була виправлена.
• Поліпшення було зроблено в тому, як робочі місця і послідовність компонентів закриті / очищені після виконання.

<Літій> The JNLP / Java WebStart версія DataCleaner піддавалося помилкою в середовищі виконання Java викликає певні JAR-файли не бути визнані WebStart пускової установки, при певних обставинах. Ця проблема була вирішена шляхом незначних змін в цих JAR-файлів.
• Кілька мертві посилання в документації була виправлена.

Що нового у версії 3.5.4:

• Тепер можна приховати вихідні стовпчики перетворень , Приховування не вплине на потік обробки на всіх, а просто приховати їх від призначеного для користувача інтерфейсу, і, таким чином, потенційно робить досвід більш чистим, при взаємодії з іншими компонентами.
• Новий веб-сервіс був доданий в моніторинг веб-додаток, яке забезпечує спосіб опитувати стан виконання певної роботи.
• Виправлена ​​помилка, в результаті чого звіт HTML потерпіти невдачу для певних типів аналізу, якщо записи не були оброблені.
• І 6 інших незначна помилка була адресована.

Що нового у версії 3.5.1:

• Захоплення змінені записи:
• Новий фільтр був доданий для того, щоб інкрементний обробку записів, що не були оброблені до, наприклад, для профілювання або копіювання тільки змінені записи. Назва нових фільтрів є захоплення змінені записи, посилаючись на концепцію відстеження змінених даних.
• Виконання Queued завдань:
• Монітор DataCleaner тепер черга виконання тієї ж роботи, якщо спрацьовує кілька разів. Це гарантує, що ви часом не запустити ту ж роботу одночасно, що може привести до різного роду питань, в залежності від того, що робить роботу.
• Незначні виправлення помилок:
• Кілька виправлень був реалізований.

Що нового у версії 3.5:

• Кілька чарівників тепер доступні для реєстрації датастори; в тому числі файл-завантажити на сервер для CSV-файлів, запис підключення до бази даних, керованої реєстрації облікових даних Salesforce.com і багато іншого.
• У роботу будівельні майстри також були розширені з декількома розширеними функціями; Вибір розподілу значень і моделі знаходження полів в майстра швидкого аналізу, абсолютно новий майстер створення EasyDQ на основі очищувальних клієнтів робочих місць і новий майстер завдання для стрільби завдань Pentaho Data Integration (далі нижче).
• Ви можете тепер тимчасової запит будь-сховища безпосередньо в веб-інтерфейсі користувача. Це дозволяє легко отримати швидкі або спорадичні розуміння даних без створення робочих місць або інших керованих підходів обробки даних.
• Після того, як робочі місця або датастори створені, користувач керується вжити заходів з новозбудованого об'єкту. Наприклад, ви можете дуже швидко запустити роботу відразу після того, він побудований, або зробити запит сховища після того, як він зареєстрований.
• Тепер адміністратори можуть безпосередньо завантажувати робочі місця в сховищі, що особливо зручно, якщо ви хочете вручну редагувати вміст XML-файлів завдань.
• Багато технічного непотребу тепер заховані на користь показу простих діалогів. Наприклад, коли завдання запускається великий покажчик навантаження показаний, і коли закінчив результат буде показаний. Розвинена протоколювання екран, який раніше був там ще може відображатися при натисканні на посилання для отримання додаткової інформації.

Що нового у версії 3.1.2:

• Ми додали веб-служби в моніторингу заявка на отримання (список) метричних значень. Це робить моніторинг ще більш зручним для використання в якості ключового компонента інфраструктури, як спосіб контролю даних (якість) і оголити результати програми третіх сторін.
• Компонент "Таблиця пошуку" була поліпшена шляхом додавання приєднатися до семантику як конфігурується властивості. Використання приєднатися до семантику ви можете налаштувати, якщо ви хочете, щоб пошук працювати семантично як LEFT JOIN або INNER JOIN.
• Компоненти EasyDQ були модернізовані, додаючи додаткові параметри конфігурації і багатше дедуплікаціі результату інтерфейс.
• Підвищення продуктивності були конкретизація цього випуску. Покращення були зроблені в двигуні DataCleaner для подальшого використовувати підхід потокової обробки в деяких випадках кутових, які не були покриті раніше.

Що нового у версії 3.1.1:

• Дата і варіанти аналізу, пов'язаних з часом були розширені , додавши, аналізатори розподілу по тижнях чисел, місяців і років. Всі аналізатори, пов'язані із зазначенням дати і часу тепер згруповані в підміню під назвою & Quot; дата і час & Quot; під & Quot; Аналізувати & Quot ;.
• Обов'язкове & Quot; описова статистика & Quot; додана опція для аналізатора Номер і аналізатора дати / часу. Ця опція додає додаткові показники до результатів цих аналізаторів, таких як медіана, асиметрію, процентилю і ексцесу. Ці показники не є обов'язковими, так як їх обсяг пам'яті дещо більше, ніж існуючі метрики.
• Лінії на часовій шкалі графіках веб-додатки моніторингу тепер мають маленькі точки в них. Це особливо корисно для діаграм з декількома (або навіть тільки один) спостережень в них. - Вказати, де саме точки спостереження є
• Аналізатор запитів при виклику Випоняемие запити також були істотно поліпшені. В даний час запити можуть містити не повторюються статті, * -wildcards, підзапитів і відмовостійка по відношенню до проблем тексту справи.
• Два нових трансформаторів, які були додані для генерації UUID, і для генерації міток часу.

Що нового у версії 3.1:

• метричні формули - розроблені даних ключових показників якості:
• Тепер можна побудувати набагато більш ускладнюються даних ключових показників якості в веб-додаток моніторингу DataCleaner в. Інтерфейс дозволяє створювати складні формули в табличному вигляді формули стилю; за допомогою змінних, зібраних робочими місцями DataCleaner.
• метричні формули можна об'єднати будь-яку кількість метрик, констант і операцій, до тих пір, як він може бути виражений в математичному рівнянні.

<Літій> Наприклад - виміряти швидкість повторюваних записів у відсотках від загального числа записів. Або виміряти кількість кодів продуктів, які узгоджуються з набором кількох шаблонів рядків.
• Ad-Hoc Запит - будь-якого сховища даних:
• З DataCleaner 3.1 тепер ви можете виконувати незаплановані запити до будь-якого датасторе! Запити можуть бути виражені у вигляді звичайного SQL і буде застосовуватися до баз даних, а також файлів, баз даних NoSQL і багато іншого, забезпечуючи по-справжньому корисний механізм запитів для розширення в ваше відкриття і дані профілювання досвіду.
• Опція запиту також доступна через веб-сервіс для моніторингу користувачів з роллю адміністратора. Запит надається в якості параметра HTTP POST або тіла, а результат надається в якості таблиці XHTML.
• Значення слічітель - новий варіант аналізу:
• Часто у вас є тверде уявлення, на якому значення повинні бути дозволені і очікуваний для конкретного поля. У DataCleaner там завжди був варіант Значення аналізу розподілу, який допоможе вам відстоювати свої припущення. У DataCleaner 3.1, хоча, у вас є більш точну пропозицію - вартість Шукача. Цей параметр аналіз дозволяє визначити набір очікуваних значень, а потім виконати розподіл значень, як аналіз, зокрема, для перевірки та визначити несподівані значення.
• Копіювання, видалення і управління завдань:
• Управління робочих місць і результатів в області застосування монітора DataCleaner була значно поліпшена. Тепер ви можете натиснути на роботу в сторінці планування монітора, а також знайти варіанти управління, доступні для таких операцій, як перейменування, копіювання, видалення і багато іншого. Кожна операція поважає зв'язку з іншими артефактами в моніторі, наприклад, результати аналізу, графіки та багато іншого. Це означає, що управління репозиторієм моніторингу стало набагато простіше і люди похилого.
• Управління історією якості даних:
• Іноді ви стикаєтеся з ситуаціями, коли ви насправді хочете зробити моніторинг з історичними даними! Може бути, що у вас є історичні звалищах або резервні копії баз даних, які ви хочете показати і розповісти історію. Тепер ви можете зробити аналіз цього історичні дані, завантажити його на монітор DataCleaner, і за допомогою нового веб-сервісу, встановити історичні дані цього конкретного результату аналізу. Це означає, що ваші терміни буде правильно побудувати результати, використовуючи їх передбачувану дату, але з результатами, які ви зібрали, можливо, в більш пізній момент часу.
• Кластерний підтримка планувальника (тільки EE):

<Літій> Завдання за DataCleaner монітор був екстерналізіровани, так що він може бути замінений на кошти простої конфігурації. У Enterprise Edition (EE) з DataCleaner, ми надаємо кластерний планувальник, забезпечуючи можливість балансування навантаження і поширювати свої розстріли на кластері машин.
• Single-вхід в систему (SSO) з використанням CAS (EE тільки):
• У Enterprise Edition (EE) з DataCleaner ми тепер забезпечують можливість роботи в одномодовом SIGNON для застосування монітора. Тепер DataCleaner може бути невід'ємною частиною вашої ІТ-інфраструктури, також з точки зору безпеки.
• ... І багато чого іншого:
• Вище тільки резюме. Більше тридцяти питань були вирішені в цьому випуску. Ми вирішили кілька запитів, що надходять від форумів та спільноти, і ми закликаємо всіх використовувати цей засіб як засіб для зміни. Ми дуже раді, щоб зробити розвиток DataCleaner бути під сильним впливом потоків в суспільстві.

Що нового у версії 3.0.3:

• Додає сервіс для перейменування робочих місць в сховище моніторингу .
• Ви можете отримати доступ до цього в якості веб-служби RESTful або в інтерактивному режимі в інтерфейсі.
• Веб-служба була додана для зміни історичної дати результату аналізу в сховище моніторингу.
• Веб-додаток було зроблено сумісно зі старими JSF контейнери.
• Кешування конфігурації в веб-додатки був значно поліпшений, що призводить до більш швидкого завантаження сторінок і ініціалізація завдання часу.

Що нового у версії 3.0.2:

• Коли пролунає на роботу в веб-додаток моніторингу, панель автоматично оновлюється щосекунди, щоб отримати останню стан виконання.
• на основі файлів датастори (наприклад, CSV або Excel таблиці) з абсолютними шляхами тепер правильно вирішені в моніторингу веб-додатки.

<Літій> The & Quot; Виберіть один з ключів карти і Quot / значення; Трансформатор тепер підтримує вкладені вирази типу виберіть & Quot; Address.Street & Quot; або & Quot; OrderLines [0] .product.name & Quot ;.
• Механізм таблиця пошуку були оптимізовані для роботи з використанням підготовлених операторів при роботі з базами даних JDBC.
• Адміністратори тепер можуть завантажити датастори основі файлів безпосередньо з & Quot; DataStores & Quot; стр.
• Обробка виключень в моніторинг веб-додатки був поліпшений трохи, що робить повідомлення про помилки більш точним і інтуїтивним.

Що нового у версії 3.0.1:

• Основна багфикс в цьому випуску було про відновлення відображення стовпців і конкретних перелічуваних категоризації. Наприклад, в новому аналізаторі Повнота, ми виявили, що після перезавантаження збереженого завдання, відображення не завжди правильно.
• Далі кілька внутрішніх поліпшень були зроблені, що спрощує розгортання DataCleaner монітора веб-додатків в середовищах з використанням Spring Framework.
• І останнє, але не в останню чергу, параметри візуалізації в настільному додатку, були поліпшені за рахунок автоматичного поглянути на роботу бути візуалізовані і перемикання відображаються артефакти на основі розміру екрану і кількості деталей, необхідних, щоб показати це красиво.

Що нового у версії 3.0:

• Відображення шкали часу і тенденції показників якості даних
• Централізоване сховище для управління і містить завдання, результати, тимчасові рамки і ін.
• Планування та аудит завдань DataCleaner
• Надання веб-служб для виклику DataCleaner перетворень
• Безпека і мульти-оренди
• Сигнали та сповіщення, коли показники якості даних з їх очікуваних зон комфорту.
• Існує новий Повнота аналізатор, який дуже корисний для простої ідентифікації записів, які мають неповні поля.
• Тепер ви можете експортувати DataCleaner результати в симпатичною HTML повідомляє, що ви можете дати своєму менеджеру, або надіслати на Вашу XML парсер!
• Нове середовище моніторингу також тісно інтегрований з настільним додатком. Таким чином, додаток для робочого столу тепер має можливість публікувати роботу і результати в сховище монітора, а також використовуватися в якості інтерактивного редактора контенту вже в сховище.
• Нова дата-орієнтовані перетворення тепер доступні: Діапазон дат фільтр, який дозволяє підмножина наборів даних на основі діапазонів дат, і формат дати, який дозволяє відформатувати дату за допомогою маски дати
.
<Літій> The Regex парсер (який раніше був доступний лише через ExtensionSwap) тепер включений в DataCleaner. Це робить його дуже зручним для розбору і стандартизувати багаті текстові поля з використанням регулярних виразів.
• Там новий випадок трансформатора Текст доступний. За допомогою цього перетворення ви можете легко конвертувати між верхнім / нижнім регістром і правильної капіталізації пропозицій і слів.

були додані
• Два новий пошук / заміна перетворення :. Звичайний пошук / заміна та пошук Regex / замінити
• Досвід користувач настільного додатки була покращена. Ми додали кілька повідомлень довідки по-додатки, зроблені кольору виглядають яскравіше і ясніше і поліпшили керованість шрифту.

Що нового у версії 2.5.2:

• підтримка Apache CouchDB:
• Ми додали підтримку для бази даних NoSQL Apache CouchDB. DataCleaner підтримує як читання з, аналізу і запису ваших екземплярів CouchDB.
• Оновлення таблиці Автор:
• Після наші попередні зусилля по приведенню можливостей ETLightweight стилю в DataCleaner, ми додали письменник, який оновлює записи в таблиці. Ви можете скористатися цією функцією, наприклад, для вставки або поновлення записів на основі конкретних умов.
• Як і вставки в таблицю письменник, новий DataCleaner Оновлення таблиці письменник не обмежується базами даних SQL на основі, але будь-який тип сховища даних, який підтримує запис (в даний час реляційних баз даних, CSV-файли, електронні таблиці Excel, MongoDB бази даних і бази даних MongoDB), але семантика такі ж, як з традиційним твердженням UPDATE TABLE в SQL.
• Сверло до більш детальної інформації зберігаються в файлах результатів:
• При використанні зберегти результат особливість DataCleaner 2.5, деякі користувачі відчули, що їх бурильних до деталей інформація була втрачена. У DataCleaner 2.5.2 ми тепер також зберігаються цю інформацію, роблячи ваші DQ архіви набагато ціннішим при дослідженні історичних даних інцидентів.
• Покращена обробка помилок EasyDQ:
• Компоненти EasyDQ були з точки зору обробки помилок покращився. Якщо проблема була викликана короткочасними мережу відбувається або інший подібний питання викликає кілька записів, щоб зазнати невдачі, компоненти EasyDQ тепер коректно відновити, і найголовніше -. Ваша партія робота переважатиме навіть незважаючи на помилки
• Таблиця відображення для NoSQL датасторов:
• Так як CouchDB і MongoDB не походять таблиці, але мають більш динамічну структуру, ми надаємо два підходи до роботи з ними: за замовчуванням, який повинен дозволити DataCleaner автоопределение структуру таблиці, і розширений, який дозволяє вручну вказати бажаної структури таблиці. Раніше розширений варіант був доступний тільки через конфігурації XML, але тепер призначений для користувача інтерфейс містить відповідні діалоги для робити це безпосередньо в додатку.

Що нового у версії 2.4.1:

• додані нові функції:
• функції пакетна завантаження ми значно поліпшені при запису даних в таблицях бази даних. Чекайте побачити багато порядків величини поліпшень тут.
• Запис даних було більш зручно доступні шляхом додавання опції в меню вікна.
• Тепер ви можете легко перейменувати компоненти завдання, двічі клацнувши їх вкладки.

<Літій> The Javascript трансформатор тепер має підсвічування синтаксису, так що ваші Javascripts легше перевірити і змінити.
• Bugfixes:
• При читанні і запису на тому ж сховище даних (наприклад. Площа проміжної DataCleaner) ми переконалися, що кеш таблиці цього сховища даних оновлюється. Раніше деякі сценарії дозволили вам побачити поза дати вид таблиць.
• Потенційний тупик при запуску програми була вирішена. Це замкнене коло був наслідком питання в віртуальної машини Java, але ми працювали навколо нього шляхом синхронізації всіх викликів конкретного API в Java.

Що нового у версії 2.4: (. Ака дедуплікаціі або нечітка відповідність записів)

• Дублікати , який може вільно використовувати до 500000 значень.
• перевірка даних адрес та очищення. Це дозволяє перевірити, чи існують адреси, якщо вони правильно і навіть запропонувати виправлення в разі, якщо є помилки.
• перевірка даних ім'я і очищення. За допомогою служби імен, EasyDQ не тільки форматувати імена послідовно, але також перевіряє орфографічні і інтерпретує частини імені.
• Електронна пошта і телефон перевірки і чистки. Ці служби забезпечують перевірку електронної пошти і телефону даних, переконавшись в тому, що поштові домени існують, що коди країн є правильними і багато іншого.

Що нового у версії 2.3:

• Міжнародна підтримка даних:
• Якщо ви працюєте з міжнародними даними, то ви можете мати різні набори символів в даних, наприклад, китайський або іврит. Ми додали символьний набір аналізатора розподілу, який є варіантом профілювання, який дозволяє з'ясувати, які набори символів використовуються в ваших даних.
• Робота з даними, які містять різні набори символів може бути проблематичним. Використовуючи новий транслітерації трансформатор тепер ви можете транслітерації рядків з різних систем письма до латинських символів.
• Існує також новий веб-трансляція демонстрації, орієнтуючись на міжнародні можливості даних DataCleaner 2.3 в розділі документації.
• Угрупування результатів аналізу вторинної колонки:
• Аналізатор шаблон тепер має можливість групі шаблонів на основі вторинного стовпчика. Це корисно для аналізу, як:
• Шаблони телефонних номерів, які згруповані по країнах.
• Отримати моделі ім'я користувача електронної пошти на основі поштового домену.
• Щось подібне було зроблено для аналізатора Значення розподілу; це дозволяє для аналізу, такі як:
• Чи всі назви міст різні, коли згруповані за поштовим індексом?
• Що таке розподіл статі в рамках конкретних типів клієнтів?
• Поліпшення графіки:
• Результати шаблону пошуку тепер можуть бути показані на графіку. Це робить розподіл видимим і показує, скільки з & Quot; довгий хвіст & Quot; візерунків є.
• Вихід аналізатора розподілу значень в декількох областях було покращено:
• Удобочитаемость графіка була покращена.
• Це показує загальну кількість рядків і підрахунок різних над цими рядками: число різних значень, які існують в рядках. Це допомагає з'ясувати, як часто існують повторювані значення.
• Якщо є порожні рядки, ми використовуємо ключове слово для нього, так що легше розпізнати їх.

<Літій> Висновок:
• Поруч з уже існуючих форматів виводу (CSV файлів і датасторов H2) ми додали записи вихідних даних в електронні таблиці Excel.
• Після запису в сховище даних, тепер можна попередньо переглядаючи висновок, так що ви можете перевірити, чи є вихід відповідно до вашими очікуваннями.

<Літій> Тепер також можна додати висновок як новий датасторе, так що він може бути використаний в якості вхідних даних для нової роботи.
• Інші покращення:
• Документація була в цілому покращився. Зокрема, лісозаготівельних і інтерфейс командного рядка опису, які були додані.
• Механізм розширення була поліпшена за рахунок модульності кілька частин програми та впровадження Google Guice як правило, доступною рамках ін'єкції залежностей для розробників розширень.
• І, звичайно, ми зробили більше двадцяти дрібних поліпшень і виправлень помилок.

Що нового у версії 2.2:

• Основною рушійною силою цього випуску була розповідь про розширюваності , При випуск програми ми Simultaniously випускає новий веб-сайт DataCleaner який показує важливу нову зону: ExtensionSwap. Ідея ExtensionSwap, щоб дозволити спільне використання розширень DataCleaner і установки, просто натиснувши на кнопку в браузері!
• Розширення API DataCleaner була покращена багато в цьому випуску, що дозволяє створювати свої власні трансформатори, аналізатори та фільтри. Якщо ви відчуваєте, що ваші розширення можуть бути цікаві іншим користувачам, будь ласка, поділіться ним на ExtensionSwap і ми забезпечуємо канал для вас легко поширити його на тисячі користувачів. Розширення API і ExtensionSwap додатково роз'яснюється в нашому новому веб-трансляції демонстрації для розробників та інших технарів з інтересом.
• Ми також випускаємо набір початкових розширень на ExtensionSwap: The HIquality Контакти для розширення DataCleaner, який надає розширені ім'я, телефон та e-mail очищення, заснований на людських умовиводів на природній мові веб-сервісів обробки DQ. Ми також відправка розширення зразка, який буде служити в якості прикладу для розробників, які хочуть спробувати себе розробки розширень. У найближчі місяці ми переконався, щоб отримати можливість відправляти ще більше розширень, що походять з нашого внутрішнього набору інструментів, які ми використовуємо при зборі знань команд Human умовивід в.
• На додаток до розтяжності ми також упором на вложімості. Ми хочемо, щоб мати можливість вставляти DataCleaner легко в інші додатки, щоб зробити профілювання і аналіз даних можна в будь-якому місці! Ми створили новий самонастроювання API, який дозволяє додаткам пов'язувати DataCleaner і форматувати її з динамічної конфігурації або запустити його в & Quot; одномодовому датасторов & Quot;, де додаток налаштованим по відношенню до тільки перевірці єдиного сховища даних (як правило, визначається додатком що вкладається DataCleaner). У нас вже є деякі дійсно цікаві випадки вкладення DataCleaner в роботах. - Як і в інших додатках з відкритим вихідним кодом, а також комерційних додатків
• Ми додали підтримку для аналізу наборів даних SAS. Це те, що ми дуже пишаємося, як і ми, наскільки нам відомо, перший великий додаток з відкритим вихідним кодом для забезпечення такої функціональності, в кінцевому рахунку, вивільняючи багато користувачів SAS. Сумісність частина SAS була створена як окремий проект, SassyReader, тому ми очікуємо прийняття в безкоштовні відкритим вихідним кодом спільноти DataCleaner скоро теж!
• Ми також додали підтримку для іншого типу сховища даних: Фіксована ширина файлів. З фіксованою шириною файли являють собою текстові файли, в яких кожен стовпець має фіксовану ширину. Там немає роздільник або лапки, як CSV файлів, замість того, щоб кожен рядок рівні по довжині, і кожна лінія буде мітках відповідно до набором довжин значень.
• Опціон на & Quot; провалитися по невідповідностей & Quot; був доданий в CSV-файл і фіксованої ширини датасторов файлів. Ці прапори додати перевірку цілісності формат при використанні цих датастори на основі текстового файлу.
• Виправлена ​​помилка, в результаті чого параметри CSV-роздільники же не бути утримана в інтерфейсі, при редагуванні датастор CSV.
• Японські та інші символи не підтримуються в інтерфейсі. Це & Quot; помилка & Quot; було питання про дослідження наявних шрифтів в системі і вибору шрифту, який може винести конкретні символи. У більшості сучасних систем будуть здатні шрифти доступними, але в деяких галузях Unix / Linux все ще можуть бути обмеження.
• У розділі документація була оновлена! З тих пір первісної версії 2.0 документації були далеко позаду, але ми, нарешті, вдалося отримати його в актуальному стані. Є ще штук відсутні в документації, але це повинно бути визначено корисно для базового використання, а також в якості еталону для більшості тем.
• Час запуску додатків була поліпшена за рахунок розпаралелювання завантаження конфігурації і шляхом затримки ініціалізації цих частин конфігурації, які не потрібні для початкового відображення вікна.
• фонетичний аналізатор подібності шукач були віддалені від основного розподілу, як це було досить експериментальним і служить в основному як доказ концепції і закуску до товариства, щоб створити більш просунуті аналізатори відповідності. Тепер ви можете знайти і встановити фонетичного подібності шукач на ExtensionSwap.
• Скасовано або errornous обробка робота була поліпшена, і призначений для користувача інтерфейс реагує правильно, відключивши кнопки і індикатори прогресу, якщо робота зупинена.
• Виправлено кілька незначних проблем призначеного для користувача інтерфейсу, що відносяться до таблиці розмірів і використання скролінгу.

Що нового у версії 2.1.1:

• Покращення:
• долучення текстове поле пошуку / фільтрації в списку датасторов. Це дозволяє швидко знайти сховище даних, якщо ви зареєстрували понад датастори, ніж є на екрані.
• Вихідні дані для кодів країн була додана до стандартного розподілу, спасибі йде до Graham Ринда для забезпечення їх.
• Додана горизонтальна смуга прокрутки даних при попередньому перегляді вікна там більше 10 стовпців.
• Можливість додавання пакета розширення з новими функціональними можливостями в діалоговому вікні Параметри під час виконання. Більше уваги на розширень буде слідувати в наступних випусках.
• Ми виставлені ранній попередній перегляд нашого інтерфейсу командного рядка (CLI), дозволяючи запустити додаток з & Quot; -usage & Quot; параметр, який буде показувати параметри CLI.
• долучення ряд опцій для форматування & Quot; Перетворити Number & Quot; трансформатор.
• Bugfixes:
• Виправлена ​​поза пам'яті проблема при запиті таблиць з великою кількістю стовпців (150 +).
• Виправлена ​​помилка, які викликають & Quot; аналіз Limit & Quot; прапорець, щоб не бути перевірені правильно, коли робота була знову відкрита після збереження.
• Не зовсім багфикс, як це ніколи не було офіційною межею, але тепер ми підтримуємо відновлення налаштувань (файл userpreferences.dat) з попередніх версій DataCleaner.

Що нового у версії 2.1:

• Був багато роботи, виконаної на призначеному для користувача інтерфейсі ( см медіа-сторінку):
• Ми вирішили зняти з лівого боку вікна, що містить параметри конфігурації навколишнього середовища.
• Замість того, щоб всі ці варіанти були тепер переміщені в вікно будівлі роботу, так що користувач тільки повинен зосередитися на одному вікні для всіх взаємодій, необхідних для створення завдання.
• Діалог Ласкаво просимо / Увійти також був вилучений на користь більш дискретної панелі, які можуть бути втягування або приховані від головного вікна.