DataCleaner

DataCleaner є відкритим вихідним кодом і абсолютно безкоштовно рішення для організацій і підприємств, які бажають підвищити і виміряти якість даних.
З DataCleaner, користувачі зможуть в профіль, порівняння, валідації даних від бізнес-правил, а також контролювати прогресування цих вимірів з плином часу.
Серед його особливостей можна згадати моніторинг даних, профілювання та аналіз даних DQ, очищення і збагачення даних, виявлення і об'єднати дублікати, якість даних клієнтів, а також супер-швидкий ETLightweight (екстракт-Transform-Load).
Щоб дізнатися більше про функції і можливості DataCleaner років, а також про те, як з нею працювати, будь ласка, зверніться до http://eobjects.dk/docs

What новий У цьому випуску

• Покращення і нові можливості:
• Ми зробили це можливим створювати і видаляти таблиці за допомогою настільного користувальницького інтерфейсу в DataCleaner. Зверніть увагу, що термін і Quot; таблиці і Quot; тут насправді охоплює більше, ніж просто реляційних таблиць баз даних. Це також включає в себе листи в сховищах даних MS Excel, колекції в MongoDB, типи документів в CouchDB і ElasticSearch і так далі ... В принципі всі види сховища даних, що підтримують запис-операції, крім однієї таблиці сховищ даних, таких як CSV сховищ даних, підтримує цю функцію! Функціональність піддається через:
• & Quot; Створити таблицю & Quot; включений в меню правою кнопкою миші схем в дереві на лівій стороні додатку.
• & Quot; Створити таблицю & Quot; включено також за допомогою таблиці вибору входів у такі компоненти, як вставити в таблицю, таблиця пошуку та оновлення таблиці.
• & Quot; Drop Table & Quot; включений в меню правою кнопкою миші таблиць в дереві на лівій стороні додатку.
• Ми додали (опціонально) можливість задавати свій веб-сервіс Salesforce.com Кінцева точка URL. Це дозволяє використовувати DataCleaner для підключення до пісочниці середовищах Salesforce.com, а також для власних користувальницьких кінцевих точок.
• Підтримка ElasticSearch була покращена, дозволяючи користувальницькі відображення, а також повторне використання визначення сховища даних ElasticSearch тепер також для пошуку та індексування.
• Вибірка записів і підбору потенційних дублікатів в дублюванням функції виявлення була покращена, що призводить до більш швидкого конфігурації, тому що рішення, прийняті в ході тренування є більш представницьким.
• Формат файл моделі дублікатів була оновлена, який зняв необхідність в окремому файлі '' довідкової щоб врятувати минулі рішення навчання. Сумісність з старому форматі була збережена, але з використанням нового формату додає багато переваг для користувачів.
• Виправлення:
• проблема нитка голодування було зафіксовано в DataCleaner монітора. Вплив цього питання було здорово, але це сталося тільки в рідкісних і дуже індивідуальних випадках. Якщо замовлення слухач об'єктів на моніторі DataCleaner б кинути помилку, це призведе до ресурсу ніколи не звільнившись і займаючи нитка з басейну Кварц-планування на сервері. Якщо це трапиться багато разів сервер може в кінцевому підсумку закінчилися потоків в цьому пулі.
• Вертикальне меню на екрані результатів тепер робити належну роботу відображення позначки компонентів, які мають результати. Це робить його легше розпізнати, який елемент меню вказує на який результат пункту.

Що нового у версії 3.5.7:

• The 'Синонім пошуку "трансформація в даний час варіант дивитися кожну фішку на вході. Це корисно, якщо ви робите заміну синонімів у межах значень довгого текстового поля.
• Блокування виконання робіт DataCleaner допомогою веб-служби монітора для цього іноді може завершитися з помилкою, викликаної блокуючого потоку. Ця проблема була виправлена.
• Поліпшення було зроблено в способі роботи і послідовність компонентів закриті / очищені після виконання.
• The JNLP / Java WebStart версія DataCleaner піддавався помилкою в Java Runtime викликає певні файли JAR же не бути визнані WebStart пусковий, при певних обставинах. Ця проблема була вирішена шляхом невеликих змін у цих JAR-файлів.
• Кілька мертві посилання в документації не зафіксовано.

Що нового у версії 3.5.4:

• Це стало можливим, щоб приховати вихідні стовпці перетворень , Приховування не вплине на потік обробки на всіх, а просто приховати їх від користувальницького інтерфейсу, і, таким чином потенційно робить досвід більш чистий, при взаємодії з іншими компонентами.
• Новий веб-сервіс був доданий в моніторинг веб-додатки, який забезпечує шлях до опитувати стан виконання певної роботи.
• Виправлена ​​помилка, в результаті чого звіт HTML збій для деяких типів аналізу, якщо записи не були оброблені.
• І 6 інші незначні помилка була адресована.

Що нового у версії 3.5.1:

• Захват змінені записи:
• Новий фільтр був доданий для того, щоб додаткової обробки записів, що не були оброблені перед, наприклад, тільки для профілювання або копіювання змінений запису. Ім'я нові фільтри є захоплення змінені записи, посилаючись на концепції відстеження змінених даних.
• У черзі виконання робіт:
• The DataCleaner монітор тепер черга виконання тієї ж роботи, якщо спрацьовує кілька разів. Це гарантує, що ви часом не запустити ту ж роботу одночасно, які можуть призвести до різного роду питань, в залежності від того, що робота робить.
• Невеликі виправлення:
• Кілька виправлень був реалізований.

Що нового у версії 3.5:

• Кілька чарівників тепер доступні для реєстрації сховища даних; у тому числі файл-завантаження на сервері для CSV файлів, запис підключення до бази даних, керованої реєстрації Salesforce.com повноважень і більше.
• Будівельні роботи майстра були розширені з декількома розширеними функціями; Вибір розподілу значень і малюнок знаходження поля в майстрові швидкого аналізу, абсолютно новий майстер створення EasyDQ основі чистки клієнтів робочих місць і новий майстер завдання для стрільби Pentaho інтеграції даних робочих місць (читайте про це нижче).
• Тепер Ви можете одноранговой запит будь сховище даних безпосередньо у веб-інтерфейсі користувача. Це робить його легко отримати швидкі або спорадичні розуміння даних без створення робочих місць або інших керованих підходи обробки даних.
• Після роботи або сховищами даних створюються, користувач керується вжити заходів з нещодавно збудованого об'єкта. Наприклад, ви можете дуже швидко запустити роботу відразу після він побудований, або зробити запит сховища даних після реєстрації.
• Адміністратори тепер можуть безпосередньо завантажувати робочі місця в сховищі, яке особливо зручно, якщо ви хочете, щоб вручну редагувати вміст XML файлів роботи.
• Багато технічного мотлоху тепер заховані на користь показуючи прості діалоги. Наприклад, коли робота спрацьовує великий показник завантаження показується, а коли закінчив Результат буде показаний. Передова екран реєстрації, який був раніше там ще може бути відображений на натисканні на посилання для отримання додаткової інформації.

Що нового у версії 3.1.2:

• Ми додали веб-сервіс в моніторингу Додаток для отримання (список) метричних значень. Це робить моніторинг ще зручнішим в якості ключового компонента інфраструктури, як спосіб контролю даних (якість) і виставити результати в сторонніх додатків.
• Компонент "Таблиця пошуку" була покращена шляхом додавання приєднатися семантику як конфігурується власності. Використання приєднатися семантику можна налаштувати, якщо ви хочете, пошук працювати семантично як LEFT JOIN або INNER JOIN.
• Компоненти EasyDQ були модернізовані, додаючи додаткові параметри конфігурації і багатше результату інтерфейс дедуплікаціі.
• Покращена продуктивність були Особливу увагу цього випуску. Поліпшення були зроблені в двигуні DataCleaner для подальшого використовувати підхід обробки потокового в деяких випадках кутових, які не покриті раніше був.

Що нового у версії 3.1.1:

були розширені
• Дата і час, пов'язані з опції аналізу , додавши, аналізатори розподілу для номера тижнів, місяців і років. Всі аналізатори, пов'язані з датою і часом тепер згруповані в підміню під назвою & Quot; Дата і час & Quot; під & Quot; Аналіз і Quot ;.
• Додатковий & Quot; описова статистика і Quot; Опція була додана до аналізатора номер і аналізатора дати / часу. Ця опція додає додаткові показники з результатами цих аналізаторів, таких як медіана, асиметрія, ексцес процентилю і. Ці показники не є обов'язковими, так як їх обсяг пам'яті дещо більше, ніж існуючі метрики.
• Лінії на часовій шкалі графіків веб-додатки моніторингу тепер маленькі точки в них. Це особливо корисно для діаграм з декількома (або навіть тільки один) спостережень у них -., Щоб вказати, де саме точки спостереження є
• Парсер запитів при виклику запити однорангових також істотно поліпшена. Тепер запити можуть містити положення, DISTINCT * -wildcards, підзапити і відмовостійкої до питань Текст випадку.
• Два нових трансформаторів, які були додані для генерації UUID, і для генерації тимчасових міток.

Що нового у версії 3.1:

• Метрична формули - розроблені якості даних КПЕ:
• Тепер можна побудувати набагато більш докладно Data Quality КПЕ в моніторингу веб-додатки DataCleaner в. Користувальницький інтерфейс дозволяє створювати складні формули в табличному вигляді формули стилю; за допомогою змінних, зібрані DataCleaner робочих місць.
• Метрична формули можна об'єднати будь-яку кількість метрик, констант і операцій, так довго, як це може бути виражено в математичному рівнянні.
• Наприклад - вимірюють швидкість повторюваних записів у відсотках від загальної кількості записів. Або виміряти кількість кодів продуктів, які відповідають набору декількох шаблонів рядків.
• Спеціальна Запити - будь сховище
• З DataCleaner 3.1 тепер ви можете виконувати незаплановані запити будь-якого сховища! Запити можуть бути виражені у вигляді звичайного SQL і буде застосовуватися до баз даних, а також файлів, баз даних NoSQL і більше, забезпечуючи по-справжньому корисну механізм запитів, щоб розширити ваш досвід у відкриття і дані профілювання.
• Можливість запиту також доступні через веб-сервіс для моніторингу користувачів з роллю адміністратора. Запит надається як параметр HTTP POST або тіла, і результат надається як таблиці XHTML.
• Значення збігів - варіант Новий аналіз:
• Часто у вас є тверде уявлення, на якому значення повинно бути дозволено й очікувану для конкретної області. У DataCleaner там завжди був варіант аналіз Значення поширення, які допоможуть вам відстоювати свої припущення. У DataCleaner 3.1, хоча, у вас є більш точна пропозиція - значення Шукач. Ця опція аналіз дозволяє визначити набір очікуваних значень, а потім виконати розподіл значення, як аналіз, зокрема, для перевірки і виявлення несподівані значення.
• Копіювання, видалення і управління робочих місць:
• Управління робочих місць і результатів у застосуванні DataCleaner монітора була значно поліпшена. Тепер ви можете натиснути на роботу на сторінці Планування монітора, і знайти варіанти управління, доступні для таких операцій, як перейменування, копіювання, видалення і багато іншого. Кожна операція поважає зв'язків з іншими артефактами в моніторі, наприклад, результатів аналізу, графіків і багато іншого. Це означає, що управління моніторингу сховища стало набагато простіше і зрілим.
• Управління історією якості даних:
• Іноді ви зіткнулися з ситуаціями, коли ви насправді хочете, щоб зробити моніторинг з історичними даними! Це може бути, що у вас є історичні звалища або резервні копії баз даних, які ви хочете, щоб показати і розповісти історію. Тепер Ви можете зробити аналіз цього історичного даних, завантажити його на моніторі DataCleaner, і за допомогою нового веб-сервісу, встановити історичні дані конкретного результату аналізу. Це означає, що ваші терміни буде правильно побудувати результати за допомогою передбачуваної дати їх, але з результатами, які ви, можливо, зібраних на більш пізній момент часу.
• підтримка кластерної планувальник (тільки ЕО):
• Планувальник DataCleaner моніторі була зовні, так що він може бути замінений на кошти простої конфігурації. У Enterprise Edition (EE) в DataCleaner, ми надаємо кластерний планувальник, забезпечуючи можливість завантаження балансу і поширювати свої страт на кластері машин.
• Single-входу в систему (SSO) за допомогою CAS (EE тільки):
• У Enterprise Edition (EE) з DataCleaner ми в даний час забезпечують можливість одного SIGNON для застосування монітора. Тепер DataCleaner може бути невід'ємною частиною ІТ-інфраструктури, також з точки зору безпеки.
• ... І багато іншого:
• Вище тільки резюме. Більше тридцяти питання були вирішені в цьому випуску. Ми вирішили декілька запитів, що надходять від форумів і спільноти, і ми закликаємо всіх використовувати цю середу в якості засобу для зміни. Ми дуже раді, щоб зробити розвиток DataCleaner бути в значній мірі під впливом потоків в суспільстві.

Що нового у версії 3.0.3:

• Додає сервіс для перейменування робочих місць в сховище моніторингу .
• Ви можете отримати доступ до цього як RESTful веб-служби або в інтерактивному режимі в інтерфейсі.
• Веб-служба була додана для зміни історичну дату результату аналізу в сховище моніторингу.
• Веб-додаток було зроблено сумісним зі спадщиною JSF контейнери.
• Кешування конфігурації у веб-додатки значно покращився, що призводить до швидкого завантаження сторінок і ініціалізації робота.

Що нового у версії 3.0.2:

• При спрацьовуванні роботу в веб-додатки моніторингу, панель автоматично оновлюється кожну секунду, щоб отримати останню стан виконання.
• на основі файлів сховища даних (наприклад, CSV або Excel таблиці) з абсолютними шляхами тепер правильно вирішена в моніторинг веб-додатки.
• The & Quot; Виберіть з ключ / значення карті і Quot; Трансформатор тепер підтримує вкладені виберіть вирази, як і Quot; Address.Street & Quot; або & Quot; OrderLines [0] .product.name & Quot ;.
• Механізм таблиця пошуку були оптимізовані для роботи з використанням підготовлених операторів при роботі з базами даних JDBC.
• Адміністратори тепер можуть завантажити файл на основі сховища даних безпосередньо з & Quot; сховищ даних і Quot; сторінка.
• Обробка виключень в моніторинг веб-додатки була покращена небагато, що робить повідомлення про помилки точніше і інтуїтивно зрозумілим.