MDP

МДФ (модульні інструментарій для обробки даних) є бібліотека широко використовуваних алгоритмів обробки даних, які можуть бути об'єднані відповідно до аналогії трубопроводу, щоб побудувати більш складне програмне забезпечення обробки даних.
З точки зору користувача, МДФ складається з колекції контрольовані і неконтрольовані алгоритмів навчання, та інших даних процесорів (вузли), які можуть бути об'єднані в послідовності обробки даних (потоки) і більш складних кормових вперед мережевих архітектур. Враховуючи набір вхідних даних, MDP піклується про послідовно навчання або виконання всіх вузлів в мережі. Це дозволяє користувачеві задати складні алгоритми у вигляді серії простих кроків обробки даних в природним чином.
База доступних алгоритмів постійно зростає і включає в себе, з ім'ям, але найбільш поширеним, головний компонент (PCA і NIPALS), декілька алгоритмів незалежних компонент аналізу (CuBICA, FastICA, TDSEP, нефрит, і XSFA), Повільна аналіз функцій, гауссовский класифікатори, обмеженого Больцмана машина, і локально лінійного вкладення.
Особливу увагу було приділено зробити обчислення ефективною з точки зору швидкості і пам'яті. Щоб зменшити вимоги до пам'яті, це можна виконати за допомогою навчання партій даних, і визначити внутрішні параметри вузлів, щоб бути з одинарною точністю, що робить використання дуже великих обсягів даних можливо. Крім того, "паралельно" підпакету пропонує паралельне виконання основних вузлів і потоків.
З точки зору розробника, МДФ є основою, яка робить впровадження нових алгоритмів контрольовані і неконтрольовані навчання легко і просто. Основний клас, «Вузол», піклується про нудних завдань, таких як числовий тип і перевірки розмірності, залишаючи розробникові сконцентруватися на реалізації навчання та виконання фаз. Через загальне інтерфейсу, вузол автоматично інтегрується з іншої частини бібліотеки і можуть бути використані в мережі разом з іншими вузлами. Вузол може мати декілька фаз підготовки і навіть невизначене число фаз. Це дозволяє реалізувати алгоритми, які потрібно зібрати деякі статистичні дані по всій входу перш ніж приступити до фактичної підготовки, та інші, які потребують перебрати фази підготовки до критерій збіжності не виконується. Можливість тренуватися кожен етап, використовуючи шматки вхідних даних зберігається, якщо шматки генеруються з ітераторів. Крім того, аварія відновлення опціонально: у разі невдачі, поточний стан потоку зберігається для подальшого аналізу.
МДФ була написана в контексті теоретичних досліджень у неврології, але він був розроблений, щоб бути корисним у будь-якому контексті, де використовуються алгоритми обробки даних навчається. Його простота на стороні користувача разом з повторного реалізованих вузлів дозволяють також дійсні освітній інструмент

Що нового У цьому випуску :.

• Підтримка Python 3.
• Нові розширення: кешування і градієнт
.
• вдосконалюється і розширюється підручник.
• Кілька поліпшень і виправлень.
• Цей реліз під ліцензією BSD.

Що нового у версії 2.5:

• 2009-06-30: долучення онлайн виявлення чисельного серверної паралельно підтримка Python, symeig базова і чисельну базова до виходу юніт-тестів. Повинно допомогти в налагодженні.
• 2009-06-12 :. Інтеграція зрізу і гістограми вузлів
• 2009-06-12 :. Виправлена ​​помилка в паралельному потоці (обробки винятків)
• 2009-06-09: Виправлена ​​помилка в LLENode коли output_dim є поплавок. Завдяки Конрада Hinsen.
• 2009-06-05 :. Виправлені помилки в паралельному потоці для декількох планувальників
• 2009-06-05 :. Виправлена ​​помилка в шарі зворотного завдяки Альберто Ескаланте
• 2009-04-29 :. долучення LinearRegressionNode
• 2009-03-31: PCANode не скаржаться більше, коли ковариационная матриця має негативні власні значення МКФ СВД == Правда або зменшити == True. Якщо output_dim був вказаний має необхідну дисперсію, негативні власні значення ігноруються. Поліпшення повідомлення про помилку SFANode в разі негативних власних, тепер ми пропонуємо випереджати вузол з PCANode (SVD = True) або PCANode (зменшити = True).
• 2009-03-26: мігрували з старого пакету різьбленням з новою різьблення одного. Додано прапор, щоб відключити кешування в процесі планувальника. Є деякі критичні зміни для користувальницьких планувальників (навчання паралельний потік або виконання не впливає).
• 2009-03-25 :. Додав SVN перегляду відстеження підтримка
• 2009-03-25: Прибрано copy_callable прапор для планувальника, це тепер повністю замінені породження в TaskCallable. Це не має ніякого ефекту для зручного інтерфейсу ParallelFlow, але користувацькі планувальники ламаються.
• 2009-03-22 :. Реалізовано кешування в ProcessScheduler
• 2009-02-22 :. Make_parallel тепер працює повністю в місці, щоб зберегти пам'ять
• 2009-02-12 :. Додав методи контейнерів в FlowNode
• 2009-03-03 :. Додано CrossCovarianceMatrix з тестами
• 2009-02-03 :. Додано IdentityNode
• 2009-01-30 :. Додав допоміжну функцію в Hinet безпосередньо відобразити уявлення потоку HTML
• 2009-01-22 :. Дозволити output_dim в шар, щоб встановити ліниво
• 2008-12-23 :. Додав total_variance до вузла NIPALS
• 2008-12-23 :. Завжди встановлюйте explained_variance і total_variance після навчання в PCANode
• 2008-12-12: Модифікована symrand дійсно повернутися симетричні матриці (і не тільки позитивно певна). Адаптований GaussianClassifierNode до відповідальності за це. Адаптований symrand повернутися також складні ермітових матриць.
• 2008-12-11: Виправлена ​​одна проблема в PCANode (при output_dim був встановлений в input_dim загальну дисперсію обробляють, як зазначено). Параметр Фіксований var_part в ParallelPCANode.
• 2008-12-11 :. Додав var_part особливість, щоб PCANode (фільтра відповідно до дисперсією по відношенню до absoute дисперсії)
• 2008-12-04: Виправлена ​​відсутня вісь аргументу в АМАКС виклику в підручнику. Завдяки Самуель Іоанна!
• 2008-12-04: Виправлена ​​порожній итератор обробки даних в ParallelFlow. Також додана порожні чеки ітераторів в нормальному потоці (підвищення виключення, якщо итератор порожній).
• 2008-11-19: Модифікована СПС і SFA вузли для перевірки negaive власних в Крита матриць
• 2008-11-19: symeig інтегровані в SciPy, MDP можете використовувати його звідти в даний час
.
• 2008-11-18 :. Додано ParallelFDANode
• 2008-11-18 :. Оновлене поїзд викликається для ParallelFlow для підтримки додаткових аргументів
• 2008-11-05: Перепишіть додаткової паралельного коду, тепер підтримує HiNet структури
.
• 2008-11-03: Перепишіть у Hinet HTML repesentation творця. На жаль, це також порушує публічний інтерфейс, але зміни досить просто.
• 2008-10-29: Вимкніть попередження, що надходять від віддалених процесів в ProcessScheduler
• 2008-10-27 :. Виправлена ​​проблема з перезаписом kwargs в методі ініціалізації з ParallelFlow
• 2008-10-24 :. Виправлена ​​помилка pretrained вузли в hinet.FlowNode
• 2008-10-20 :. Виправлена ​​критична помилка імпорту в паралельному пакету, коли С. (паралельно бібліотека Python) встановлено

Вимоги

• Python
• NumPy
• SciPy