Dapper Dataflow Engine

Чепуристий (розподілених і паралельних програм Виконання виконання) є інструментом для приборкання складність розробки для великомасштабного хмари і розподілених обчислень, дозволяючи користувачеві створювати розподілені обчислення з першої необхідності - код, який буде execut
<Сильний> Чому Чепуристий?
Ми живемо в цікавий час, коли прориви в науці все більше залежать від зростаючої доступності і великої кількості коммерціоналізірованних мережевих обчислювальних ресурсів. За допомогою хмари або сітки, обчислення, які б в іншому випадку запустити протягом декількох днів на одному настільному комп'ютері тепер поширюється і / або паралельні формулювання, які можуть збивати з допомогою, протягом декількох годин, вхід встановлює в десять разів більша на сто машин , Як заманливо, як ідея сили в цифрах може бути, маючи тільки фізичне устаткування недостатньо - програміст повинен виробити фактичного розрахунку, що буде працювати на нього. Отже, високе значення приділяється людських зусиль і творчості вимагає середовище програмування, яка дозволяє і навіть заохочує, короткий вираз розподілених обчислень, і в той же час не жертвувати спільності.
Чудний, стоячи в розподілених і паралельного виконання програми виконання, є одним з таких інструментів для подолання технічних характеристик на високому рівні вченого / програміста, які захоплюють сутність програми, з механізмами низького рівня, які відображають сумнівні факти розподіленого і паралельного обчислення. Під його потоку даних-орієнтований підхід, Чепуристий дозволяє користувачам кодувати локально в Java і виконати глобально на хмарі або сітці. Спочатку користувач пише codelets або невеликі фрагменти коду, які виконують прості завдання і не самі по собі, складають повну програму. Потім він або вона визначає, як ці codelets, який розглядається як вершин в потоці даних, передають дані один з одним за допомогою крайових відносин. В результаті орієнтований ациклічний граф потоку даних повна програма інтерпретації в Dapper сервер, який, за їх зв'язатися по довгоживучих клієнтів працівників, може координувати розподіленого виконання.
не під Dapper моделі, користувач більше не потребує турбуватися про традиційно вузькоспеціалізованих аспектів управління хмара або сітки, які включають в себе обробку даних і межсоединений залежностей, оговтавшись від помилок, розподіляючи код, і, починаючи роботу. Можливо, що ще більш важливо, вона забезпечує весь Java-основі набору інструментів та виконання для кадрування майже всі крупнозернистого розподілених обчислень в узгодженому форматі, що дозволяє для швидкого розгортання і легкого транспортування до інших дослідникам.

Характеристики

• система розподілу код, який дозволяє Чепуристий сервер для передачі необхідного коду програми по мережі і є клієнти, динамічно завантажувати його. Наслідком цього є те, що, за винятком зовнішніх виконуваних оновлення для Dapper програми повинні відбуватися тільки на стороні сервера.
• потужний підпотоків метод занурення для динамічно змінюючи графа потоків даних під час виконання.
• виконання в Java ванілі, мову, що багато хто, безсумнівно, знайомі з. Крім вимоги про недавнє JVM і, можливо Graphviz Dot, Чепуристий є самодостатнім.
• Протокол надійної управління. Чудний сервер очікує будь-яку кількість клієнтів на провал, в будь-який час, і має настроюються переоформлення та тайм-ауту політики, щоб впоратися. Отже, можна запускати і зупиняти (довгоживучі) клієнтів без страху здачі всієї системи в неузгоджену стані.
• Гнучкі семантика, які дозволяють передачу даних через файли або TCP потоки.
• сумісність з брандмауерами. Так як ваш місцевий хмара або сітки, ймовірно, сидить за брандмауером, ми розробили спеціальну семантику для потокового передачі даних.
• Ліберальні умови ліцензування. Чудний випущений під ліцензією LGPL, щоб запобігти забрудненню вашої коду.
• Робота в якості вбудованого програми. Інструкція з експлуатації описує програмування API, який може слідувати, щоб запустити сервер Dapper всередині програми, як Apache Tomcat користувачі.
• Робота в якості автономного інтерфейсу користувача. З нею можна працювати Off-The-шельф демо і дізнатися основні поняття з наочних прикладів. Слідуючи мінімальний набір конвенцій, тоді можна пов'язати свої власні програми Dapper як архіви виконання, а потім отримати в режимі реального часу стан потоку даних та налагодження зворотного зв'язку.

Що нового У цьому випуску:

• метод ServerLogic # closeIdleClients був змінений, щоб краще відповідати користувача інтуїтивне поняття неробства.
• за бажанням користувача для визначення імені хоста сервера був доданий.
• Мережеві внутрішні були перероблені, щоб використовувати нові API.
• Процес складання був оновлений для підтримки як 32, так і 64-розрядну Windows, крос-компіляцію.
• чепуристий. * Ієрархія була перейменована в org.dapper. *.

Що нового у версії 0.96:

• Додана абстракцію FlowListener, так що користувачі тепер можуть асоціювати метадані з потоками даних та їх вузлів.
• Виправлена ​​витік пам'яті в Dapper сервері.
• Додана apiviz Doclet теги так, що відносини між класами може бути краще візуалізується.
• Додана apiviz для візуалізації залежностей в Javadoc.
• Виправлена ​​невелика помилка в BuildAndTest виконуваний файл.
• Процес складання тепер повністю інтегрована з Apache Ivy. Розподіл джерело тепер вже поставляється з SST. Замість цього, залежно будуть автоматично завантажені; в іншому випадку, можна скачати вихідний SST, скомпілювати його, і публікувати в локальному сховищі. Дивіться інструкцію з експлуатації для більш докладної інформації.
• Оновлений процес складання і видаляються надлишкові кроки.
• Нормована авторських та ліцензійних повідомлення у всіх файлах.
• Java 1.6 тепер потрібно, щоб побудувати і запустити.
• Зміна збірки процес, щоб використовувати Apache Айві, який означає, що зовнішні залежності більше не повинні бути упаковані з основною розподілу SST.
• 'Doxygen «цільової долучення побудувати процес так, щоб рідні компоненти можуть бути задокументовані.

Що нового у версії 0.95:

• Новий гнучкий реєстрації інфраструктура була додана
• ініціалізаторів для лісозаготівельних структур були переміщені з класів сервер і клієнт, і в драйверах.
• Кінцеві автомати були оновлені з новою анотації приводом API.
• вихідний код був нормалізується мати 8 прогалини замість вкладок.

Що нового у версії 0.94:

• Параметри командного рядка для клієнта і сервера тепер доступні, люб'язно бібліотеки Apache Commons CLI.
• Клієнтський процес життєвого циклу нині визначається як закінчення, коли відключення від сервера відбувається.
• Стовбурові функціональність покоління перетворився з методу полягає OutputHandleResource, щоб бути статичний метод CodeletUtilities.
• FlowNodeFactory клас використовується на користь прямого примірника FlowNodes.
• Будівництво рідних компонентів перекочував в CMake.
• Ведення журналу мігрували в SLF4J.
• README був доданий для всіх розподілів.

Що нового у версії 0.93 :.

• Значно поліпшені педагогічні приклади
• керівництво Оновлене.
• Додана зручність процедури в dapper.codelet.CodeletUtilities для запитів ресурсів.
• Вилучено Генератор, FileEdge, FileBatchGenerator, FileBatchEdge, FileResource і FileBatchResource. Вони були замінені поняттям абстрактним ручками даних у вигляді HandleEdge, InputHandleResource, OutputHandleResource. Див інструкцію на предмет змін.
• Оновлене dapper.codelet.Resource експортувати вхідні і вихідні потоки.

Вимоги

• Java 2 Standard Edition Runtime Environment