Apache Spark

Іскра була розроблена для поліпшення швидкості обробки для аналізу даних і маніпулювання програм.
Вона була написана в Java і Scala, і надає можливості, яких немає в інших системах, в основному тому, що вони не мейнстрім, ні, що корисно для додатків обробки без даних.

Що нового У цьому випуску :.

• Core API тепер підтримує агрегування багаторівнева дерева, щоб допомогти прискорити дорого знизити операції
• Поліпшення звітів про помилки була додана для деяких Гоча операцій.

Причал залежність
• Спарк тепер затінених, щоб уникнути конфліктів з одними програмами.
• Іскра тепер підтримує шифрування SSL для деяких кінцевих зв'язку.
• в реальному часі GC метрики і запис на рахунку були додані в користувальницький інтерфейс.

Що нового у версії 1.3.0:

• Core API тепер підтримує багаторівневі агрегації дерева щоб прискорити дорого знизити операцій.
• Поліпшення звітів про помилки була додана для деяких Гоча операцій.

Причал залежність
• Спарк тепер затінених, щоб уникнути конфліктів з одними програмами.
• Іскра тепер підтримує шифрування SSL для деяких кінцевих зв'язку.
• в реальному часі GC метрики і запис на рахунку були додані в користувальницький інтерфейс.

Що нового у версії 1.2.1:

• оператор сортування PySpark тепер підтримує зовнішні розлив для великих наборів даних .
• PySpark тепер підтримує широкомовні змінні більше, ніж 2 Гб і виконує зовнішній розлив під час пологів.
• Іскра додає сторінку Робота на рівні виконання в інтерфейсі іскра, стабільний API для звітності про хід та динамічне оновлення вихідних показників як робота завершена.
• Іскра в даний час має підтримку читання довічних файлів для зображень та інших довічних форматів.

Що нового у версії 1.0.0:

• Цей реліз розширює стандартні бібліотеки Спарк, представляючи новий Пакет SQL (SQL-Іскра), що дозволяє користувачам інтегрувати SQL запити в існуючі робочі процеси Свічки.
• MLlib, бібліотека машинного навчання Спарк, розширюється з рідкісними вектора підтримки і кілька нових алгоритмів.

Що нового у версії 0.9.1:

• Виправлена ​​помилка хеш зіткнення зовнішнього розлив
• Виправлена ​​конфлікт з log4j Спарк для користувачів, які покладаються на інших лісозаготівельних бекенда
• Виправлена ​​Graphx відсутня іскра збірки банку в Maven будує
• Виправлені німі втрати, викликані карту стану виходу перевищення розміру кадру Акка
• непотрібним пряма залежність видалені Спарк КМЗ
• Дистанційні метрики-ганглії від складання за замовчуванням через LGPL ліцензії конфлікту
• Виправлена ​​помилка в розподільній архіву які не містять іскра збірки банку

Що нового у версії 0.8.0:

• Розробка переїхав до Apache Софт Фонду, інкубатор проект.

Що нового у версії 0.7.3:

• Python продуктивність: механізм Спарк для нересту Python віртуальних машин має була покращена, щоб зробити це швидше, коли JVM має великий розмір купи, прискорюючи API Python.
• Mesos фіксує: JAR-додані до вашої роботи тепер буде на шляху до класів при десеріалізациі результати виконання завдань у Mesos
.
• Повідомлення про помилки :. Краще звітності помилок для несеріалізуемих винятків і надмірно великих результатів завдань
• Приклади :. Додав приклад зі станом обробки потоку з updateStateByKey
• Статура :. Іскра Потокове більше не залежить від Twitter4J репо, які повинні дозволити їй побудувати в Китаї
• Виправлені помилки в foldByKey, потокове граф, методи статистики, документації, а також веб-інтерфейс.

Що нового у версії 0.7.2 :.

• Скала версія оновлена ​​до 2.9.3
• Кілька поліпшень в Bagel, у тому числі продуктивності виправлень і налаштованим рівнем зберігання даних.
• Нові методи API :. SubtractByKey, foldByKey, КартаЧто, filterWith, foreachPartition та інші
• A нові показники звітності інтерфейсу, SparkListener, щоб зібрати інформацію про кожен етап обчислень :. Довжини завдання, байт перемішуються, і т.д.
• Кілька нових прикладів використання Java API, у тому числі К-середніх та обчислювальної пі.

Що нового у версії 0.7.0:

• Свічки 0,7 додає Python API під назвою PySpark <. / LI>
• Робота Свічки в даний час запуску веб-панель для моніторингу використання пам'яті кожного розподіленого набору даних (РДД) в програмі.
• Іскра тепер бути побудовані з використанням Maven на додаток до SBT.

Що нового у версії 0.6.1:

• Виправлена ​​надмірно агресивним повідомлення тайм-аути, які могли б призвести до робочих від'єднайте від кластера.
• Виправлена ​​помилка в режимі автономного розгортання, які не наражати хостів в планувальник, що впливають HDFS місцевості.
• Покращена повторне з'єднання в порожню, яка може значно прискорити невеликі перетасовки.
• Виправлені деякі потенційні тупики в менеджері блоків.
• Виправлена ​​помилка при отриманні ідентифікаторів невдалих господарів від Mesos.
• Кілька поліпшень EC2 сценарій, як кращої керованості випадків місцева.
• Зроблено місцевий IP-адресу, яку Іскра зв'язується з налаштованим.
• Підтримка Hadoop 2 розподілів.
• Підтримка для розміщення Scala в дистрибутивах Debian.

Що нового у версії 0.6.0 :.

• Простіше розгортання
• Документація Спарк була розширена нової короткому посібнику, додаткові інструкції з розгортання, керівництва конфігурації, налаштування керівництва, і поліпшення документації Scaladoc API.
• Новий менеджер зв'язку з використанням асинхронного Java НИО дозволяє відтворення у випадковому порядку операції виконуються швидше, особливо при відправці великих обсягів даних або коли робота є багато завдань.
• Новий менеджер зберігання підтримує на-набору даних настройки рівня зберігання (наприклад, чи варто зберегти дані в пам'яті, десеріалізациі, на диску, і т.д., або навіть реплицируются по вузлах).
• Розширені налагодження.