S3QL

S3QL підтримує Amazon S3, а також довільні сервери SFTP і ефективно забезпечує Вам жорсткому диску динамічною, нескінченної потужності, які можуть бути доступні з будь-якого комп'ютера з доступом в Інтернет.
S3QL надає стандартний, повнофункціональний UNIX файлову систему, яка концептуально нічим не відрізняється від будь-якої локальної файлової системи. Крім того, S3QL має додаткові функції, такі як стиснення, шифрування, дедуплікаціі даних, незмінних дерев і миттєвих знімків, які роблять його особливо підходящим для онлайнового резервного копіювання та архівування.
S3QL сприяє просуванню простоту і елегантність за виконанням і функціонально повзучості. Необхідні заходи були прийняті, щоб зробити вихідний код як для читання та обслуговування, як це можливо. Тверді виявлення помилок і обробки помилок узятий із самої першому рядку, а S3QL поставляється з докладною автоматизованих тестів для всіх його компонентів.
Перед файлова система може бути змонтована, базова, яка буде тримати дані повинні бути ініціалізовані. Це робиться за допомогою команди mkfs.s3ql. Тут ми використовуємо базову програму Amazon S3, і nikratio-s3ql-ківш ківш S3, в якому файлова система буде збережена.
mkfs.s3ql s3: // nikratio-s3ql-ківш
Для установки S3QL файлову систему, що зберігається у відро nikratio_s3ql_bucket S3 в каталозі / шосе / s3ql, введіть:
mount.s3ql s3: // nikratio-s3ql-відро / шосе / s3ql
Тепер ви можете доручити вашу улюблену програму резервного копіювання для запуску резервного копіювання в каталог / шосе / s3ql і дані будуть зберігатися Amazon S3. Коли ви закінчите, файлова система повинна бути вилучена з
umount.s3ql / шосе / s3ql

Особливості

• Прозорість. Концептуально, S3QL нічим не відрізняється від локальної файлової системи. Наприклад, він підтримує жорсткі посилання, символьні посилання, повні права Unix, розширені атрибути і файл розміром до 2 ТБ.
• динамічний розмір. Розмір в S3QL файлової системи збільшується і зменшується динамічно в міру необхідності.
• Стиснення. Перед зберіганням, всі дані можуть стислий з LZMA, BZIP2 або алгоритму LZ.
• Шифрування. Після стиснення (але перед завантаженням), всі дані можуть AES зашифрований з 256-бітовим ключем. Додаткова SHA256 HMAC сума використовується для захисту даних від маніпуляцій.
• дедуплікаціі даних. Якщо декілька файлів мають однакові вміст, надлишкові дані будуть зберігатися тільки один раз. Це працює для всіх файлів, що зберігаються у файловій системі, а також, якщо тільки деякі частини файлів ідентичні, а інші частини різняться.
• непорушних дерев. Каталог дерева можуть бути зроблені незмінним, так що їх зміст не може бути більше не змінився ні в якому вигляді. Це може бути використано для того, щоб резервне копіювання не може бути змінений після того, як вони були зроблені.
• Копіювання при записі / миттєвих знімків. S3QL може повторити цілі дерева каталогів, без використання будь-яких додаткових місця для зберігання. Тільки якщо одна з копій буде змінено, частина даних, яка була модифікована займе додаткове місце для зберігання. Це може бути використано для створення інтелектуальних знімки, які зберігають стан каталозі в різних точках часу, використовуючи мінімальну кількість простору.
• Висока незалежного виконання затримки в мережі. Всі операції, що не писати або читати вміст файлу (наприклад, створення каталогів або переміщення, перейменування та зміна дозволів файлів і каталогів) дуже швидко, тому що вони проводяться без будь-яких мережевих операцій.
• S3QL досягає цього за рахунок економії весь файл і структуру каталогів в базі даних. Ця база даних в локальний кеш і віддаленого копіювання оновлюються асинхронно.
• Підтримка підключень з низькою пропускною здатністю. S3QL розділяє вміст файлу на більш дрібні блоки і кешируєт блоки на місцевому рівні. Це зводить до мінімуму як кількість мережевих операцій, необхідних для читання і запису даних, і обсяг даних, який має бути переданий, коли тільки частина файлу читанні або запису.

Що нового У цьому випуску:

• Спроби оновити файлову систему, яка вже в новітній редакції більше не надають місцеві метадані скопіювати непридатним для використання.
• імена блоків зберігання Google, що містять точки більше не викликають проблем з перевіркою сертифікатів SSL.
• Виправлена ​​помилка при statvfs () викликається на майже порожній файлової системи.
• Існує новий і Quot; swiftks і Quot; серверну частину для OpenStack / Swift-серверів.
• Усуває стан гонки, які могли б призвести до mount.s3ql збій з & Quot; KeyError в колекціях / abc.py і Quot ;.
• Виправлена ​​помилка, яка може відбутися при спробі очистити після отримання повідомлення про помилку з'єднання або сервера при завантаженні об'єкта.

Що нового у версії 2.2:

• S3QL тепер використовує з'єднання SSL за замовчуванням і перевіряє сертифікати сервера.
• стан гонки, що призвело до видимої втрати пульта дистанційного метаданих не зафіксовано.
• S3 базова тепер видаляє кілька об'єктів зберігання, використовуючи один запит, якщо це можливо, зменшення затримок, трафік і кількість звернень до S3.
• S3QL тепер в змозі виявити помилки сервера і перенаправлення перед усіма Дані були відправлені на сервер.
• був доданий новий "Rackspace" базова що дозволяє встановлювати області зберігання об'єктів в URL сховища.
• mount.s3ql --compress варіант тепер дозволяє специфікацію рівня стиснення.

Що нового у версії 1.15:

• Велоспорт резервних копій метаданих при використанні місцевої бекенд тепер займає набагато менше часу.

не «LI> Це більше не потрібно, що S3QL і Python APSW бути пов'язані з однією і тією ж SQLite вашої бібліотеки.
• В mount.s3ql, помилка при використанні --metadata-Upload-інтервал 0 не зафіксовано.
• Замість повністю размонтирования файлової системи (і залишаючи точку монтування недоступний), коли базова дані відсутні або пошкоджені, S3QL тепер повертає помилку і повертає тільки для читання операції.

Що нового у версії 1.13:

• Ця версія виправляє помилку, яка викликала невірний формат метаданих для запису , коли з використанням останніх eglibc версії.
• Це виправляє проблеми при спробі отримати доступ до каталогу на корінь файлової системи, яка нещодавно була видалена з s3qlrm.
• підтримка нібито ACL був видалений.
• Цей реліз краще ручки відра з іменами недійсним DNS.
• Це буде повторити спробу, якщо DNS не доступний.

Що нового у версії 1.11.1:

• У даній версії виправлені помилка при використанні внутрішнього інтерфейсу S3 (регресія введені у версії 1.11), підвищує мінімальну повідомив розмір файлової системи на 1 ТБ, і працює навколо д.ф. помилки, так, розмір повідомляється неправильно.

Що нового у версії 1.11:

• Метадані про збережених об'єктів тепер розділений на кілька полів, так не поле не більш, ніж 256 байт. (Це робить S3QL сумісний з широким діапазоном постачальників зберігання.) SWIFT базова тепер повторює, якщо він не отримує 5xx коди помилок з віддаленого сервера, і вже не вдається при спробі завантажити дані з вичерпаним терміном знак авт.

Що нового у версії 1.10:

• В S3s, s3cs і СОБ движки були видалені. Використовуйте нову --ssl варіант разом з S3, S3C, і Г.С. движків замість цього.

не «LI> S3QL більше не відстежує консистенції гарантій для різних підсистем.
• більше число різних постачальників зберігання, пропонуючи різні регіони, резервування, і рівні готовності не робить це вже не представляється можливим.
• Посібник користувача містить новий розділ, & Quot; важливих правил, щоб уникнути втрати даних і Quot ;.
• Читаючи його настійно рекомендується.

Що нового у версії 1.9:

• Ця версія дозволяє зменшити час на файл, більше не змінюється при зміні системи Часовий пояс, виправлення і покращує CONTRIB / benchmark.p, фіксує і Quot; Занадто багато ланцюгом перенаправлення & Quot; помилка, повторює про помилки 5xx сервера, і додає експериментальну вбудовану підтримку для серверів OpenStack / SWIFT та експериментальної підтримки проксі-сервера.

Що нового у версії 1.8:

• & Quot; ValueError: Не вдається скинути NULL значення & Quot; збій при метадані файлової системи був завантажений в процесі діяльності важкий файлова система була встановлена.
• s3qlcp і списку каталогів продуктивність для дуже великих каталогів були покращені.
• регресії продуктивності RM була встановлена.
• -. Размер_блока був перейменований в --max-Obj-формат
• Деякі збої, які відбулися під сильно одночасного використання файлової системи були встановлені.
• Python-llfuse 0,37 в даний час використовується.

Обмеження

• Є ще багато помилок в коді, і ви повинні бути готові мати справу з їх. Тим не менш, ви можете бути впевнені, що помилки (хоча незручно) не загрожуватиме збережені дані.