DedupeCopy

DedupeCopy є простою багатопоточний інструмент копіювання файлів призначений для зміцнення та розбудови розповзання файлових систем.
Найбільш поширене використання випадок для резервного копіювання даних в новий формат, ігноруючи дублікати файлів.
Інші області застосування включають:
І NBSP; 1. Отримання CSV-файл, що описує всі дубльовані файли
І NBSP; 2. Порівняння різних файлових систем
І NBSP; 3. Модифікація існуючих наборів файлів в різних макетів (наприклад, упорядковано розширенню або час останньої зміни)
Цей інструмент * НЕ * заміна Robocopy або Rsync і не намагається заповнити роль цій грі.
Як і всі коду, який ходить дерево файлів, будь ласка, використовуйте з обережністю і не чекати абсолютно ніяких гарантій!
Приклади команд:
І NBSP; Створити дублікат файлу-звіту для шляхи:
І NBSP; & NBSP; & NBSP; & NBSP; & NBSP; dedupe_copy.py -p / Люди / -R dupes.csv -m проявляється
І NBSP; Скопіюйте всі * .jpg файли з декількох шляхів до структури /YYYY_MM/*.jpg
І NBSP; & NBSP; & NBSP; & NBSP; & NBSP; dedupe_copy.py -p C: фото -p D: фото -e JPG -R JPG: час зміни -c X: фото
І NBSP; Скопіюйте всі файли з двох дисків до однієї мети, зберігаючи шлях для
І NBSP; всі розширення:
І NBSP; & NBSP; & NBSP; & NBSP; & NBSP; dedupe_copy.py -p C: -p D: -з X: -m X: проявляються -R *: no_change
І NBSP; Відновити переривчастий режим (за умови, "-m проявляється" використовується в попередньому періоді):
І NBSP; & NBSP; & NBSP; dedupe_copy.py -p / Люди / -R dupes_2.csv -i проявляється -m проявляється
Послідовно скопіювати різних джерел в одній і тій же меті, а не копіювання дублікатів файлів (2 джерела і 1 мета):
І NBSP; & NBSP; & NBSP; 1.) Перша згадка проявляється для всіх пристроїв
І NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; dedupe_copy.py -p \ мета частка -m target_manifest
І NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; dedupe_copy.py -p \ source1 частка -m source1_manifest
І NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; dedupe_copy.py -p \ source2 частка -m source2_manifest
І NBSP; & NBSP; & NBSP; 2.) Скопіюйте кожне джерело до мети (із зазначенням --compare так маніфести від
І NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; інші джерела завантажуються, але не використовується як частина набору для копіювання та
І NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; --no-ходьби, щоб пропустити повторне сканування джерела):
І NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; dedupe_copy.py -p \ source1 частка -c \ мета частка -i source1_manifest
І NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; --compare source2_manifest --compare target_manifest і NBSP; --no-ходьби
І NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; dedupe_copy.py -p \ source2 частка -c \ мета частка -i source2_manifest
І NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; --compare source1_manifest --compare target_manifest --no-ходьби
Повний приклад:
І NBSP; & NBSP; & NBSP;
І NBSP; & NBSP; & NBSP; Припускаючи, що ви починаєте з набором файлів, викладених наступним чином:
І NBSP; & NBSP; & NBSP; С:
І NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; фото
І NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; some_photos
І NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; photo1.jpg
І NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; photo2.jpg
І NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; photo3.jpg
І NBSP; & NBSP; & NBSP; D:
І NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; фото
І NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; copied_photo
І NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; photo3.jpg
І NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; photo4.jpg
І NBSP; & NBSP; & NBSP; І ви виконаєте команду:
І NBSP; & NBSP; & NBSP; > Dedupe_copy.py -p C: фото -p D: фото -e JPG -R JPG: час зміни -c X: фото
Ви б у кінцевому підсумку з наступне (photo3.jpg було вірно дублікат):
І NBSP; & NBSP; & NBSP; X:
І NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; фото
І NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; 2012_08
І NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; photo1.jpg
І NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; photo2.jpg
І NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; photo3.jpg
І NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; 2012_09
І NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; photo4.jpg
Цей проект знаходиться на BitBucket: http://www.bitbucket.org/othererik/dedupe_copy

Requirements:

• Python