Zadanie #2136
Skrypt do przyrostowego backupu rekordów z katalogu
| Status: | Zamknięty | Start date: | 2021-07-28 | |
|---|---|---|---|---|
| Priority: | Normalny | Due date: | ||
| Assignee: | Tomasz Lewandowski | % Done: | 100% | |
| Category: | - | Spent time: | - | |
| Target version: | - | |||
| Developer: | Tomasz Blazejczyk | Rewizja rozwiązania: | ||
| Tester: | Tomasz Lewandowski | Rewizja testów: |
Description
Skrypt ma obsługiwać dwie sytuacje:
- całościowy backup danych do standardowej paczki importowej
- przyrostowy backup danych od ostatniego uruchomienia
Skrypt będzie uruchamiany w cyklu dwumiesięcznych (tryb całościowy) oraz conocnym (przyrostowo).
Subtasks
History
#1 Updated by Tomasz Blazejczyk over 5 years ago
Wersja CLI z paczkomatem znajduje się tutaj:
http://maven.icm.edu.pl/artifactory/yadda-snapshots/pl/edu/icm/yadda/yadda-cli/4.4.17-AGRO-POPC-SNAPSHOT/yadda-cli-4.4.17-AGRO-POPC-20190903.101533-18-dist.tar.gz
Obsługa (na przykładzie agro-test):
Eksport całości:
./export_increment.sh -s http://lodowy.vls.icm.edu.pl:7780/agro-test-repo/descriptor -f /opt/backup -p agrodump -full
Eksport częściowy (data startowa jest określana na podstawie najnowszego pliku w archiwum)
./export_increment.sh -s http://lodowy.vls.icm.edu.pl:7780/agro-test-repo/descriptor -f /opt/backup -p agrodump
Jak to działa:
-s określa deskryptor repo
-f to katalog do którego wpadają paczki
-p to prefix pliku z paczką
Pliki mają nazwę
<data_utworzenia_w_formacie_yyyyMMddHHmm>.zip
#2 Updated by Tomasz Blazejczyk over 5 years ago
- Status changed from Nowy to Rozwiązany
- Assignee changed from Tomasz Blazejczyk to Tomasz Lewandowski
#3 Updated by Tomasz Blazejczyk over 5 years ago
- Status changed from Rozwiązany to W toku
- Assignee changed from Tomasz Lewandowski to Tomasz Blazejczyk
Dodatkowe wymaganie - zapis w wielu paczkach o określonym rozmiarze.
#4 Updated by Tomasz Blazejczyk over 5 years ago
Dodatkowe wymaganie zrealizowano:
- parametr size określa maksymalną wielkość paczki (w MB) jeśli przekroczy to tworzona jest następna paczka z numerkiem w nazwie _1, _2 itp
- istniejące sztywne ograniczenie rozmiaru pobieranych pełnych tekstów zostało sparametryzowane - parametr -max pkreśla maksymalny rozmiar, bez parametru nie ma ograniczeń
#5 Updated by Tomasz Blazejczyk over 5 years ago
- Status changed from W toku to Testowanie
Paczkomat uruchomiony na kopii produkcji agro, poźniej paczki zaimportowano na kolejny serwer testowy do weryfikacji.
Sebastian napisał:
Cześć,
Przebudowa zakończona sukcesem.
Podpiąłem testy pod naszą yadda:
http://yadda.icm.edu.pl/agro-test/
Prośba o poklikanie i sprawdzenie czy waszym zdaniem jest OK.
Jak będzie OK, to można by spróbować na produkcji puścić skrypt budujący paczki i zobaczyć jak sobie będzie radził.
S.
#6 Updated by Tomasz Blazejczyk over 5 years ago
- Assignee changed from Tomasz Blazejczyk to Tomasz Lewandowski
#7 Updated by Tomasz Lewandowski over 5 years ago
- % Done changed from 0 to 80
testy 2020-01-15--16:
yaddaweb wygląda ok, kompletności danych nie sprawdzę, bo nie wiem, jak produkcja wyglądała we wrześniu 2019. Pseudolosowa próbka rekordów nie zawiera błędów, hierarchia wszędzie gdzie sprawdzałem jest zachowana.
Przydałby się deskryptor do DL, bo samym yaddawebem afaik nie sprawdzę, czy jakieś elementy wylądowały poza hierarchią.
#8 Updated by Tomasz Lewandowski about 4 years ago
- Status changed from Testowanie to Zamknięty
- % Done changed from 80 to 100