Skip to content

Restic - Ein Backupkonzept

Angeheftet Restic
  • Wie viele, stehe ich auch immer wieder vor dem Problem einige wichtige Daten zu sichern. Mein System sicher ich nicht, nur die Daten unter /home

    Aber, es gibt ja auch wichtige Daten, die man nicht zu Hause speichern möchte. Doch in der Cloud? Nö, das ist nicht mein Stil, da lesen mir zu viele mit 🙂 Ok, also muss man die Daten verschlüsselt irgendwo ablegen. Dafür habe ich auch schon so einige Sachen durch. Boxcryptor, Cryptonator und wie sie alle heißen. Doch irgendwas ist immer, was mich daran stört. In meinem Twitter-Account bin ich doch letztens wieder über Restic gestolpert. Da war doch mal was!?

    Restic - Backuptool vorgestellt

    Armbian - Backupscript mit Restic anlegen

    Die Grundlagen sind also schon erarbeitet. Dann schauen wir uns das nochmal an und erarbeiten ein Konzept um gewisse Daten verschlüsselt auf einem Datenspeicher abzulegen. Los geht's....

    Restic

    Was ist Restic? Mit meinen eigenen Worten, ein Backup-Tool 😋 Gut, es hat keine grafische Oberfläche, es ist ein reines Kommandozeilen-Tool. Es sichert Daten, und diese AES-256 verschlüsselt. Das sollte reichen um die Daten irgendwo außerhalb der eigenen Wohnung zu lagern. (Denkt an das PW, bei einem schlechten PW braucht man auch gar nicht verschlüsseln!)

    Hier die Links zum Projekt:

    GO

    Restic ist in GO geschrieben. GO ist eine Programmiersprache die von Mitarbeitern von Google entwickelt wurde. Mit GO kompiliert man ausführbare Dateien. Hier mal das typische Hello World Beispiel.

    package main
    
    import "fmt"
    
    func main() {
    fmt.Println("Hallo Welt")
    }
    

    Der Link zum Projekt GO https://golang.org

    Installation GO

    Unter meinem Linux Mint Cinnamon 18.3 gibt es leider kein aktuelles Paket. Das Paket was man installieren kann ist für Restic nicht nutzbar 😠

    go run build.go
    Go 1.6.2 detected, this program requires at least Go 1.8.0
    exit status 1
    

    Ok, das bringt so nix. Also das Paket wieder entfernt, dann müssen wir da anders ran gehen. Also müssen wir das Repository vom Entwickler benutzen.

    sudo add-apt-repository ppa:longsleep/golang-backports
    

    Nach der Eingabe erscheint folgendes:

    Sie sind dabei das folgende PPA hinzuzufügen:
    Golang 1.8 and 1.9 PPA for Ubuntu 16.04 Xenial
    Mehr Informationen: https://launchpad.net/~longsleep/+archive/ubuntu/golang-backports
    Zum Fortfahren bitte Eingabetaste drücken oder Strg+C zum Abbrechen
    

    Danach ein

    apt-get update
    apt-get install golang-go
    

    Nach der Installation eben die Version checken.

    go version
    go version go1.9.4 linux/amd64
    

    Gut, damit haben wir die Grundvoraussetzung für Restic erst mal auf dem System. Nun können wir uns das aktuelle Restic halt selber bauen.

    Wenn man mal mit dem o.g. Probleme hat, kann man sich hier fertige Pakete runterladen.
    https://golang.org/dl/

    Installation Restic

    Wir holen uns mal eben das Programm von Github.

    git clone https://github.com/restic/restic
    

    Danach ins Verzeichnis wechseln

    cd restic
    

    Und nun bauen wir

    go run build.go
    

    Nach Beendigung kopieren wir uns das Programm nach /usr/bin damit wir es von überall aufrufen können.

    sudo cp restic /usr/bin
    

    Nun bekommen wir beim Aufruf von Restic die Hilfe angezeigt.

    restic
    
    restic is a backup program which allows saving multiple revisions of files and
    directories in an encrypted repository stored on different backends.
    
    Usage:
    restic [command]
    
    Available Commands:
    backup Create a new backup of files and/or directories
    cat Print internal objects to stdout
    check Check the repository for errors
    diff Show differences between two snapshots
    dump Print a backed-up file to stdout
    find Find a file or directory
    forget Remove snapshots from the repository
    generate Generate manual pages and auto-completion files (bash, zsh)
    help Help about any command
    init Initialize a new repository
    key Manage keys (passwords)
    list List objects in the repository
    ls List files in a snapshot
    migrate Apply migrations
    mount Mount the repository
    prune Remove unneeded data from the repository
    rebuild-index Build a new index file
    restore Extract the data from a snapshot
    snapshots List all snapshots
    tag Modify tags on snapshots
    unlock Remove locks other processes created
    version Print version information
    
    Flags:
    --cacert stringSlice path to load root certificates from (default: use system certificates)
    --cache-dir string set the cache directory
    --cleanup-cache auto remove old cache directories
    -h, --help help for restic
    --json set output mode to JSON for commands that support it
    --limit-download int limits downloads to a maximum rate in KiB/s. (default: unlimited)
    --limit-upload int limits uploads to a maximum rate in KiB/s. (default: unlimited)
    --no-cache do not use a local cache
    --no-lock do not lock the repo, this allows some operations on read-only repos
    -o, --option key=value set extended option (key=value, can be specified multiple times)
    -p, --password-file string read the repository password from a file (default: $RESTIC_PASSWORD_FILE)
    -q, --quiet do not output comprehensive progress report
    -r, --repo string repository to backup to or restore from (default: $RESTIC_REPOSITORY)
    --tls-client-cert string path to a file containing PEM encoded TLS client certificate and private key
    
    Use "restic [command] --help" for more information about a command.
    

    Somit können wir nun das Backup-Tool einsetzen.

    Backup einrichten

    Um ein Backup einzurichten, müssen wir folgenden Befehl eingeben.

    restic -r /tmp/repo init
    enter password for new repository: 
    enter password again: 
    created restic repository c2f4383c89 at /tmp/repo
    

    -r /tmp/repo definiert den Pfad des Backups
    init dient zur Initialisierung des Backups. Danach fragt das Programm das Passwort für das Backup ab!

    Wichtig!

    Please note that knowledge of your password is required to access
    the repository. Losing your password means that your data is
    irrecoverably lost.
    

    Backup anlegen

    Um ein Backup anzulegen wird folgendes eingegeben

    restic -r /tmp/repo backup /home/frank/Bilder
    enter password for repository: 
    password is correct
    scan [/home/frank/Bilder]
    scanned 4 directories, 64 files in 0:00
    [0:00] 100.00%  91.252 MiB / 91.252 MiB  68 / 68 items  0 errors  ETA 0:00 
    duration: 0:00
    snapshot c38a4ceb saved
    

    -r /tmp/repo ist der Pfad zum Backup - Zielverzeichnis
    backup - legt ein Backup von Files /Ordner an
    /home/frank/Bilder ist das Quellverzeichnis welches gesichert werden soll.

    Vor Anlegen des Backups, wird das Passwort abgefragt, wenn das richtig ist geht's los. Es kommen einige Ausgaben was passiert und am Ende die Zeile

    snapshot c38a4ceb saved
    

    die uns anzeigt, das das Backup (Snapshot) unter dem Namen c38a4ceb angelegt wurde.

    Backup's auflisten

    Ein Backup kann viele Snapshot's enthalten. Um mit diesen arbeiten zu können, müssen wir wissen wie der Name lautet. Um diese aufzulisten, gibt es einen Befehl

    restic -r /tmp/repo snapshots
    enter password for repository: 
    password is correct
    ID        Date                 Host           Tags        Directory
    ----------------------------------------------------------------------
    c38a4ceb  2018-02-18 16:47:08  frank-XX-XXXX              /home/frank/Bilder
    ----------------------------------------------------------------------
    1 snapshots
    

    Hier wird der nun bekannte Befehl restic -r /tmp/repo um den Befehl snapshots erweitert. Dieser gibt dann, nachdem wir das korrekte Passwort eingegeben haben, alle Snapshots aus. Im Beispiel gibt es nur einen Snapshot.

    Snapshot wieder herstellen

    Um einen Snapshot wieder herzustellen brauchen wir den Namen (ID) des Snapshots und folgenden Befehl.

    restic -r /tmp/repo restore -t /tmp/restore c38a4ceb
    

    -r /tmp/repo ist der Pfad zum Backup - Zielverzeichnis
    restore Befehl zum Auspacken des Snapshots
    -t /tmp/restore Das Zielverzeichnis (Target)
    c38a4ceb Der Name(ID) des Snapshots

    Restic Hilfe

    Man kann sich zu den einzelnen Befehlen auch eine ausführlichere Hilfe anzeigen lassen.

    restic restore --help
    
    The "restore" command extracts the data from a snapshot from the repository to
    a directory.
    
    The special snapshot "latest" can be used to restore the latest snapshot in the
    repository.
    
    Usage:
      restic restore [flags] snapshotID
    
    Flags:
      -e, --exclude pattern   exclude a pattern (can be specified multiple times)
      -h, --help              help for restore
      -H, --host string       only consider snapshots for this host when the snapshot ID is "latest"
      -i, --include pattern   include a pattern, exclude everything else (can be specified multiple times)
          --path path         only consider snapshots which include this (absolute) path for snapshot ID "latest"
          --tag taglist       only consider snapshots which include this taglist for snapshot ID "latest" (default [])
      -t, --target string     directory to extract data to
    
    Global Flags:
          --cacert stringSlice       path to load root certificates from (default: use system certificates)
          --cache-dir string         set the cache directory
          --cleanup-cache            auto remove old cache directories
          --json                     set output mode to JSON for commands that support it
          --limit-download int       limits downloads to a maximum rate in KiB/s. (default: unlimited)
          --limit-upload int         limits uploads to a maximum rate in KiB/s. (default: unlimited)
          --no-cache                 do not use a local cache
          --no-lock                  do not lock the repo, this allows some operations on read-only repos
      -o, --option key=value         set extended option (key=value, can be specified multiple times)
      -p, --password-file string     read the repository password from a file (default: $RESTIC_PASSWORD_FILE)
      -q, --quiet                    do not output comprehensive progress report
      -r, --repo string              repository to backup to or restore from (default: $RESTIC_REPOSITORY)
          --tls-client-cert string   path to a file containing PEM encoded TLS client certificate and private key
    

    Dort findet man auch den Schalter -t

    Snapshot mounten

    Man kann ein Snapshot auch eben mal schnell mounten.

    mkdir /mnt/restic
    restic -r /tmp/backup mount /mnt/restic
    enter password for repository:
    Now serving /tmp/backup at /mnt/restic
    Don't forget to umount after quitting!
    

    Im nächsten Teil werden wir einen bestimmten Ordner automatisch sichern und das Ganze automatisieren, so das wir uns nicht mehr drum kümmern müssen.

    https://forum.frank-mankel.org/topic/27/restic-ein-backupkonzept-automatisieren

  • FrankMF FrankM hat dieses Thema am angepinnt

  • Docker & Redis Datenbank

    Verschoben Linux
    2
    0 Stimmen
    2 Beiträge
    150 Aufrufe
    FrankMF

    @FrankM sagte in Docker & Redis Datenbank:

    save 60 1
    #save 900 1
    save 300 10
    save 60 10000

    Hier kann man auch noch schön sehen, wie ich gekämpft habe, bis ich mal eine dump.rdb gesehen habe. Auch irgendwie logisch, das ich nie eine gesehen hatte, wenn man weiß das

    save 900 1

    bedeutet, das er alle 900 Sekunden speichert, wenn mindestens eine Änderung vorhanden ist. Das kann dann schon was dauern. Ich habe das dann mal verkürzt, damit ich schneller ein Ergebnis habe.

    save 60 1

    Das brachte mich dann dem Ziel näher. Danach konnte ich die dump.rdb auch finden.

    Bitte keine Redis DB ohne Passwort laufen lassen!
  • Restic - Kompression

    Restic
    2
    0 Stimmen
    2 Beiträge
    259 Aufrufe
    FrankMF

    Gestern Abend noch ein paar Tests gemacht, aber nicht wirklich Erfolg gehabt. Ok, dann heute noch mal von vorne und mit System. Als erstes muss man mal Daten finden, die man auch gut komprimieren kann, ich will ja auch ein deutliches Ergebnis sehen.

    Meine Wahl fiel auf einen openwrt Ordner, mit dem ich mal ein Image selber gebaut hatte. Schön viele kleine Dateien, sollte sich gut komprimieren lassen.

    Original

    547e3596-69df-48ac-9409-5173367afb85-grafik.png

    Test mit 7z

    Rechtsklick, mit den Bordmittel und dann 7z gewählt.

    364b497f-cf59-408c-ba2b-cad70cc09529-grafik.png

    Test mit Restic V1

    Ich habe auf einer mechanischen 1TB Platte zwei Ordner angelegt, einmal Restic_V1, einmal Restic_V2.

    frank@frank-MS-7C37:~/Downloads$ restic version restic 0.13.1 compiled with go1.18 on linux/amd64 Init restic init -r /media/1TB/Restic_V1/ Backup frank@frank-MS-7C37:~/Downloads$ restic -r /media/1TB/Restic_V1/ backup /home/frank/openwrt/ enter password for repository: repository 731db857 opened successfully, password is correct created new cache in /home/frank/.cache/restic no parent snapshot found, will read all files Files: 407839 new, 0 changed, 0 unmodified Dirs: 41286 new, 0 changed, 0 unmodified Added to the repo: 7.851 GiB processed 407839 files, 11.061 GiB in 4:49 snapshot 24cd8ef4 saved Ergebnis

    799fa3ee-5bdf-48ba-a05e-8f7f24f1c41b-grafik.png

    Test mit Restic V2 frank@frank-MS-7C37:~/Downloads$ ./restic_v0.13.0-126-g26c33332_linux_amd64 version restic 0.13.1-dev (compiled manually) compiled with go1.18 on linux/amd64 Init ./restic_v0.13.0-126-g26c33332_linux_amd64 init -r /media/1TB/Restic_V2/ --repository-version 2 Backup frank@frank-MS-7C37:~/Downloads$ ./restic_v0.13.0-126-g26c33332_linux_amd64 -r /media/1TB/Restic_V2/ backup /home/frank/openwrt/ enter password for repository: repository 33c5e24c opened (repo version 2) successfully, password is correct created new cache in /home/frank/.cache/restic no parent snapshot found, will read all files Files: 407839 new, 0 changed, 0 unmodified Dirs: 41286 new, 0 changed, 0 unmodified Added to the repo: 7.835 GiB processed 407839 files, 11.061 GiB in 2:47 snapshot 474d0376 saved Ergebnis

    caafd946-1285-4e1d-8873-a3ff4141a777-grafik.png

    Fazit

    Fassen wir es mal ein wenig zusammen. Das Original hat 12,1GB

    ITool Dateigröße Zeit 7z 2,2GB ca. 11:59 Restic V1 8,5GB 4:49 Restic V2 2,9GB 2:47

    Man kann auch noch etwas an der Kompression einstellen, ich habe es für diesen Test auf der Standardeinstellung(?) gelassen.

    You can set the desired compression level by passing it to --compression (e.g. restic backup --compression max), supported are auto, max and off.

    Das Ergebnis sieht sehr vielversprechend aus. Es könnte den Platzverbrauch stark begrenzen, sehr wichtig für mich wenn man seine Daten in einer Cloud speichert. (Stichwort: Kosten) Und was hier auch noch schön ins Auge fällt, es ist schneller 🙂 Das möchte ich hier nicht versuchen zu erklären, da ich nicht genau woran es liegt. Vermutung, ich muss wesentlich weniger Daten "schreiben".

    Ich freue mich extrem, diese Version produktiv einzusetzen. Mal überlegen, ob ich die Version hier auf dem Haupt-PC mal testweise nutze, ich denke das wäre spannend.

    @Restic-Team: Vielen Dank für dieses tolle Feature!
  • Restic v0.13.0 released

    Restic
    1
    0 Stimmen
    1 Beiträge
    96 Aufrufe
    Niemand hat geantwortet
  • NanoPi R2S - OpenWRT VLAN

    Verschoben NanoPi R2S
    11
    0 Stimmen
    11 Beiträge
    1k Aufrufe
    FrankMF

    @thrakath1980 Ok, du meinst die FriendlyArm Variante von OpenWRT. Ich denke, da sollte man besser alles neu machen. Leider ist das bei OpenWRT nicht so einfach zu updaten/upgraden wie z.B. bei einem Linux Kernel. Ich habe es mal runtergeladen, wenn ich mal Zeit habe, schau ich mal rein.

  • Python3 - subprocess.Popen

    Python3
    1
    0 Stimmen
    1 Beiträge
    225 Aufrufe
    Niemand hat geantwortet
  • Restic - Mounten der Sicherung

    Restic
    2
    0 Stimmen
    2 Beiträge
    291 Aufrufe
    FrankMF

    Bedingt durch einen Hardwareumbau und einer folgenden Neuinstallation, musste ich das Gestern mal live testen. Das klappt hervorragend 🙂 Die Sicherung einbinden und dann gemütlich alles wieder zurück kopieren, was man braucht. Perfekt!

  • checkmk - Dockerinstallation

    Verschoben checkmk
    9
    0 Stimmen
    9 Beiträge
    960 Aufrufe
    FrankMF

    Und noch was Wichtiges.

    6777da6e-3b4f-41b9-bf6e-26496ae67cd8-grafik.png

    Damit sichert man den Datenaustausch ab.

    Kapitel 7.4. Inbuilt encryption

    Den Ordner findet man hier -> /etc/check_mk/encryption.cfg

  • Restic - Backblaze B2 Cloud Storage

    Restic
    1
    0 Stimmen
    1 Beiträge
    364 Aufrufe
    Niemand hat geantwortet