BACK UP DATA NOW!

[vi coactus]

Ik krijg al een tijdje de volgende meldingen:

Code: Selecteer alles

Aug 25 19:37:56 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 25 19:37:56 helvete smartd[1096]: Device: /dev/sdd [SAT], 38 Currently unreadable (pending) sectors
Aug 25 19:37:56 helvete smartd[1096]: Device: /dev/sdd [SAT], 38 Offline uncorrectable sectors
Aug 25 19:37:56 helvete smartd[1096]: Device: /dev/sdd [SAT], Failed SMART usage Attribute: 5 Reallocated_Sector_Ct.

Ja ja ik had er natuurlijk al veel eerder achteraan moeten gaan, maar:
Wat kan ik nu het beste doen, ik heb een nieuwe (grotere) schijf:
Gewoon een partitie op nieuwe schijf maken en cp -a x y doen;
dd if=/dev/sdx of=/dev/sdy
of een kopie met dd rescue maken?
Heeft dd meerwaarde boven cp -a? Of dd rescue?

[iswrong]

Moeilijk te zeggen. Redelijke kans dat de belasting van een dd meer fouten gaat veroorzaken. Dus als je schijf niet heel erg vol is, dan heeft een cp -a minder impact. Voordeel van kloon (met bijv. ddrescue) zou zijn dat als je een filesystem met data checksumming gebruikt (bijv. ZFS of btrfs) je in ieder geval kan controleren of alle data in tact is en zoniet, welke data niet meer klopt. Met bijv. ext4 of xfs kun je de boel wel overkopieëren, maar je weet nooit zeker of er data kapot is. Als de schijf vrij vol is, dan zou ik denk ik ddrescue gebruiken, je hebt dan toch de benodigde belasting en ddrescue is gemaakt om met fouten om te kunnen gaan.

Verder hoef ik je natuurlijk niet te vertellen dat dit niet nodig zou moeten zijn . Dit is éé van de vele redenen waarom je backups zou moeten hebben. Mijn machine maakt bijv. elk uur een encrypted backup met restic naar Backblaze B2 en naar onze NAS. Als ik een nieuwe machine installeer gebruik ik niet eens de oude data, ik doe gewoon een restore uit de laatste backup. En zelfs als je schijf geen mankementen gaat vertonen is het handig dat je een bestand dat je verwijderd had toch weer terug kunt halen.

[vi coactus]

Code: Selecteer alles

/dev/sdd1                 1.4T  929G  469G  67% /hdd_1TB

Vrij vol dus.
Filesystem zal wel NTFS zijn:

Code: Selecteer alles

/dev/sdd1 on /hdd_1TB type fuseblk (rw,relatime,user_id=0,group_id=0,allow_other,blksize=4096)

Terughalen van bestanden vind ik erg fijn ja, heb ook heel veel paralelle backups, ben wel met fdupes de dupes aan het verwijderen en daarna wil ik ze gewoon sorteren en renamen met een datum erachter oid.
De schijf is een beetje mijn dumpschijf, er staat niet per se belangrijke informatie op, maar er staan wel dingen op waar lastig aan te komen is.
Probleem is dat mijn NAS nogal vol raakt.

Code: Selecteer alles

10.1.1.50:/volume1/x   11T   11T  775G  94% /nas

En ja het is een synology en nee ik ben geen fan van synology.
Ben een keer een hele avond bezig geweest om 1% extra vrij te krijgen. Stonden dan ook gewoon dubbele bestanden van bv 14 gig.
Omdat de volgorde die dupes geeft niet altijd hetzelfde is moet ik toch handmatig de bestanden kiezen die weg gaan. En aangezien dat niet in een keer lukt (nogal veel werk) een scriptje geschreven die van alle bestandsnamen in de log kijkt of ze bestaan. Plus daarvoor een scriptje die de volgorde omdraait (groot boven).

Hoe zit dat met dat zfs onder linux dan? Ik wilde dat laatst selecteren maar het was er niet.

[iswrong]

Ben een keer een hele avond bezig geweest om 1% extra vrij te krijgen. Stonden dan ook gewoon dubbele bestanden van bv 14 gig.

Gebruik je de NAS voor backups? De meeste backup software deduped toch automatisch (mbv. content-addressable storage). Zoniet, negeer dit dan .

Hoe zit dat met dat zfs onder linux dan? Ik wilde dat laatst selecteren maar het was er niet.

De hoge piefen willen het niet in de kernel hebben omdat CDDL niet compatible zou zijn met de GPL (ik ben geen jurist, dus geen idee). Maar een aantal distributies vinden het wel veilig en ondersteunen het. Bijvoorbeeld Ubuntu heeft al een paar versies ZFS, blijkbaar sinds 19.10 ook root on ZFS. Ik gebruik al twee jaar ZFS, omdat NixOS het al vrij lang ondersteunt. Gentoo en Arch ondersteunen het ook. Zo te zien heeft Debian ook een DKMS, maar ze ondersteunen waarschijnlijk geen root on ZFS. De meest mainstream optie is waarschijnlijk Ubuntu.

Verder heeft FreeBSD natuurlijk ook al sinds een eeuwigheid ZFS ondersteuning.

[vi coactus]

Ben een keer een hele avond bezig geweest om 1% extra vrij te krijgen. Stonden dan ook gewoon dubbele bestanden van bv 14 gig.

Gebruik je de NAS voor backups? De meeste backup software deduped toch automatisch (mbv. content-addressable storage). Zoniet, negeer dit dan .

Dit gaat onder andere om schijven uit het IDE tijdperk. Maar ook recenter, een kopie van een schijf maken wanneer ik een nieuwe schijf plaats, "als backup"
Ik gebruik normaal eigenlijk gewoon cp -a, of rsync, al rsync vooral om vanaf telefoon naar pc te backuppen.
Wat ik wil is vrij eenvoudig, geen standen die hetzelfde zijn met dezelfde naam, is er een nieuwere versie van dan een de bestandsnaam met een suffix erachter. En de meeste backups lopen parallel aan elkaar, slechts nieuwer bijvoorbeeld. Van mij mogen backupa/mapx en backupb/mapx gerust gemerged worden

Hoe zit dat met dat zfs onder linux dan? Ik wilde dat laatst selecteren maar het was er niet.

De hoge piefen willen het niet in de kernel hebben omdat CDDL niet compatible zou zijn met de GPL (ik ben geen jurist, dus geen idee). Maar een aantal distributies vinden het wel veilig en ondersteunen het. Bijvoorbeeld Ubuntu heeft al een paar versies ZFS, blijkbaar sinds 19.10 ook root on ZFS. Ik gebruik al twee jaar ZFS, omdat NixOS het al vrij lang ondersteunt. Gentoo en Arch ondersteunen het ook. Zo te zien heeft Debian ook een DKMS, maar ze ondersteunen waarschijnlijk geen root on ZFS. De meest mainstream optie is waarschijnlijk Ubuntu.

Verder heeft FreeBSD natuurlijk ook al sinds een eeuwigheid ZFS ondersteuning.
[/quote]

Leuk en aardig, maar ik ga geen ander OS of distro draaien . Maar dit gaat om een secundaire data dump schijf, daar kan het dus wel op. De vraag is, heeft dat nut? Ik neem aan dat de performance niet noemenswaardig minder zou zijn.

Moet iig via USB nieuwe schijf aanhangen, daarop al dan niet een zfs partitie aanmaken en dan dd rescue op de oude schijf draaien.

Hij is in ieder geval volhoudend.

Code: Selecteer alles

Aug 28 00:07:56 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 00:37:56 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 01:07:56 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 01:37:57 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 02:07:57 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 02:37:57 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 03:07:57 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 03:37:57 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 04:07:57 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 04:37:57 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 05:07:57 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 05:37:57 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 06:07:57 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 06:37:56 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 07:07:56 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 07:37:56 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 08:07:56 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 08:37:56 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 09:07:56 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 09:37:56 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 10:07:56 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 10:37:56 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 11:07:56 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 11:37:56 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 12:07:56 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 12:37:56 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 13:07:56 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 13:37:56 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 14:07:56 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 14:37:56 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 15:07:56 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 15:37:56 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 16:07:56 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 16:37:56 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 17:07:56 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 17:37:56 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 18:07:56 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 18:37:56 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 19:07:56 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 19:37:56 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 20:07:56 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 20:37:56 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 21:07:56 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!
Aug 28 21:37:56 helvete smartd[1096]: Device: /dev/sdd [SAT], FAILED SMART self-check. BACK UP DATA NOW!