Script còpia de seguretat

Les entrades còpia de seguretat amb rsync i accés sense contrasenya amb el putty tenen com a finalitat fer una còpia de seguretat de un sistema Linux en un altre sistema ja bé sigui Linux o Windows. Com en tot backup hi ha d’haver una tasca que s’encarregui de prepara els fitxers dels que es farà backup i comprimir-los per a que ocupin poc espai a l’hora de fer la transferència per Internet. Doncs bé en aquesta entrada facil·lito l’script que faig servir jo mitjançant crontab. Es tracta d’un script que fa còpies de seguretat en el home d’un usuari de sistema afegint l’extensió que calgui depenent de si és una còpia diària, setmanal o mensual. El primer que es fa es  definir tota una sèrie de variables  d’entorn, com poden ser el dia, mes, any, número de dia dins de la setmana (de 1 a 6) i rutes de fitxers

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
#! /bin/bash

DD=`date +%d`

MM=`date +%m`

YYYY=`date +%Y`

WKD=`date +%u`

WN=`date +%V`

CRON_DIR="/<strong>ruta</strong>/scripts"

DEST_DIR="/home/<strong>usuari</strong>/backup"

LOG="backup.log"

Tot seguit establim el valor inicial de la variable fi de mes ja que el farem servir després, i obtenim els fitxers dels quals fem backup mitjançant TAR o zip i li posem l’extensió del dia de la setmana en que estem:

1
2
3
4
5
6
7
8
9
10
11
fi_mes=0

echo "${YYYY}${MM}${DD} `date +%H:%M:%S` INI LOG" &gt;&gt; $LOG

#Backup de dir www, fitxers de configuració de Apache i BBDD de mysql
echo -e "\tCreant còpia de seguretat" &gt;&gt; $LOG
tar -zcvf ${DEST_DIR}/www_backup.$WKD.tgz /var/www --exclude-from ${CRON_DIR}/exclude_dirs_www_backup.txt
tar -zcvf ${DEST_DIR}/config_apache.$WKD.tgz /etc/httpd/conf.d /etc/httpd/conf
tar -zcvf ${DEST_DIR}/www_logs.$WKD.tgz /var/log/httpd

mysqldump -u <strong>usuari</strong> -p<strong>contrasenya</strong> --all-databases &gt; ${DEST_DIR}/mysql_dump.$WKD.sql

En el cas que es mostra en l’exemple es fa backup dels directoris /var/www (les pàgines web que tenim al nostre servidor), /etc/httpd/conf.d (configuració de servidors virtuals de Apache), /var/log/httpd (logs de Apache) i la base de dades de MySQL. Cal remarcar que quan es fa el backup del directori /var/www s’exclouen alguns directoris ja que pot ser que tinguem algunes llibreries o imatges de les quals no volem que es faci backup. Això s’aconsegueix editat un fitxer com el que hi ha en l’script. També podríem agafar la còpia de seguretat de SVN que és on esta el codi del nostre projecte web. Cada fitxer té l’extensió del dia actual de la setmana o sigui que si avui és dimarts, el dia de la setmana serà 2.

 

Mirem si el dia de la setmana és 7 o el que és el mateix, si és l’últim dia de la setmana. Si no és l’últim dia de la setmana es deixa el número de dia de la setmana actual, tal i com s’ha explicat en el pas anterior. Si ho és li posem l’extensió de la setmana que acaba:

1
2
3
4
5
6
7
8
#Mirem si és l'ultim dia de la setmana i en cas que ho sigui creem la copia setmanal
if [ ${WKD} -eq 7 ]
then
mv ${DEST_DIR}/www_backup.${WKD}.tgz ${DEST_DIR}/www_backup.week${WN}.tgz
mv ${DEST_DIR}/config_apache.${WKD}.tgz ${DEST_DIR}/config_apache.week${WN}.tgz
mv ${DEST_DIR}/www_logs.${WKD}.tgz ${DEST_DIR}/www_logs.week${WN}.tgz
mv ${DEST_DIR}/mysql_dump.$WKD.sql ${DEST_DIR}/mysql_dump.week${WN}.sql
fi

 

Ara passem a comprovar si és l’ultim dia de mes. En cas que ho sigui activem la variable d’entorn que havíem comentat anteriorment, fi_mes:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
#Comprovem si avui és l'últim dia del mes. en cas que ho sigui hem de crear la còpia de final de mes.
case "$MM" in
01|03|05|07|08|10|12)
if [ $DD -eq "31" ]
then
echo "\tEs un mes de 31 dies i avui es dia $DD" &gt;&gt; $LOG
fi_mes=1
fi
;;
02)
traspas=`expr $YYYY % 4`
if [ $traspas -eq 0 ]
then
if [ $DD -eq "29" ]
then
echo "\tEs l'ultim dia de FEBRER i estem en un any de traspas, avui es dia $DD" &gt;&gt; $LOG
fi_mes=1
fi
else
if [ $DD -eq "28" ]
then
echo -e "\tEs l'ultim dia de FEBRER i NO estem en un any de traspas, avui es dia $DD" &gt;&gt; $LOG
fi_mes=1
fi
fi
;;
04|06|09|11)
if [ $DD -eq "30" ]
then
fi_mes=1
echo -e "\tEs un mes de 30 dies i avui es dia $DD" &gt;&gt; $LOG
fi
;;
*)
echo -e "\tNo es un mes valid" &gt;&gt; $LOG
exit
;;
esac

Si es fi de mes, canviem l’extensió i posem el mes que acaba:

1
2
3
4
5
6
7
8
if [ ${fi_mes} -eq 1 ]
then
echo -e "\tEs final de mes. Avui es dia $DD del mes de $MM." &gt;&gt; $LOG
mv ${DEST_DIR}/www_backup.${WKD}.tgz ${DEST_DIR}/www_backup.${YYYY}month${MM}.tgz
mv ${DEST_DIR}/config_apache.${WKD}.tgz ${DEST_DIR}/config_apache.${YYYY}month${MM}.tgz
mv ${DEST_DIR}/www_logs.${WKD}.tgz ${DEST_DIR}/www_logs.${YYYY}month${MM}.tgz
mv ${DEST_DIR}/mysql_dump.${WKD}.sql ${DEST_DIR}/mysql_dump.${YYYY}month${MM}.sql
fi

Finalment donem permisos per a l’usuari que es connectarà mitjançant rsync per a que pugui obtenir els fitxers.

1
2
chown <strong>usuari</strong>.<strong>usuari</strong> ${DEST_DIR}/*
echo "${YYYY}${MM}${DD} `date +%H:%M:%S` FI LOG" &gt;&gt; $LOG

Nota: s’ha de canviar usuari per l’usuari on volgueu que es desi el backup, posar una contrasenya vàlida per connectar-nos a MySQL i especificar la ruta al directori on es troba l’script.

Còpies de seguretat amb rsync desde Linux a Windows sense contrasenya utilitzant cygwin

Com ja he comentat en alguna altra entrada en aquest bloc, he decidit penjar els meus projectes a un servidor virtual a Internet, el que és el mateix que tenir un màquina virtual però amb la gràcia que sempre esta encesa i disposa de IP fixa. Quan ja comences a tenir força projectes web, el que vol dir vàries bases de dades i varis fitxers de configuració apareix la tasca de realitzar el backup del servidor. La majoria d’aquests servidors virtuals et faciliten una opció per fer backups, però si vols controlar tu les còpies de seguretat es pot servir la eina rsync. Com diu la wiki, es tracta d’una utilitat per a sistemes tant Unix com Windows que permet sincronitzar fitxers i directoris  d’un cantó a un altre minimitzant la transferència de dades ja que s’utilitza el que es diu codificació delta, sempre que es pugui. O sigui que la gràcia esta en que les dades només es sincronitzen quan hi ha canvis, amb lo que suposa d’estalvi d’enviament de dades per la xarxa.

En aquesta entrada no es tracta de dir com es fa el backup (consulteu aquí un script de backup) ni de què s’ha de fer backup sinó de dir quins són els passos a realitzar tant al host de origen com al host de destí per tal que es pugui fer la sincronització mitjançant rsync entre un sistema Linux i un de Windows sense contrasenya. I perquè ho fem sense contrasenya? Doncs perquè es tracta d’una tasca molt repetitiva i que no volem que sigui manual sinó que estigui automatitzada mitjançant per exemple l’aplicació que porta de sèrie Windows anomenada Tasques programades.

Instal·lació de rsync com a servidor Linux

Rsync pot ser que ja estigui instal·lat en la distribució de Linux que fem servir, però si no fos el cas el primer que haurem de fer es instal·larlo juntament amb xinetd.

  • Debian
aptget install rsync xinetd
  • CentOS
yum install rsync xinetd

 

Rsync per a Windows?

Rsync com a comanda de Windows no existeix, però hi ha projectes com cygwin que permeten utilitzar rsync desde Windows. També he trobat una utilitat que s’anomena cwrsync que permet realitzar aquesta tasca, però és de pagamanet. Per tant ens decantem per l’opció de cygwin i dins d’aquest hem d’instal·lar els paquets openssh, ssh i rsync. Un cop instal·lat cygwin al directori bin de la instal·lació podem veure la comanda rsync, ssh i ssh-keygen. Per generar les claus d’autenticació ssh, utilitzarem la utilitat ssh-keygen, tal i com es comenta en el següent paràgraf d’aquesta entrada.

 

Creació de claus ssh

Per crear claus ssh tenim l’eina ssh-keygen. S’ha d’executar en la màquina desde la que volem fer la sincronització de la còpia de seguretat i després copiar la clau publica a la màquina a la que ens volem connectar per obtenir la còpia de seguretat. Imaginem que tenim un usuari usuari_rsync (tant a una màquina Windows com a Linux, les anomenarem màquines receptores o clients) i volem connectar-nos a una màquina Linux anomenada Atreides que esta sota el domini atreides.com (la anomenarem màquina difusora o servidor) i que té un usuari anomenat usuari_backup que és el que realitza les còpies de seguretat.

Connexió client servidor per ssh

Des de les màquines client podem executar la següent comanda per generar una clau ssh, tant desde la consola de cygwin si estem en un client Windows com directament des de la consola en un client Linux:

[usuari_rsync@servidor_proves ~]$ ssh-keygen -P ""
Generating public/private rsa key pair.
Enter file in which to save the key (/home/usuari_rsync/.ssh/id_rsa):   clau_ssh
Your identification has been saved in clau_ssh.
Your public key has been saved in clau_ssh.pub.
The key fingerprint is:34:d9:d1:28:df:39:ac:5e:66:ae:cb:a5:e8:ea:2a:ae
usuari_rsync@servidro_proves
[usuari_rsync@servidor_proves ~]$

També es pot fer servir l’aplicació de putty anomenada putty-keygen tal i com s’explica a l’entrada Generació de claus ssh per al putty per accedir a un servidor sense contrasenya.
COMPTE!!!: s’esta creant una clau ssh sense paraula de pas, el que significa que qualsevol persona que pugui fer servir el nostre sistema operatiu i tingui accés a aquesta clau, pot connectar-se als nostres servidors sense contrasenya.

El nom de la clau que farem servir serà clau_ssh, tant per a la clau privada com per a la pública i lo normal es que es trobin a la ruta /home/usuari_rsync/.ssh.

Per a Windows, si hem instal·lat cwrsync, si executem el ssh-keygen desde una consola de Windows, veiem que els claus per defecte es guarden a Documents and Settings/nom_usuari/.ssh:

-rw------- 1 usuari_rsync usuari_rsync 1675 25 gen 18:53 clau_ssh
-rw-r--r-- 1 usuari_rsync usuari_rsync  405 25 gen 18:53 clau_ssh.pub

S’ha d’agafar el contingut de la clau pública i (clau_ssh.pub) copiar-lo a la màquina servidor en el fitxer /home/usuari_backup/.ssh/authorized_keys que és l’usuari que realitza la còpia de seguretat a la màquina Atreides. Si aquest fitxer ja té altres línies el que s’ha de fer es afegir les noves a l’existent. Ara ja es pot realitzar la sincronització.

Sincronització

Un cop ja tenim tot ben configurat ja podem realitzar la sincronització. Tal i com s’ha comentat anteriorment es disposa de un fitxer .BAT que es pot editar i afegir una línia com la següent:

rsync -vrha --progress --del --timeout=15 --compress-level=5 -e ssh usuari_backup@atreides.com:/home/usuari_backup/backup/ /cygdrive/c/rsync/backup_windows_de_atriedes

En aquesta cas s’ha escollit aquest paràmetres que venen a fer el següent:

  • -v : Verbose (try -vv for more detailed information)
  • -r : recursivitat dins dels directoris
  • -h: sortida de nombres en format humà
  • -a: fitxers
  • –progress: mostra la progressió de l’enviament
  • –del: esborra els que no existeixen al que envia  (en el nostre cas atreides.com)
  • –timeout: temps de timeout en segons
  • –compress-level: nivell de compressió
  • -e “ssh options” : especifica una comanda ssh dins de la shell remota

 

Afegir seguretat

La connexió es permet des de qualsevol hosts sense contrasenya amb la clau pública que hem generat i per tant es pot executart qualsevol comanda que executi aquest usuari, i com que no volem això anem a afegir una mica més de seguretat en el fitxer authorized_keys de la màquina servidora. El que es fa es afegir uns paràmetres al principi de cada clau pública que volguem retocar, o sigui si tenim que la nostra clau pública és la següent:

ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAp2JJxSwxaghstercbh11BQnt4DMw45EcUKi199ICyrcebUlAQFlQPJRKjCAJl15J2W6//CpukosmakejsnBPXdNSOTDYyrNdYDC3bAm2ZfEHrPrL/bUojXLmGhL3C7NnwhHasCQ4OY4Hm87XqpY1gKlu7yDpz7HYSRhjkloinjecj1DBsVXJ3sTPyXsqId3Av3wPxUGXrdNt7sg/KigGFFK7xjWaXRHdx8w0G/Pbx6zk1ql3HdA1tGk8a+dJywHZkQER1HhCoDZ1a/FaX03H0eXQ6VahjsyendhsjhI8zD7t8a1pp+2sp7KTSIsCACvyaPQryhesndjeuwLc2/3fAWQ== usuari_rsync@maquina_1

la canviem per :

from="192.168.1.11",command="/home/usuari_rsync/valida-rsync" ssh-rsa  AAAAB3NzaC1yc2EAAAABIwAAAQEAp2JJxSwxaghstercbh11BQnt4DMw45EcUKi199ICyrcebUlAQFlQPJRKjCAJl15J2W6//CpukosmakejsnBPXdNSOTDYyrNdYDC3bAm2ZfEHrPrL/bUojXLmGhL3C7NnwhHasCQ4OY4Hm87XqpY1gKlu7yDpz7HYSRhjkloinjecj1DBsVXJ3sTPyXsqId3Av3wPxUGXrdNt7sg/KigGFFK7xjWaXRHdx8w0G/Pbx6zk1ql3HdA1tGk8a+dJywHZkQER1HhCoDZ1a/FaX03H0eXQ6VahjsyendhsjhI8zD7t8a1pp+2sp7KTSIsCACvyaPQryhesndjeuwLc2/3fAWQ==  usuari_rsync@maquina_1

on  192.168.1.11 és la IP de la màquina receptora i /home/usuari_rsync/valida-rsync és un script que fa les següents comprovacions:

 

#!/bin/sh
case "$SSH_ORIGINAL_COMMAND" in
*\&*)
echo "Rejected"
;;
*\(*)
echo "Rejected"
;;
*\{*)
echo "Rejected"
;;
*\;*)
echo "Rejected"
;;
*\<*)
echo "Rejected"
;;
*\`*)
echo "Rejected"
;;
*\|*)
echo "Rejected"
;;
rsync\ --server*)
$SSH_ORIGINAL_COMMAND
;;
*)
echo "Rejected"
;;
esac

 

I si el port de connexió ssh és diferent de l’estàndard?

Per aconseguir connectar amb rsync per un port diferent a l’estandard ssh, el port 22, s’ha d’afegir a la màquina client en el directori .ssh un fitxer anomenat config amb el següent contingut:

 

Host nom_del_host
Port num_port
User nom_usuari
Hostname nom_del_host
o alternativament afegir al parametre -e ssh el següent:
-e "ssh -p 4014"