Còpies de seguretat amb rsync desde Linux a Windows sense contrasenya utilitzant cygwin

Com ja he comentat en alguna altra entrada en aquest bloc, he decidit penjar els meus projectes a un servidor virtual a Internet, el que és el mateix que tenir un màquina virtual però amb la gràcia que sempre esta encesa i disposa de IP fixa. Quan ja comences a tenir força projectes web, el que vol dir vàries bases de dades i varis fitxers de configuració apareix la tasca de realitzar el backup del servidor. La majoria d’aquests servidors virtuals et faciliten una opció per fer backups, però si vols controlar tu les còpies de seguretat es pot servir la eina rsync. Com diu la wiki, es tracta d’una utilitat per a sistemes tant Unix com Windows que permet sincronitzar fitxers i directoris  d’un cantó a un altre minimitzant la transferència de dades ja que s’utilitza el que es diu codificació delta, sempre que es pugui. O sigui que la gràcia esta en que les dades només es sincronitzen quan hi ha canvis, amb lo que suposa d’estalvi d’enviament de dades per la xarxa.

En aquesta entrada no es tracta de dir com es fa el backup (consulteu aquí un script de backup) ni de què s’ha de fer backup sinó de dir quins són els passos a realitzar tant al host de origen com al host de destí per tal que es pugui fer la sincronització mitjançant rsync entre un sistema Linux i un de Windows sense contrasenya. I perquè ho fem sense contrasenya? Doncs perquè es tracta d’una tasca molt repetitiva i que no volem que sigui manual sinó que estigui automatitzada mitjançant per exemple l’aplicació que porta de sèrie Windows anomenada Tasques programades.

Instal·lació de rsync com a servidor Linux

Rsync pot ser que ja estigui instal·lat en la distribució de Linux que fem servir, però si no fos el cas el primer que haurem de fer es instal·larlo juntament amb xinetd.

  • Debian
aptget install rsync xinetd
  • CentOS
yum install rsync xinetd

 

Rsync per a Windows?

Rsync com a comanda de Windows no existeix, però hi ha projectes com cygwin que permeten utilitzar rsync desde Windows. També he trobat una utilitat que s’anomena cwrsync que permet realitzar aquesta tasca, però és de pagamanet. Per tant ens decantem per l’opció de cygwin i dins d’aquest hem d’instal·lar els paquets openssh, ssh i rsync. Un cop instal·lat cygwin al directori bin de la instal·lació podem veure la comanda rsync, ssh i ssh-keygen. Per generar les claus d’autenticació ssh, utilitzarem la utilitat ssh-keygen, tal i com es comenta en el següent paràgraf d’aquesta entrada.

 

Creació de claus ssh

Per crear claus ssh tenim l’eina ssh-keygen. S’ha d’executar en la màquina desde la que volem fer la sincronització de la còpia de seguretat i després copiar la clau publica a la màquina a la que ens volem connectar per obtenir la còpia de seguretat. Imaginem que tenim un usuari usuari_rsync (tant a una màquina Windows com a Linux, les anomenarem màquines receptores o clients) i volem connectar-nos a una màquina Linux anomenada Atreides que esta sota el domini atreides.com (la anomenarem màquina difusora o servidor) i que té un usuari anomenat usuari_backup que és el que realitza les còpies de seguretat.

Connexió client servidor per ssh

Des de les màquines client podem executar la següent comanda per generar una clau ssh, tant desde la consola de cygwin si estem en un client Windows com directament des de la consola en un client Linux:

[usuari_rsync@servidor_proves ~]$ ssh-keygen -P ""
Generating public/private rsa key pair.
Enter file in which to save the key (/home/usuari_rsync/.ssh/id_rsa):   clau_ssh
Your identification has been saved in clau_ssh.
Your public key has been saved in clau_ssh.pub.
The key fingerprint is:34:d9:d1:28:df:39:ac:5e:66:ae:cb:a5:e8:ea:2a:ae
usuari_rsync@servidro_proves
[usuari_rsync@servidor_proves ~]$

També es pot fer servir l’aplicació de putty anomenada putty-keygen tal i com s’explica a l’entrada Generació de claus ssh per al putty per accedir a un servidor sense contrasenya.
COMPTE!!!: s’esta creant una clau ssh sense paraula de pas, el que significa que qualsevol persona que pugui fer servir el nostre sistema operatiu i tingui accés a aquesta clau, pot connectar-se als nostres servidors sense contrasenya.

El nom de la clau que farem servir serà clau_ssh, tant per a la clau privada com per a la pública i lo normal es que es trobin a la ruta /home/usuari_rsync/.ssh.

Per a Windows, si hem instal·lat cwrsync, si executem el ssh-keygen desde una consola de Windows, veiem que els claus per defecte es guarden a Documents and Settings/nom_usuari/.ssh:

-rw------- 1 usuari_rsync usuari_rsync 1675 25 gen 18:53 clau_ssh
-rw-r--r-- 1 usuari_rsync usuari_rsync  405 25 gen 18:53 clau_ssh.pub

S’ha d’agafar el contingut de la clau pública i (clau_ssh.pub) copiar-lo a la màquina servidor en el fitxer /home/usuari_backup/.ssh/authorized_keys que és l’usuari que realitza la còpia de seguretat a la màquina Atreides. Si aquest fitxer ja té altres línies el que s’ha de fer es afegir les noves a l’existent. Ara ja es pot realitzar la sincronització.

Sincronització

Un cop ja tenim tot ben configurat ja podem realitzar la sincronització. Tal i com s’ha comentat anteriorment es disposa de un fitxer .BAT que es pot editar i afegir una línia com la següent:

rsync -vrha --progress --del --timeout=15 --compress-level=5 -e ssh usuari_backup@atreides.com:/home/usuari_backup/backup/ /cygdrive/c/rsync/backup_windows_de_atriedes

En aquesta cas s’ha escollit aquest paràmetres que venen a fer el següent:

  • -v : Verbose (try -vv for more detailed information)
  • -r : recursivitat dins dels directoris
  • -h: sortida de nombres en format humà
  • -a: fitxers
  • –progress: mostra la progressió de l’enviament
  • –del: esborra els que no existeixen al que envia  (en el nostre cas atreides.com)
  • –timeout: temps de timeout en segons
  • –compress-level: nivell de compressió
  • -e “ssh options” : especifica una comanda ssh dins de la shell remota

 

Afegir seguretat

La connexió es permet des de qualsevol hosts sense contrasenya amb la clau pública que hem generat i per tant es pot executart qualsevol comanda que executi aquest usuari, i com que no volem això anem a afegir una mica més de seguretat en el fitxer authorized_keys de la màquina servidora. El que es fa es afegir uns paràmetres al principi de cada clau pública que volguem retocar, o sigui si tenim que la nostra clau pública és la següent:

ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAp2JJxSwxaghstercbh11BQnt4DMw45EcUKi199ICyrcebUlAQFlQPJRKjCAJl15J2W6//CpukosmakejsnBPXdNSOTDYyrNdYDC3bAm2ZfEHrPrL/bUojXLmGhL3C7NnwhHasCQ4OY4Hm87XqpY1gKlu7yDpz7HYSRhjkloinjecj1DBsVXJ3sTPyXsqId3Av3wPxUGXrdNt7sg/KigGFFK7xjWaXRHdx8w0G/Pbx6zk1ql3HdA1tGk8a+dJywHZkQER1HhCoDZ1a/FaX03H0eXQ6VahjsyendhsjhI8zD7t8a1pp+2sp7KTSIsCACvyaPQryhesndjeuwLc2/3fAWQ== usuari_rsync@maquina_1

la canviem per :

from="192.168.1.11",command="/home/usuari_rsync/valida-rsync" ssh-rsa  AAAAB3NzaC1yc2EAAAABIwAAAQEAp2JJxSwxaghstercbh11BQnt4DMw45EcUKi199ICyrcebUlAQFlQPJRKjCAJl15J2W6//CpukosmakejsnBPXdNSOTDYyrNdYDC3bAm2ZfEHrPrL/bUojXLmGhL3C7NnwhHasCQ4OY4Hm87XqpY1gKlu7yDpz7HYSRhjkloinjecj1DBsVXJ3sTPyXsqId3Av3wPxUGXrdNt7sg/KigGFFK7xjWaXRHdx8w0G/Pbx6zk1ql3HdA1tGk8a+dJywHZkQER1HhCoDZ1a/FaX03H0eXQ6VahjsyendhsjhI8zD7t8a1pp+2sp7KTSIsCACvyaPQryhesndjeuwLc2/3fAWQ==  usuari_rsync@maquina_1

on 192.168.1.11 és la IP de la màquina receptora i /home/usuari_rsync/valida-rsync és un script que fa les següents comprovacions:

 

#!/bin/sh
case "$SSH_ORIGINAL_COMMAND" in
*\&*)
echo "Rejected"
;;
*\(*)
echo "Rejected"
;;
*\{*)
echo "Rejected"
;;
*\;*)
echo "Rejected"
;;
*\<*)
echo "Rejected"
;;
*\`*)
echo "Rejected"
;;
*\|*)
echo "Rejected"
;;
rsync\ --server*)
$SSH_ORIGINAL_COMMAND
;;
*)
echo "Rejected"
;;
esac

 

I si el port de connexió ssh és diferent de l’estàndard?

Per aconseguir connectar amb rsync per un port diferent a l’estandard ssh, el port 22, s’ha d’afegir a la màquina client en el directori .ssh un fitxer anomenat config amb el següent contingut:

 

Host nom_del_host
Port num_port
User nom_usuari
Hostname nom_del_host
o alternativament afegir al parametre -e ssh el següent:
-e "ssh -p 4014"

 

Apache Benchmark (ab). Prova de càrrega del nostre website

Que és Apache Benchmark?

Tens una web personal a un servidor web i vols saber quin rendiment té? Doncs bé, a Linux hi ha una utilitat que és diu Apache Benchmarking (ab) que serveix per realitzar proves de càrrega del nostre servidor web, o sigui que és una utilitat que esta dissenyada per saber com es comporta la configuració actual de nostre servidor web. Ara bé no és tracta de simplement de saber el temps de càrrega d’una pàgina ja que hi ha retards en la xarxa i això pot fer que els resultats obtinguts en un moment variin considerablement als d’un altre. El que si que pot detectar aquesta utilitat és el temps de càrrega màxim per a un número determinat d’usuaris que intenten accedir a la teva pàgina.També pot ser interessant mirar el temps addicional que pot trigar en carregar la mateixa pàgina si per exemple es duplica el número de visitants.

Les proves que es facin amb ab s’han de repetir vàries vegades per a evitar desviacions i així quedar-nos amb el millor resultat.

 

Els possibles paràmetres que accepta ab són:

ab  [ -A auth-username:password ] [ -c concurrency ] [ -C cookie-name=value ] [ -d ] [ -e csv-file ] [ -g gnuplot-file ] [ -h ] [ -H custom-header ] [ -i ] [ -k ] [ -n requests ] [ -p POST-file  ]  [  -P  proxy-auth-username:password ] [ -q ] [ -s ] [ -S ] [ -t timelimit ] [ -T content-type ] [ -v verbosity] [ -V ] [ -w ] [ -x <table>-attributes ] [ -X proxy[:port] ] [  -y  <tr>-attributes  ]  [  -z  <td>-attributes  ]
 [http://]hostname[:port]/path
-A auth-username:password           Supply  BASIC Authentication credentials to the server. The username and password are separated by
 a single : and sent on the wire base64 encoded. The string  is  sent  regardless  of  whether  the
 server needs it (i.e., has sent an 401 authentication needed).

 -c concurrency
 Number of multiple requests to perform at a time. Default is one request at a time.

 -C cookie-name=value
 Add  a  Cookie:  line  to the request. The argument is typically in the form of a name=value pair.
 This field is repeatable.

 -d     Do not display the "percentage served within XX [ms] table". (legacy support).

 -e csv-file
 Write a Comma separated value (CSV) file which contains for each percentage (from 1% to 100%)  the
 time (in milliseconds) it took to serve that percentage of the requests. This is usually more use-
 ful than the ’gnuplot’ file; as the results are already ’binned’.

 -g gnuplot-file
 Write all measured values out as a ’gnuplot’ or TSV (Tab separate values) file. This file can eas-
 ily  be  imported into packages like Gnuplot, IDL, Mathematica, Igor or even Excel. The labels are
 on the first line of the file.

 -h     Display usage information.

 -H custom-header
 Append extra headers to the request. The argument is typically in the form of a valid header line,
 containing a colon-separated field-value pair (i.e., "Accept-Encoding: zip/zop;8bit").

 -i     Do HEAD requests instead of GET.

 -k     Enable  the  HTTP  KeepAlive  feature,  i.e.,  perform  multiple requests within one HTTP session.
 Default is no KeepAlive.
-n requests   Number of requests to perform for the benchmarking session. The default is to just perform a  sin-
 gle request which usually leads to non-representative benchmarking results.

 -p POST-file
 File containing data to POST.

 -P proxy-auth-username:password
 Supply  BASIC  Authentication credentials to a proxy en-route. The username and password are sepa-
 rated by a single : and sent on the wire base64 encoded. The string is sent regardless of  whether
 the proxy needs it (i.e., has sent an 407 proxy authentication needed).

 -q     When  processing  more  than  150 requests, ab outputs a progress count on stderr every 10% or 100
 requests or so. The -q flag will suppress these messages.

 -s     When compiled in (ab -h will show you) use the SSL protected https rather than the http  protocol.
 This feature is experimental and very rudimentary. You probably do not want to use it.

 -S     Do  not  display  the median and standard deviation values, nor display the warning/error messages
 when the average and median are more than one or two  times  the  standard  deviation  apart.  And
 default to the min/avg/max values. (legacy support).

 -t timelimit
 Maximum  number of seconds to spend for benchmarking. This implies a -n 50000 internally. Use this
 to benchmark the server within a fixed total amount of time. Per default there is no timelimit.

 -T content-type
 Content-type header to use for POST data.

 -v verbosity
 Set verbosity level - 4 and above prints information on headers, 3 and above prints response codes
 (404, 200, etc.), 2 and above prints warnings and info.
-V     Display version number and exit.

 -w     Print out results in HTML tables. Default table is two columns wide, with a white background.

 -x <table>-attributes
 String to use as attributes for <table>. Attributes are inserted <table here >.

 -X proxy[:port]
 Use a proxy server for the requests.

 -y <tr>-attributes
 String to use as attributes for <tr>.

 -z <td>-attributes
 String to use as attributes for <td>.

 

Per a realitzar les proves amb aquesta utilitat és important que la prova es faci des d’un altre màquina que no formi part de la xarxa del servidor que volem provar ja que sinó els temps que obtindríem serien evidentment més petits dels esperats.

En el meu cas he fet la prova des el meu ordinador d’escriptori fins al servidor on esta allotjat aquest blog. Concretament sobre la següent URL http://prova.jjberdullas.com. Que serveix una pàgina tant simple com aquesta:

 

<html>
<head>
 <title>prova</title>
</head>
<body>
<?php
 echo "aixo es una prova";
?>
</body>
</html>

Quan es crida la comanda ab s’ha d’afegir una barra final a la URL sobre la qual es vol fer la prova.

Sobre les quals he fet 2 proves diferents:

  • 100 consultes amb 20 usuaris simultanis
[usuari@nom_servidor ~]$ ab -n 1000 -c 20 http://prova.jjberdullas.com/

Server Software:        Apache/X.X.X
Server Hostname:        prova.jjberdullas.com
Server Port:            80

Document Path:          /
Document Length:        84 bytes

Concurrency Level:      20
Time taken for tests:   12.860595 seconds
Complete requests:      1000
Failed requests:        0
Write errors:           0
Total transferred:      276276 bytes
HTML transferred:       84084 bytes
Requests per second:    77.76 [#/sec] (mean)
Time per request:       257.212 [ms] (mean)
Time per request:       12.861 [ms] (mean, across all concurrent requests)
Transfer rate:          20.92 [Kbytes/sec] received

Connection Times (ms)
 min  mean[+/-sd] median   max
Connect:       42  115  35.2    127     285
Processing:    46  139  32.5    141     290
Waiting:       45  138  32.6    140     289
Total:         89  254  43.1    247     532
  • 2000 consultes amb 20 usuaris simultanis
[usuari@nom_servidor ~]$ ab -n 2000 -c 20 http://prova.jjberdullas.com/

Server Software:        Apache/X.X.X
Server Hostname:        prova.jjberdullas.com
Server Port:            80

Document Path:          /
Document Length:        84 bytes

Concurrency Level:      20
Time taken for tests:   25.16090 seconds
Complete requests:      2000
Failed requests:        0
Write errors:           0
Total transferred:      552000 bytes
HTML transferred:       168000 bytes
Requests per second:    79.95 [#/sec] (mean)
Time per request:       250.161 [ms] (mean)
Time per request:       12.508 [ms] (mean, across all concurrent requests)
Transfer rate:          21.55 [Kbytes/sec] received

Connection Times (ms)
 min  mean[+/-sd] median   max
Connect:       42  119  21.9    132     147
Processing:    43  129  22.2    134     234
Waiting:       42  127  22.2    133     234
Total:         85  248  22.2    246     328

Percentage of the requests served within a certain time (ms)
 50%    246
 66%    250
 75%    256
 80%    274
 90%    279
 95%    282
 98%    285
 99%    287
 100%    328 (longest request)

De lo cual es pot deduir que amb el mateix número d’usuaris concurrents i el doble de peticions, es duplica el temps per realitzar la prova però amb la configuració actual del nostre servidor, es manté el número de peticions per segon que són ateses (aproximadament 75), temps per petició i el temps per petició sobre totes les peticions  concurrents.

encodeURIComponent i decodeURIComponent

Totes les URL que s’escriuen en un navegador han de contenir algun dels caracteres que es troben dins de la taula de caràcters ASCII. Quan teclegem una URL aquesta és transformada pel navegador automàticament, però si pel que sigui necessitem realitzar la codificació per convertir les URLs al format en que han de viatjar per Internet tenim la funció JavaScript encodeURIComponent.

Per exemple si tenim la URL: http://www.editorialbase.com/ per codificar-la en JavaScript executarem la següent ordre encodeURIComponent(“http://www.editorialbase.com/”) i el resultat obtingut és:
http%3A%2F%2Fwww.editorialbase.com

Si el que volem és justament el contrari, o sigui decodificar una URL, tenim la funció decodeURIComponent en JavaScript.