Changes between Initial Version and Version 1 of Syncronize1.1

Timestamp:

Jan 20, 2017, 1:30:49 PM (8 years ago)

Author:

irina

Comment:

--

Syncronize1.1

@@ +1 @@
+[[TOC(headinf=Índice)]]
+{{{
+#!div style="width:50%; background: #ffd; font: bold italic large sans-serif"> 
+En construcción
+}}}
+
+
+= Pruebas de mejoras en imágenes sincronizadas =
+== Introducción ==
+Actualmente no están utilizando las imágenes sincronizadas por tener una serie de problemas:
+ * Falta de compresión en la imagen, por lo que ocupa mucho espacio en el servidor.
+ * La transferencia es más lenta que las imágenes monolíticas.
+ * Las Acl de Windows se tiene que restaurar de forma independiente, después de restaurar los archivos.
+
+En está página mostraremos los resultados de las últimas pruebas que estamos haciendo.
+
+== Problema de espacio en disco ==
+
+=== Concepto imágenes "hijas" ===
+
+Observando como trabaja rsnapshop vemos que al crear una nueva copia de seguridad de un dispositivo toma como punto de partida una anterior y luego aplica rsync entre el equipo origen y el nuevo backup. OpenGnsys podría utilizar este procedimiento para imágenes similares. 
+
+|| Primera copia:  || rsync user@equipo_remoto::/carpeta        backup1 ||
+|| Segunda copia: || cp -al backup1 backup2 \\ rsync user@equipo_remoto::/carpeta       backup2 ||
+
+La opción -l del comado cp crea enlaces “duros” a los archivos en vez que copiarlos, de esta forma no se ocupa nuevo espacio en el disco duro y es mucho más rápido.
+
+En rsync es imprescindible __no usar la opción “--inplace”__
+
+ Si no se usa esta opción, rsync copia el archivo que está sincronizando en un fichero temporal y al final sustituye el original, eliminando el enlace entre los archivos de distintas imágenes. 
+
+ Si ponemos esta opción rsync modifica directamente el archivo, no rompe el enlace y modifica todas la imágenes que tengamos.
+
+Desaparecería en concepto de diferencial, ya que todas contienen los datos completos. Tendríamos imágenes hermanas o hijas, tomando como partida una imagen parecida y luego sincronizándola con la partición del equipo modelo. 
+
+Las imágenes serían tipo directorio, ya que es la única forma de hacer enlaces entre archivos de varias imágenes.
+
+Más información en [[http://www.mikerubel.org/computers/rsync_snapshots Easy Automated Snapshot-Style Backups with Linux and Rsync] (rsnapshop se basa en este artículo).
+
+=== Compresión de los datos en el servidor ===
+Encontramos varios procedimientos:
+ * Montar los dispositivos remotos con compresión: no lo hemos probado
+{{{
+sshfs -o nonempty,sshfs_sync,compression=yes username@host:/path/archives/ /mounted/compress
+}}}
+
+ * Sistemas de fichero comprimidos. Encontramos varios:
+  * Btrfs
+  * ZFS
+  * FUSE: FuseCompress or CompFUSEd. 
+
+==== Pruebas con ZFS ====
+Las pruebas se hacen con Ubuntu16, ya que los nuevos kernel traen mejor soporte para este sistema de ficheros.
+
+ZFS permite gestionar varios dispositivos (discos o archivos) para crear un pool y en el puede definir los sistemas de ficheros que queramos.
+
+Por comodidad usamos un archivo para el dispositivo. 
+
+Creamos un sistema de fichero con compresión y acl:
+
+{{{
+truncate --size="10"G /opt/opengnsys/images/store
+zpool create sync /opt/opengnsys/images/store
+zfs create sync/images
+zfs set compression=on sync/images
+zfs set acltype=posixacl sync
+}}}
+
+Opciones de montaje:
+{{{
+Mount
+sync/images on /sync/images type zfs (rw,relatime,xattr,posixacl)
+}}}
+
+
+Configuramos el demonio rsync en el servidor para compartir el directorio de las imágenes sincronizadas. En /etc/rsyncd.conf:
+{{{
+    [ogimages]
+    comment = Carpeta de imagenes sincronizadas
+    path = /sync/images
+    read only = no
+    list = yes
+    uid = root
+    gid = root  
+    auth users = opengnsys
+    secrets file = /etc/rsyncd.secrets
+}}}
+
+Tamaño de los datos
+
+En Ubuntu 16.04
+
+|| Recién creado || df -h → sync/images                   10094464       0  10094464   0% /sync/images  ||
+|| Creamos imagen Ubuntu14 \\ origen 1.1Gb || df -h → sync/images                   9.7G  584M  9.1G   6% /sync/images \\  sudo du -sh Ubuntu14 → 609M  Ubuntu14 ||
+
+|| Creo Ubuntu 16 \\ origen 3,9G || df -h → sync/images                   9.7G  2.6G  7.1G  27% /sync/images \\ sudo du -sh  * → 609M   Ubuntu14 \\                         → 2.1G      Ubuntu16 ||
+|| Creo diferencial \\ cp -al Ubuntu14 Ubuntu14bis \\ rsync (sin opción --inplace) || df -h → sync/images                   9.7G  2.6G  7.1G  27% /sync/images \\ sudo du -sh  * → 609M otra \\    → 2.1G       Ubuntu16\\  → 629M      Ubuntu14bis ||
+
+Rsync compara correctamente los ficheros de la partición origen a la imagen comprimida.
+
+Observamos que hay diferencias entre los archivos de las distintas imágenes:
+{{{
+diff Ubuntu14/etc/hosts Ubuntu14bis/etc/hosts
+10a11,12
+> 
+> 192.168.2.10  ogrepo
+}}}
+
+Errores resueltos:
+
+'''rsync -aHAX  --password-file=/scripts/passrsync  --exclude 'coredump' --numeric-ids --progress --inplace --delete   /mnt/sda1/ opengnsys@$ogrepo::syncimages/otra'''
+
+La segunda vez no syncroniza nada → aunque está comprimido rsync compara bien los archivos
+
+Error haciendo imagen de Ubuntu 16 (sólo este error)
+ * rsync: set_acl: sys_acl_set_file(media/instalcdc, ACL_TYPE_ACCESS): Operation not supported (95)
+ * Solución: zfs set acltype=posixacl sync   # Para que soporte acl
+
+
+
+
+Creo diferencial
+
+'''En servidor: cp -al Ubuntu14 Ubuntu14bis \\
+En cliente: rsync -aHAX  --password-file=/scripts/passrsync  --exclude 'coredump' --numeric-ids --progress --inplace --delete   /mnt/sda1/ opengnsys@$ogrepo::syncimages/Ubuntu14bis'''
+
+Error: diff Ubuntu14/etc/hosts Ubuntu14bis/etc/hosts → son iguales
+
+Solución: Para que no se mantenga el enlace y no reescriba los ficheros de otras imágenes hay que eliminar la opción –inplace.
+
+
+
+
+==== Sistemas de ficheros descartados ====
+__FuseCompress__
+Según su página en [[https://github.com/tex/fusecompress github]] "El archivo se vuelve ilegible cuando llega a una condición de espacio insuficiente." Descartado.
+
+__CompFUSEd__
+Parece que el proyecto está abandonado: últimas informaciones de 2009. Descartado
+
+__Btrfs__
+Permite montar con compresión de forma transparente. Pero:
+ * df u du muestran el tamaño de los datos como si estuvieran descomprimidos (según la documentación por coherencia con los sistemas de ficheros anteriores)
+ * Al crear el sistema de ficheros no hay opción de compresión, por lo que el tamaño es igual si los datos están comprimidos o sin comprimir.
+
+