source: client/engine/Rsync.lib @ 46f7d6f

918-git-images-111dconfigfileconfigure-oglivegit-imageslgromero-new-oglivemainmaint-cronmount-efivarfsmultivmmultivm-ogboot-installerogClonningEngineogboot-installer-jenkinsoglive-ipv6test-python-scriptsticket-301ticket-50ticket-50-oldticket-577ticket-585ticket-611ticket-612ticket-693ticket-700ubu24tplunification2use-local-agent-oglivevarios-instalacionwebconsole3
Last change on this file since 46f7d6f was 791d013, checked in by irina <irinagomez@…>, 11 years ago

#565 #537 #636 Log en tiempo real para imagenes sincronizadas.

git-svn-id: https://opengnsys.es/svn/branches/version1.0@4153 a21b9725-9963-47de-94b9-378ad31fedc9

  • Property mode set to 100755
File size: 25.8 KB
Line 
1#!/bin/bash
2#/**
3# ogCreateFileImage  [ REPO | CACHE ] image_name extension size
4#@brief   Crear el archivo
5#@param 1 Repositorio  [ REPO | CACHE ]
6#@param 2 Nombre Imagen
7#@param 3 Tipo imagen [ img |diff ]
8#@param 4 Tamaño de la imagen
9#@return  instrucción para ser ejecutada.
10#*/
11
12function ogCreateFileImage () {
13local SIZEREQUIRED IMGDIR IMGFILE DIRMOUNT LOOPDEVICE  IMGSIZE IMGEXT
14
15if [ "$*" == "help" ]; then
16    ogHelp "$FUNCNAME" : "$MSG_HELP_ogCreateFileImage" \
17           "$FUNCNAME [ REPO|CACHE ] image_name extension  size(K)" \
18           "$FUNCNAME REPO Ubuntu12 img 300000" \
19           "$FUNCNAME CACHE Windows7 diff 20000000"
20    return
21fi
22
23
24if [ $# -lt 4 ]; then
25    ogRaiseError $OG_ERR_FORMAT "$MSG_FORMAT: $FUNCNAME  [ REPO|CACHE ] image_name extension  size(k)"
26    return $?
27fi
28
29SIZEREQUIRED=$4
30[ $SIZEREQUIRED -lt 300000 ] && SIZEREQUIRED=300000
31
32if [ "$1" == "CACHE" -o "$1" == "cache" ]; then
33        IMGDIR="$(ogGetParentPath "$1" "/$2")"
34        [ "$3" == "img" ] && IMGEXT="img" ||  IMGEXT="img.diff"
35        IMGFILE="${IMGDIR}/$(basename "/$2").$IMGEXT"
36        ## Si no existe, crear subdirectorio de la imagen.
37        if [ $? != 0 ]; then
38            echo "      $MSG_HELP_ogMakeDir \"$1 $(dirname "$2")." | tee -a $OGLOGSESSION $OGLOGFILE
39            ogMakeDir "$1" "$(dirname "/$2")" || return $(ogRaiseError $OG_ERR_NOTWRITE "$3 /$4"; echo $?)
40            IMGDIR="$(ogGetParentPath "$1" "/$2")" || return $(ogRaiseError $OG_ERR_NOTWRITE "$3 /$4"; echo $?)
41        fi
42        DIRMOUNT="/tmp/$(ogGetMountImageDir "$2" "$3")"
43        mkdir -p "$DIRMOUNT"
44        LOOPDEVICE=$(losetup -f)
45        # Si existe el fichero de la imagen se hace copia de seguridad, si  no existe se crea.
46        if [ -f "$IMGFILE" ]; then
47                # Si la imagen esta montada la desmonto
48                if [ -r "$DIRMOUNT/ogimg.info" ]; then
49                    umount "$DIRMOUNT"
50                    [ $? -ne 0 ] && return $(ogRaiseError $OG_ERR_DONTUNMOUNT_IMAGE "$1 $2.$IMGEXT"; echo $?)
51                fi
52
53                if [ "$BACKUP" == "true" ]; then
54                    # Copia seguridad
55                    echo "     $MSG_SCRIPTS_FILE_RENAME \"$IMGFILE\" ->  \"$IMGFILE.ant\"." | tee -a $OGLOGSESSION $OGLOGFILE
56                    cp -f  "$IMGFILE" "$IMGFILE.ant" 
57                    mv -f "$IMGFILE.torrent" "$IMGFILE.torrent.ant" 2>/dev/null
58                    rm -f "$IMGFILE.sum"
59                fi
60
61                IMGSIZE=$(ls -l --block-size=1024 "$IMGFILE" | awk '{print $5}')
62                if [ $IMGSIZE -lt $SIZEREQUIRED ];then
63                   echo "      $MSG_SYNC_RESIZE" | tee -a $OGLOGSESSION $OGLOGFILE
64                   echo "      truncate --size=>$SIZEREQUIRED k $IMGFILE" | tee -a $OGLOGSESSION $OGLOGFILE
65                   truncate --size=">$SIZEREQUIRED"k "$IMGFILE" &> $OGLOGCOMMAND
66                   # FS de la imagen segun la version del kernel: < 3.7 ext4, si >=  btrfs
67                   #if [[ "$(uname -r)" < "3.7" ]]; then
68                   if [ $(uname -r|cut -d. -f2) -lt 7 ]; then
69                        losetup $LOOPDEVICE "$IMGFILE"
70                        echo "      resize2fs -f $LOOPDEVICE"
71                        resize2fs -f $LOOPDEVICE &> $OGLOGCOMMAND
72                       
73                   else
74                        echo "      ogMountImage $1 "$2" $3"
75                        ogMountImage $1 "$2" $3
76                        echo "      btrfs filesystem resize max $DIRMOUNT"
77                        btrfs filesystem resize max "$DIRMOUNT" &> $OGLOGCOMMAND
78                   fi
79                fi
80        else
81                echo "      dd if=/dev/zero of=$IMGFILE bs=1024 count=$SIZEREQUIRED"
82                dd if=/dev/zero of="$IMGFILE" bs=1024 count=$SIZEREQUIRED 2>&1 | tee -a $OGLOGCOMMAND
83                #Formateamos imagen
84                losetup $LOOPDEVICE $IMGFILE
85                # FS de la imagen segun la version del kernel: < 3.7 ext4, si >=  btrfs
86                #if [[ "$(uname -r)" < "3.7" ]]; then
87                if [ $(uname -r|cut -d. -f2) -lt 7 ]; then
88                   echo "      mkfs.ext4 -i 4096  -b 4096 -L "${2##*\/}" $LOOPDEVICE"
89                   mkfs.ext4 -i 4096  -b 4096 -L "${2##*\/}" $LOOPDEVICE 2>&1 |tee -a $OGLOGCOMMAND
90                else
91                   echo "      mkfs.btrfs  -L ${2##*\/} $LOOPDEVICE "
92                   mkfs.btrfs  -L "${2##*\/}" $LOOPDEVICE 2>&1 | tee -a $OGLOGCOMMAND
93                fi
94        fi
95        # Monto la imagen
96        ogMountImage $1 "$2" $3 &>/dev/null
97        [ $? -eq 0 ] || ogRaiseError $OG_ERR_IMAGE "$3 $4"
98        touch "$DIRMOUNT/ogimg.info"
99
100        # Si existe dispositivo de loop lo borro.
101        [ $LOOPDEVICE ] && losetup -d $LOOPDEVICE 2>&1 &>/dev/null
102
103else
104        [ -z $REPOIP ] && REPOIP=$(ogGetRepoIp)
105        echo "      hose $REPOIP 2009 --out sh -c \"echo -ne CREATE_IMAGE $2 $3 $SIZEREQUIRED \"" | tee -a $OGLOGSESSION $OGLOGFILE
106        hose $REPOIP 2009 --out sh -c "echo -ne CREATE_IMAGE \"$2\" $3 $SIZEREQUIRED"
107fi
108
109}
110
111function ogCreateInfoImage () {
112#/**
113#  ogCreateInfoImage
114#@brief   Crear listados con la informacion de la imagen, los situa en /tmp.
115#@param 1 num_disk
116#@param 2 num_part
117#@param 3 Repositorio  [ REPO | CACHE ] (opcional en las completas)
118#@param 4 Nombre Imagen Basica (opcional en las completas)
119#@param 5 Tipo imagen [ img | diff ]
120#*/
121local  IMGTYPE IMGDIRAUX DIRMOUNT DESTRSYNC PASSWORD OPTRSYNC USERRSYNC ORIG FSTYPE PART DIREMPTY IMGLIST IMGINFO IMGACL
122
123# Ayuda o menos de 5 parametros y la imagen no es basica
124if [ "$*" == "help" -o   $# -lt 5 -a "$3" != "img"  ]; then
125        ogHelp "$FUNCNAME" : "$MSG_HELP_ogCreateInfoImage" \
126                "$FUNCNAME num_disk num_part [ REPO|CACHE ] [ base_image_name ] extension  " \
127                "base image -> $FUNCNAME 1 2 img" \
128                "diff image -> $FUNCNAME 1 1 CACHE Windows7 diff "
129        return
130fi
131
132if [ $# -lt 3 ]; then
133    ogRaiseError $OG_ERR_FORMAT "$MSG_FORMAT: $FUNCNAME  num_disk num_part [ REPO|CACHE ] [ base_image_name]  extension  "
134    return $?
135fi
136
137if [ $3 == "img" ]; then
138   IMGTYPE="img"
139else
140   # Comprobamos que las extension sea valida
141   ogCheckStringInGroup $5 "img diff" || ogRaiseError  $OG_ERR_FORMAT $MSG_SYNC_EXTENSION
142   IMGTYPE=$5
143   if [ "$IMGTYPE" == "diff" ]; then
144        # Imagen completa con la que comparo la particion.
145        IMGDIRAUX="$(ogGetMountImageDir "$4" "img")"
146        if [ "$3" == "CACHE" -o "$3" == "cache" ]; then
147           DIRMOUNT="/tmp/$IMGDIRAUX"
148           DESTRSYNC="$DIRMOUNT"
149        else
150           [ -z $REPOIP ] && REPOIP=$(ogGetRepoIp)
151           DIRMOUNT="$OGIMG/$IMGDIRAUX"
152           USERRSYNC="opengnsys"
153           PASSWORD="--password-file=/scripts/passrsync"
154           DESTRSYNC="$USERRSYNC@$REPOIP::ogimages/$IMGDIRAUX"
155        fi
156   fi
157fi
158
159
160ORIG=$(ogMount $1 $2)
161FSTYPE=$(ogGetFsType $1 $2)
162PART=$(ogDiskToDev "$1" "$2" 2>/dev/null)
163
164# Creamos la lista del contenido y lo situamos en la particion a copiar.
165DIREMPTY="/tmp/empty$$"
166IMGLIST="/tmp/ogimg.list"
167IMGINFO="/tmp/ogimg.info"
168IMGACL="/tmp/ogimg.acl"
169
170# Borramos archivos antiguos.
171rm /tmp/ogimg.* 2>/dev/null
172rm $ORIG/ogimg.* 2>/dev/null
173
174# En las diferenciales no sabemos el tamaño -> ponemos una constante.
175SIZEDATA=${SIZEDATA:-"SIZEDATA"}
176
177# Incluimos información de la imagen. Segun el kernel sera ext4 o btrfs.
178#if [[ "$(uname -r)" < "3.7" ]]; then
179if [ $(uname -r|cut -d. -f2) -lt 7 ]; then
180        echo "#EXT4:LZO:$FSTYPE:$SIZEDATA" > $IMGINFO
181else
182        echo "#BTRFS:LZO:$FSTYPE:$SIZEDATA" > $IMGINFO
183fi
184
185if [ "$IMGTYPE" == "img" ]; then
186        # Imagen Basica
187        echo "      rsync -aHAXvn --delete $ORIG/ $DIREMPTY >> $IMGINFO" | tee -a $OGLOGSESSION $OGLOGFILE
188        rsync -aHAXvn --delete $ORIG/ $DIREMPTY>> $IMGINFO
189        sed -i -e s/"^sent.*.bytes\/sec"//g -e s/^total.*.speedup.*.$//g -e s/"sending.*.list"//g $IMGINFO
190        sed -i  '/^\.\//d' $IMGINFO
191
192else
193        # Imagen Diferencial
194        echo "      rsync -aHAXvn$OPTRSYNC  --delete  $ORIG/ $DESTRSYNC a $IMGLIST" | tee -a $OGLOGSESSION $OGLOGFILE
195        rsync -aHAXvn$OPTRSYNC $PASSWORD  --delete  "$ORIG/" "$DESTRSYNC" >> $IMGLIST
196        sed -i -e s/"^sent.*.bytes\/sec"//g -e s/^total.*.speedup.*.$//g -e s/"sending.*.list"//g $IMGLIST
197        sed -i  '/^\.\//d' $IMGLIST
198
199        # Creamos informacion de la imagen
200        grep -e '\->' -e  '\=>' $IMGLIST > /tmp/ogimg.ln
201        grep -e  ^deleting  $IMGLIST | sed s/^deleting\ //g | grep -v ^ogimg  > /tmp/ogimg.rm
202        #grep -v -e '\->' -e  '\=>'  -e ^deleting  $IMGLIST >> $IMGINFO
203        grep -v -e '\->' -e  '\=>'  -e ^deleting -e ^created  $IMGLIST >> $IMGINFO
204
205        rm $IMGLIST
206
207        # Comprobamos que los ficheros de diferencias no esten vacios o salimos con error.
208        if [ $(grep -v -e "^$"  -e "^#" $IMGINFO /tmp/ogimg.ln /tmp/ogimg.rm |wc -l) -eq 0 ]; then
209                ogRaiseError $OG_ERR_NOTDIFERENT "$1 $2 $3 $4 $5" 2>&1 | tee -a $OGLOGSESSION $OGLOGFILE
210                return ${PIPESTATUS[0]}
211        fi
212
213fi
214
215# Guardamos el contenido de las acl (Solo win) Necesario particion desmontada (esta asi)
216ogUnmount $1 $2
217if [ $FSTYPE == "NTFS" ]; then
218        echo "      ntfs-3g.secaudit -b $PART /" |tee -a $OGLOGSESSION $OGLOGFILE
219        ntfs-3g.secaudit -b $PART / > $IMGACL 2>$OGLOGCOMMAND
220fi
221
222
223}
224
225
226#/**
227#  ogAclFilter
228#@brief Del fichero de acl de la partición extraemos las acl de los ficheros de la diferencial
229#@param No.
230#@return  (nada)
231#*/
232function ogAclFilter () {
233local  IMGACL IMGINFO FILES ACLTMP
234
235IMGACL="/tmp/ogimg.acl"
236IMGINFO="/tmp/ogimg.info"
237FILES="/tmp/files$$"
238ACLTMP="/tmp/acl$$.tmp"
239
240# comprobamos que existan los archivos de origen. Si no salimos sin error.
241[ -f $IMGACL -a -f $IMGINFO ] || return 0
242
243echo "" > $ACLTMP
244
245# Al fichero le quitamos las líneas sobrantes: comentarios y lineas vacias.
246sed -e s/"^#.*$"//g $IMGINFO > $FILES
247sed -i '/^$/d'  $FILES
248
249
250# Recorremos el listado y extraemos la acl correspondiente al fichero o directorio.
251while read LINE; do
252    read END INI <<< "$(grep -n  -e "File" -e "Directory" $IMGACL| grep -A 1 "$LINE"| awk -F :  '!(NR%2){print $1" "p}{p=$1}' )"
253    let NUM=$END-$INI-1
254    # Si algún archivo no se encuentra, el error lo mandamos a /dev/null
255    sed -n -e $INI,+"$NUM"p  $IMGACL 2>/dev/null | tee -a $ACLTMP
256done < $FILES
257
258cp $ACLTMP $IMGACL
259
260}
261
262#/**
263#  ogRestoreInfoImage
264#@brief Crear o modificar enlaces y restaurar las ACL. La informacion esta ya copiada a la particion.
265#@param 1 num_disk
266#@param 2 num_part
267#*/
268function ogRestoreInfoImage () {
269local  DEST PART IMGACL IMGLN OPTLN LINEA DESTLN ORIGLN TYPELN
270
271# Ayuda o menos de 5 parametros y la imagen no es basica
272if [ "$*" == "help" ]; then
273        ogHelp  "$FUNCNAME": "$MSG_HELP_ogRestoreInfoImage" \
274                "$FUNCNAME num_disk num_part" \
275                "base image -> $FUNCNAME 1 2 " \
276                "diff image -> $FUNCNAME 1 1 "
277        return
278fi
279
280if [ $# -lt 2 ]; then
281    ogRaiseError $OG_ERR_FORMAT "$MSG_FORMAT: $FUNCNAME num_disk num_part  "
282    return $?
283fi
284
285DEST=$(ogMount $1 $2)
286PART=$(ogDiskToDev "$1" "$2" 2>/dev/null)
287IMGACL="ogimg.acl"
288IMGLN="ogimg.ln"
289
290#Creamos o modificamos los enlaces.
291# La imagen diferencial tiene ogimg.ln
292# para la completa lo generamos con los enlaces que contengan  /mnt/
293[ -r "$DEST/$IMGLN" ] || grep -e "->" -e "=>" "$DEST/ogimg.info"|grep "/mnt/" > "$DEST/$IMGLN"
294if [ $(wc -l "$DEST/$IMGLN"|cut -f1 -d" ") -ne 0 ]; then
295   while read LINEA
296   do
297        ORIGLN="${LINEA#*> }"
298        # Si origen hace referencia a la particion lo modificamos
299        echo $ORIGLN|grep "/mnt/"> /dev/null && ORIGLN="$DEST/${ORIGLN#/mnt/*/}"
300        # rsync marca - los enlaces simbolicos y = enlaces "duros"
301        LINEA="${LINEA%>*}"
302        TYPELN="${LINEA##* }"
303        DESTLN="${LINEA% *}"
304
305        if [ "$TYPELN" == "-" ]
306        then
307           OPTLN='-s'
308        else
309           OPTLN=''
310        fi
311        cd "$DEST/$(dirname "$DESTLN")"
312        rm "$(basename "$DESTLN")"
313        ln $OPTLN "$ORIGLN" "$(basename "$DESTLN")"
314        echo -n "."
315   done < "$DEST/$IMGLN"  2>/dev/null
316   echo ""
317
318fi
319
320# Restauramos acl
321if [ "$(ogGetFsType $1 $2)" == "NTFS"  -a -f "$DEST/$IMGACL" ] ; then
322        cd /
323        cp "$DEST/$IMGACL" /tmp
324        ogUnmount "$1" "$2"
325        echo "      ntfs-3g.secaudit -se $PART" |tee -a $OGLOGSESSION $OGLOGFILE
326        ntfs-3g.secaudit -se $PART /tmp/$IMGACL
327        # Para evitar que de falso error
328        echo ""
329fi
330
331}
332
333function ogSyncCreate () {
334#/**
335# ogSyncCreate
336#@brief   sincroniza los datos de la partición a la imagen para crearla. La imagen esta montada en un directorio.
337#@param 1 num_disk
338#@param 2 num_part
339#@param 3 Repositorio  [ REPO | CACHE ]
340#@param 4 Nombre Imagen
341#@param 5 Tipo imagen [ img | diff ]
342#*/
343local ORIG DIRAUX DIRMOUNT DESTRSYNC USERRSYNC PASSWORD OPTRSYNC
344
345# Limpiamos los archivo de log
346echo  "" >$OGLOGCOMMAND;
347
348if [ "$*" == "help" ]; then
349        ogHelp  "$FUNCNAME": "$MSG_HELP_ogSyncCreate" \
350                "$FUNCNAME num_disk num_part [ REPO|CACHE ] image_name extension  " \
351                "$FUNCNAME 1 2 REPO Ubuntu12 img" \
352                "$FUNCNAME 1 1 CACHE Windows7 diff "
353        return
354fi
355
356
357if [ $# -lt 4 ]; then
358    ogRaiseError $OG_ERR_FORMAT "$MSG_FORMAT: $FUNCNAME  num_disk num_part [ REPO|CACHE ] image_name extension  "
359    return $?
360fi
361
362ORIG=$(ogMount $1 $2)
363DIRMOUNT="$(ogGetMountImageDir "$4" $5)"
364# Si la imagen es diferencial la lista de ficheros a transferir esta dentro de la imagen.
365if [ "$5" == "diff" ]; then
366        FILESFROM=" --files-from=/tmp/ogimg.info"
367        # Borramos los directorios
368        sed -i '/\/$/d' /tmp/ogimg.info
369else
370        FILESFROM=""
371fi
372
373if [ "$3" == "CACHE" -o "$3" == "cache" ]; then
374        DESTRSYNC="/tmp/$DIRMOUNT"
375else
376        [ -z $REPOIP ] && REPOIP=$(ogGetRepoIp)
377        PASSWORD="--password-file=/scripts/passrsync"
378        [ "$ogrsyncz" ==  "true" ] && OPTRSYNC="z "
379        [ "$ogrsyncw" == "true" ] && OPTRSYNC="W$OPTRSYNC"
380        USERRSYNC="opengnsys"
381        DESTRSYNC="$USERRSYNC@$REPOIP::ogimages/$DIRMOUNT"
382fi
383# Sincronizamos los datos de la partición a la imagen
384echo "      rsync -aHAX$OPTRSYNC --progress --inplace --delete $FILESFROM  $ORIG/ $DESTRSYNC" | tee -a $OGLOGSESSION $OGLOGFILE
385rsync -aHAX$OPTRSYNC $PASSWORD --progress --inplace --delete $FILESFROM  "$ORIG/" "$DESTRSYNC" 2>&1| egrep "^sent|^sending|^total|%" >> $OGLOGCOMMAND
386echo "      rsync -aHAX$OPTRSYNC --inplace /tmp/ogimg* $DESTRSYNC" | tee -a $OGLOGSESSION $OGLOGFILE
387rsync -aHAX$OPTRSYNC  $PASSWORD  --inplace /tmp/ogimg* "$DESTRSYNC"
388
389}
390
391
392#/**
393# ogSyncRestore
394#@brief   sincroniza los datos de la imagen a la partición para restaurarla.
395#@param 1 Repositorio  [ REPO | CACHE ]
396#@param 2 Nombre Imagen
397#@param 3 Tipo imagen [ img | diff ]
398#@param 4 num_disk
399#@param 5 num_part
400#*/
401function ogSyncRestore () {
402local DIRMOUNT ORIG DESTRSYNC PASSWORD OPTRSYNC USERRSYNC IMGINFO FILESFROM
403
404# Limpiamos los archivo de log
405echo  "" >$OGLOGCOMMAND;
406
407if [ "$*" == "help" ]; then
408        ogHelp  "$FUNCNAME": "$MSG_HELP_ogSyncRestore" \
409                "$FUNCNAME [ REPO|CACHE ] image_name extension  num_disk num_part  " \
410                "$FUNCNAME REPO Ubuntu12 img 1 2" \
411                "$FUNCNAME CACHE Windows7 diff 1 1"
412        return
413fi
414
415
416if [ $# -lt 5 ]; then
417    ogRaiseError $OG_ERR_FORMAT "$MSG_FORMAT: $FUNCNAME  [ REPO|CACHE ] image_name extension   num_disk num_part "
418    return $?
419fi
420
421
422DIRMOUNT="$(ogGetMountImageDir "$2" "$3")"
423DESTRSYNC=$(ogGetMountPoint $4 $5)
424
425# Borramos ficheros de informacion de restauraciones antiguas
426rm -rf $DESTRSYNC/ogimg.*
427
428# Origen y destino de la sincronizacion y en REPO opciones rsync
429if [ "$1" == "CACHE" -o "$1" == "cache" ]; then
430        ORIG="/tmp/$DIRMOUNT"
431else
432        [ -z $REPOIP ] && REPOIP=$(ogGetRepoIp)
433        PASSWORD="--password-file=/scripts/passrsync"
434        [ "$ogrsyncz" ==  "true" ] && OPTRSYNC="z "
435        [ "$ogrsyncw" == "true" ] && OPTRSYNC="W$OPTRSYNC"
436        USERRSYNC="opengnsys"
437        ORIG="$USERRSYNC@$REPOIP::ogimages/$DIRMOUNT"
438fi
439
440# Opciones rsync en cache y repo
441# Para la imagen basica, opcion de borrar archivos de la particion que no existen en la imagen
442[ "$3" == "img" ] && [ "$ogrsyncdel" != "false" ] && OPTRSYNC="$OPTRSYNC --delete"
443
444# Nos traemos listado ficheros y bajamos la imagen
445
446echo "      $MSG_SYNC_RESTORE" |tee -a  $OGLOGSESSION   $OGLOGFILE
447
448# Si la imagen es diferencial nos traemos los archivos de informacion de la imagen.
449if [ "$3" == "diff" ]; then
450        # Lista de archivos a copiar:
451        IMGINFO="ogimg.info"
452        FILESFROM=" --files-from=$DESTRSYNC/$IMGINFO"
453
454        echo "      rsync -aHAX$OPTRSYNC --progress  $ORIG/ogimg* $DESTRSYNC" |tee -a $OGLOGSESSION  $OGLOGFILE
455        rsync -aHAX$OPTRSYNC $PASSWORD --progress  "$ORIG"/ogimg* $DESTRSYNC
456        # Borramos linea de información de la imagen, sino busca un fichero con ese nombre
457        sed -i   '/^\#/d' $DESTRSYNC/$IMGINFO
458
459        cd $DESTRSYNC
460        # Diferencial: Borramos archivos sobrantes.
461        echo "      $MSG_SYNC_DELETE"  |tee -a  $OGLOGFILE
462        cat "$DESTRSYNC/ogimg.rm" 2>/dev/null | xargs rm -rf
463
464fi
465
466echo "      rsync -aHAX$OPTRSYNC --progress  $FILESFROM  $ORIG/ $DESTRSYNC" | tee -a $OGLOGSESSION $OGLOGFILE
467rsync -aHAX$OPTRSYNC $PASSWORD --progress  $FILESFROM  "$ORIG/" "$DESTRSYNC"  2>&1 | egrep "^sent|^sending|^total|%" >> $OGLOGCOMMAND
468
469
470}
471
472function ogMountImage () {
473#/**
474# ogMountImage
475#@brief   Monta la imagen para sincronizar.
476#@param 1 Repositorio  [ REPO | CACHE ]
477#@param 2 Nombre Imagen
478#@param 3 Tipo imagen [ img |diff ]
479#@return punto de montaje
480#*/
481local IMGEXT IMGFILE DIRMOUNT
482
483if [ "$*" == "help" ]; then
484        ogHelp "$FUNCNAME": "$MSG_HELP_ogMountImage" \
485                "$FUNCNAME [ REPO|CACHE ] image_name [ extension ]" \
486                "$FUNCNAME REPO Ubuntu12" \
487                "$FUNCNAME CACHE Windows7 diff"
488        return
489fi
490
491
492if [ $# -lt 2 ]; then
493    ogRaiseError $OG_ERR_FORMAT "$MSG_FORMAT: $FUNCNAME [ REPO|CACHE ]  image_name [ extension ]"
494    return $?
495fi
496
497[ "$3" == "" -o "$3" == "img" ] && IMGEXT="img" || IMGEXT="img.diff"
498
499DIRMOUNT="$(ogGetMountImageDir "$2" ${IMGEXT#*\.})"
500
501if [ "$1" == "CACHE" -o "$1" == "cache" ]; then
502        # Si está montado nada que hacer.
503        df | grep "$DIRMOUNT$" 2>&1 >/dev/null && echo "/tmp/$DIRMOUNT" && return 0
504
505        IMGFILE="$(ogGetPath "$1" /"$2.$IMGEXT")"
506        mkdir -p "/tmp/$DIRMOUNT"
507       
508        # FS de la imagen segun la version del kernel: < 3.7 ext4, si >=  btrfs
509        if [ $(uname -r|cut -d. -f2) -lt 7 ]; then
510            mount -t ext4 -o loop "$IMGFILE" "/tmp/$DIRMOUNT" 1>/dev/null
511        else
512            mount -o compress=lzo  "$IMGFILE" "/tmp/$DIRMOUNT" 1>/dev/null
513        fi
514
515        # Comprobamos que se ha montado bien
516        [ $? -eq 0 ] || ogRaiseError $OG_ERR_DONTMOUNT_IMAGE "$1 $2 $3" || return $?
517        echo "/tmp/$DIRMOUNT"
518
519else
520        [ -z $REPOIP ] && REPOIP=$(ogGetRepoIp)
521        hose $REPOIP 2009 --out sh -c "echo -ne MOUNT_IMAGE \"$2\" ${IMGEXT#*\.}"
522        echo "$OGIMG/$DIRMOUNT"
523
524fi
525
526}
527
528
529
530
531
532function ogUnmountImage () {
533#/**
534# ogUnmountImage  [ REPO | CACHE ] Image_name [ extension ]
535#@brief   Desmonta la imagen para sincronizar.
536#@param 1 Repositorio  [ REPO | CACHE ]
537#@param 2 Nombre Imagen
538#@param 3 Tipo imagen [ img |diff ]
539#*/
540local IMGTYPE DIRMOUNT
541
542if [ "$*" == "help" ]; then
543    ogHelp "$FUNCNAME": "$MSG_HELP_ogUnmountImage" \
544                "$FUNCNAME [ REPO|CACHE ] image_name [ extension ]" \
545                "$FUNCNAME REPO Ubuntu12" \
546                "$FUNCNAME CACHE Windows7 diff"
547    return
548fi
549
550if [ $# -lt 2 ]; then
551    ogRaiseError $OG_ERR_FORMAT "$MSG_FORMAT: $FUNCNAME  [ REPO|CACHE ]  image_name [ extension ]"
552    return $?
553fi
554
555[ "$3" == "" ] && IMGTYPE="img" || IMGTYPE="$3"
556
557if [ "$1" == "CACHE" -o "$1" == "cache" ]; then
558        DIRMOUNT="/tmp/$(ogGetMountImageDir "$2" $IMGTYPE)"
559        umount "$DIRMOUNT"
560        rmdir "$DIRMOUNT"
561else
562        [ -z $REPOIP ] && REPOIP=$(ogGetRepoIp)
563        echo "      hose $REPOIP 2009 --out sh -c echo -ne UMOUNT_IMAGE \"$2\" $IMGTYPE" |tee -a  $OGLOGFILE
564        hose $REPOIP 2009 --out sh -c "echo -ne UMOUNT_IMAGE \"$2\" $IMGTYPE"
565fi
566
567}
568
569function ogGetMountImageDir () {
570#/**
571# ogGetMountImageDir
572#@brief   Devuelve el directorio de montaje de la imagen.
573#@param 1 Nombre Imagen
574#@param 2 Tipo imagen [ img |diff ]
575#*/
576local DIRMOUNT
577if [ "$*" == "help" ]; then
578    ogHelp "$FUNCNAME": "$MSG_HELP_ogGetMountImageDir" \
579                "$FUNCNAME image_name [ extension ]" \
580                "$FUNCNAME Ubuntu12" \
581                "$FUNCNAME Windows7 diff"
582    return
583fi
584
585
586if [ $# -lt 1 ]; then
587    ogRaiseError $OG_ERR_FORMAT "$MSG_FORMAT: $FUNCNAME image_name [ extension ]"
588    return $?
589fi
590
591
592DIRMOUNT="mount/$1"
593[ "$2" == "diff" ] && DIRMOUNT="$DIRMOUNT.diff"
594echo "$DIRMOUNT"
595
596
597}
598
599
600#/**
601#  ogWaitMountImage image_name extension imagen_size
602#@brief Se espera un tiempo a que se monte la imagen en el servidor.
603#@brief Cuando se esta creando la imagen hay que dar el tamaño, para que espere el tiempo de creación. 
604#@param 1 Respositorio [ REPO | CACHE ]
605#@param 2 Nombre Imagen
606#@param 3 Tipo imagen [ img | diff ]
607#@param 4 Tamaño imagen (opcional)
608#*/
609function ogWaitMountImage () {
610local SIZE TIME DIRMOUNT TIMEOUT TIMEAUX
611
612TIME=$SECONDS
613
614# Ayuda o menos de 5 parametros y la imagen no es basica
615if [ "$*" == "help" ]; then
616        ogHelp  "$FUNCNAME": "$MSG_HELP_ogWaitMountImage" \
617                "$FUNCNAME [ REPO | CACHE ] image_name extension [ image_size ] " \
618                "$FUNCNAME REPO Ubuntu12 img 30000000" \
619                "$FUNCNAME CACHE Windows7 diff "
620        return
621fi
622
623if [ $# -lt 2 ]; then
624    ogRaiseError $OG_ERR_FORMAT "$MSG_FORMAT: $FUNCNAME [ REPO | CACHE ]  image_name extension [ image_size ] " 2>&1 | tee -a $OGLOGSESSION $OGLOGFILE
625    return ${PIPESTATUS[0]}
626fi
627
628SIZE=${4:-"300000"}
629
630if [ "$1" == "CACHE" -o "$1" == "cache" ]; then
631        DIRMOUNT="/tmp/$(ogGetMountImageDir "$2" $3)"
632else
633        DIRMOUNT="$OGIMG/$(ogGetMountImageDir "$2" $3)"
634fi
635
636echo -n -e "      $MSG_SYNC_SLEEP: $DIRMOUNT\n      #"  | tee -a $OGLOGSESSION $OGLOGFILE
637
638# time-out segun el tamaño de la imagen. por defecto: 100000k -> 3s
639let TIMEOUT=$SIZE/$CREATESPEED
640[ $TIMEOUT -lt 60 ] && TIMEOUT=60
641until [ -f "$DIRMOUNT/ogimg.info" ] ; do
642        TIMEAUX=$[SECONDS-TIME]
643        [  "$TIMEAUX" -lt "$TIMEOUT" ] ||  ogRaiseError $OG_ERR_DONTMOUNT_IMAGE "$3 $4 $IMGEXT"  2>&1  | tee -a $OGLOGSESSION $OGLOGFILE
644        [ ${PIPESTATUS[0]} -eq 0 ] || return ${PIPESTATUS[0]}
645        echo -n "#"  | tee -a $OGLOGSESSION $OGLOGFILE
646        sleep 5
647done
648echo  "" | tee -a $OGLOGSESSION $OGLOGFILE
649
650}
651
652
653function ogReduceImage () {
654#/**
655# ogReduceImage
656#@brief   Reduce el archivo de la imagen a tamaño datos + 500M
657#@param 1 Repositorio  [ REPO | CACHE ]
658#@param 2 Nombre Imagen
659#@param 3 Tipo Imagen [ img |diff ]
660#@return
661#@exception OG_ERR_FORMAT     # 1 formato incorrecto.
662#@exception OG_ERR_NOTFOUND        # 2 Fichero o dispositivo no encontrado.
663#*/
664local IMGEXT DIRMOUNT AVAILABLE USED IMGDIR IMGFILE ENDSIZE LOOPDEVICE
665if [ "$*" == "help" ]; then
666    ogHelp "$FUNCNAME": "$MSG_HELP_ogReduceImage" \
667                "$FUNCNAME [ REPO|CACHE ] image_name [ extension ]" \
668                "$FUNCNAME REPO Ubuntu12" \
669                "$FUNCNAME CACHE Windows7 diff"
670    return
671fi
672
673if [ $# -lt 2 ]; then
674    ogRaiseError $OG_ERR_FORMAT "$MSG_FORMAT: $FUNCNAME [ REPO|CACHE ] image_name [ extension ]"
675    return $?
676fi
677
678
679[ "$3" == "" -o "$3" == "img" ] && IMGEXT="img" || IMGEXT="img.diff"
680IMGDIR="$(ogGetParentPath "$1" "/$2")"
681IMGFILE="${IMGDIR}/$(basename "/$2").$IMGEXT"
682
683# Solo es posible para imagenes EXT4. Si no es EXT4 salimos sin error
684file "$IMGFILE" | grep -i " ext4 filesystem " 2>&1 > /dev/null || return 0
685
686if [ "$1" == "CACHE" -o "$1" == "cache" ]; then
687        # Al montar se comprueba la existencia de la imagen
688        DIRMOUNT="$(ogMountImage $1 "$2" ${IMGEXT#*\.}) "
689
690        AVAILABLE=$(df -k|grep "$DIRMOUNT$"|awk '{print $4}')
691        # Si el espacio libre menor que 500Mb nos salimos
692        if [ $AVAILABLE -lt 200000 ]; then
693                ogUnmountImage $1 "$2" ${IMGEXT#*\.}
694                return 0
695        fi
696
697
698        # Calculamos la diferencia entre el tamaño interno y externo
699        EXTSIZE=$(ls -l --block-size=1024 "$IMGFILE" | cut -f5 -d" ")
700        INTSIZE=$(df -k|grep "$DIRMOUNT"|awk '{print $2}')
701        let EDGESIZE=$EXTSIZE-$INTSIZE
702
703        ogUnmountImage $1 "$2" ${IMGEXT#*\.}
704        LOOPDEVICE=$(losetup -f)
705        losetup $LOOPDEVICE "$IMGFILE"
706
707        # Redimensiono sistema de ficheros
708        echo resize2fs -fpM $LOOPDEVICE
709        resize2fs -fpM $LOOPDEVICE |tee -a $OGLOGCOMMAND
710        ogMountImage $1 "$2" ${IMGEXT#*\.}
711
712        # Calculamos el tamaño final del archivo
713        INTSIZE=$(df -k|grep "$DIRMOUNT"|awk '{print $2}')
714        let EXTSIZE=$INTSIZE+$EDGESIZE
715        umount "$DIRMOUNT"
716
717        # Si existe dispositivo de loop lo borro.
718        [ $LOOPDEVICE ] && losetup -d $LOOPDEVICE
719
720        # Corto el archivo al tamaño del sistema de ficheros.
721        echo "      truncate --size=\"$EXTSIZE\"k $IMGFILE  "
722        truncate --size="$EXTSIZE"k "$IMGFILE"
723
724        rmdir "$DIRMOUNT"
725
726else
727        [ -z $REPOIP ] && REPOIP=$(ogGetRepoIp)
728        echo "      hose $REPOIP 2009 --out sh -c echo -ne REDUCE_IMAGE \"$2\" ${IMGEXT#*\.}"
729        hose $REPOIP 2009 --out sh -c "echo -ne REDUCE_IMAGE \"$2\" ${IMGEXT#*\.}"
730fi
731
732
733}
734
735
736
737function ogIsSyncImage () {
738#/**
739# ogIsSyncImage
740#@brief   Comprueba si la imagen es sincronizable
741#@param 1 Repositorio  [ REPO | CACHE ]
742#@param 2 Nombre Imagen
743#@param 3 Tipo Imagen [ img |diff ]
744#@return
745#@exception OG_ERR_FORMAT     # 1 formato incorrecto.
746#@exception OG_ERR_NOTFOUND        # 2 Fichero o dispositivo no encontrado.
747#*/
748local IMGEXT IMGDIR IMGFILE
749
750if [ "$*" == "help" ]; then
751    ogHelp "$FUNCNAME": "$MSG_HELP_ogIsSyncImage" \
752                "$FUNCNAME [ REPO|CACHE ] image_name [ extension ]" \
753                "$FUNCNAME REPO Ubuntu12" \
754                "$FUNCNAME CACHE Windows7 diff"
755    return
756fi
757
758if [ $# -lt 2 ]; then
759    ogRaiseError $OG_ERR_FORMAT "$MSG_FORMAT: $FUNCNAME [ REPO|CACHE ] image_name [ extension ]"
760    return $?
761fi
762
763[ "$3" == "" -o "$3" == "img" ] && IMGEXT="img" || IMGEXT="img.diff"
764IMGDIR="$(ogGetParentPath "$1" "/$2")"
765IMGFILE="${IMGDIR}"/$(basename "/$2").$IMGEXT
766
767file "$IMGFILE" | grep -i -e " BTRFS Filesystem " -e " ext4 filesystem " >/dev/null
768[ $? -eq 0 ] && return 0 || return $OG_ERR_DONTSYNC_IMAGE
769
770
771}
772
773#/**
774# ogCheckSyncImage
775#@brief   Muestra el contenido de la imagen para comprobarla.
776#@param 1 Repositorio  [ REPO | CACHE ]
777#@param 2 Nombre Imagen
778#@param 3 Tipo Imagen [ img |diff ]
779#@return
780#@exception OG_ERR_FORMAT     # 1 formato incorrecto.
781#@exception OG_ERR_NOTFOUND        # 2 Fichero o dispositivo no encontrado.
782#*/
783ogCheckSyncImage (){
784local IMGEXT  IMGDIR  IMGFILE DIRMOUNT
785
786if [ "$*" == "help" ]; then
787    ogHelp "$FUNCNAME":  "$MSG_HELP_ogCheckSyncImage" \
788                "$FUNCNAME [ REPO|CACHE ] image_name [ extension ]" \
789                "$FUNCNAME REPO Ubuntu12" \
790                "$FUNCNAME CACHE Windows7 diff"
791    return
792fi
793
794if [ $# -lt 2 ]; then
795    ogRaiseError $OG_ERR_FORMAT "$MSG_FORMAT: $FUNCNAME [ REPO|CACHE ] image_name [ extension ]"
796    return $?
797fi
798
799[ "$3" == "" -o "$3" == "img" ] && IMGEXT="img" || IMGEXT="img.diff"
800IMGDIR="$(ogGetParentPath "$1" "/$2")"
801IMGFILE="${IMGDIR}/$(basename "/$2").$IMGEXT"
802
803ogIsSyncImage $1 "$2" "${IMGEXT#*\.}" || ogRaiseError $OG_ERR_DONTSYNC_IMAGE "$3 $4" || return $?
804
805DIRMOUNT="/tmp/ogCheckImage$$"
806mkdir "$DIRMOUNT"
807# FS de la imagen segun la version del kernel: < 3.7 ext4, si >=  btrfs
808if [ $(uname -r|cut -d. -f2) -lt 7 ]; then
809        mount -t ext4 -o loop "$IMGFILE" "$DIRMOUNT" 1>/dev/null
810else
811        mount -o compress=lzo  "$IMGFILE" "$DIRMOUNT" 1>/dev/null
812fi
813ls -C "$DIRMOUNT" | tee -a $OGLOGCOMMAND
814umount "$DIRMOUNT"
815
816rmdir "$DIRMOUNT"
817}
Note: See TracBrowser for help on using the repository browser.