source: client/engine/Rsync.lib @ 0efb835

918-git-images-111dconfigfileconfigure-oglivegit-imageslgromero-new-oglivemainmaint-cronmount-efivarfsmultivmmultivm-ogboot-installerogClonningEngineogboot-installer-jenkinsoglive-ipv6test-python-scriptsticket-301ticket-50ticket-50-oldticket-577ticket-585ticket-611ticket-612ticket-693ticket-700ubu24tplunification2use-local-agent-oglivevarios-instalacionwebconsole3
Last change on this file since 0efb835 was 2847ede, checked in by irina <irinagomez@…>, 11 years ago

#565 Correccion errata en la nomenclatura de la version del kernel

git-svn-id: https://opengnsys.es/svn/branches/version1.0@4255 a21b9725-9963-47de-94b9-378ad31fedc9
  • Property mode set to 100755
File size: 27.5 KB
Line 
1#!/bin/bash
2#/**
3# ogCreateFileImage  [ REPO | CACHE ] image_name extension size
4#@brief   Crear el archivo
5#@param 1 Repositorio  [ REPO | CACHE ]
6#@param 2 Nombre Imagen
7#@param 3 Tipo imagen [ img |diff ]
8#@param 4 Tamaño de la imagen
9#@return  instrucción para ser ejecutada.
10#*/
11
12function ogCreateFileImage () {
13local SIZEREQUIRED IMGDIR IMGFILE DIRMOUNT LOOPDEVICE  IMGSIZE IMGEXT KERNELVERSION
14
15if [ "$*" == "help" ]; then
16    ogHelp "$FUNCNAME" : "$MSG_HELP_ogCreateFileImage" \
17           "$FUNCNAME [ REPO|CACHE ] image_name extension  size(K)" \
18           "$FUNCNAME REPO Ubuntu12 img 300000" \
19           "$FUNCNAME CACHE Windows7 diff 20000000"
20    return
21fi
22
23
24if [ $# -lt 4 ]; then
25    ogRaiseError $OG_ERR_FORMAT "$MSG_FORMAT: $FUNCNAME  [ REPO|CACHE ] image_name extension  size(k)"
26    return $?
27fi
28
29SIZEREQUIRED=$4
30[ $SIZEREQUIRED -lt 300000 ] && SIZEREQUIRED=300000
31KERNELVERSION=$(uname -r| awk '{printf("%d",$1);sub(/[0-9]*\./,"",$1);printf(".%02d",$1)}')
32
33if [ "$1" == "CACHE" -o "$1" == "cache" ]; then
34        IMGDIR="$(ogGetParentPath "$1" "/$2")"
35        [ "$3" == "img" ] && IMGEXT="img" ||  IMGEXT="img.diff"
36        IMGFILE="${IMGDIR}/$(basename "/$2").$IMGEXT"
37        ## Si no existe, crear subdirectorio de la imagen.
38        if [ $? != 0 ]; then
39            ogEcho log session  "      $MSG_HELP_ogMakeDir \"$1 $(dirname "$2")."
40            ogMakeDir "$1" "$(dirname "/$2")" || return $(ogRaiseError $OG_ERR_NOTWRITE "$3 /$4"; echo $?)
41            IMGDIR="$(ogGetParentPath "$1" "/$2")" || return $(ogRaiseError $OG_ERR_NOTWRITE "$3 /$4"; echo $?)
42        fi
43        DIRMOUNT="/tmp/$(ogGetMountImageDir "$2" "$3")"
44        mkdir -p "$DIRMOUNT"
45        LOOPDEVICE=$(losetup -f)
46        # Si existe el fichero de la imagen se hace copia de seguridad, si  no existe se crea.
47        if [ -f "$IMGFILE" ]; then
48                # Si la imagen esta montada la desmonto
49                if [ -r "$DIRMOUNT/ogimg.info" ]; then
50                    umount "$DIRMOUNT"
51                    [ $? -ne 0 ] && return $(ogRaiseError $OG_ERR_DONTUNMOUNT_IMAGE "$1 $2.$IMGEXT"; echo $?)
52                fi
53
54                if [ "$BACKUP" == "true" -o "$BACKUP" == "TRUE" ]; then
55                    # Copia seguridad
56                    ogEcho log session  "     $MSG_SCRIPTS_FILE_RENAME \"$IMGFILE\" ->  \"$IMGFILE.ant\"."
57                    cp -f  "$IMGFILE" "$IMGFILE.ant" 
58                    mv -f "$IMGFILE.torrent" "$IMGFILE.torrent.ant" 2>/dev/null
59                    rm -f "$IMGFILE.sum"
60                fi
61
62                IMGSIZE=$(ls -l --block-size=1024 "$IMGFILE" | awk '{print $5}')
63                if [ $IMGSIZE -lt $SIZEREQUIRED ];then
64                   ogEcho log session  "      $MSG_SYNC_RESIZE"
65                   echo "      truncate --size=>$SIZEREQUIRED k $IMGFILE"
66                   truncate --size=">$SIZEREQUIRED"k "$IMGFILE" &> $OGLOGCOMMAND
67                   # FS de la imagen segun la version del kernel: < 3.7 ext4, si >=  btrfs
68                   if [ $KERNELVERSION \< 3.07 ]; then
69                        losetup $LOOPDEVICE "$IMGFILE"
70                        echo "      resize2fs -f $LOOPDEVICE"
71                        resize2fs -f $LOOPDEVICE &> $OGLOGCOMMAND
72                       
73                   else
74                        echo "      ogMountImage $1 "$2" $3"
75                        ogMountImage $1 "$2" $3
76                        echo "      btrfs filesystem resize max $DIRMOUNT"
77                        btrfs filesystem resize max "$DIRMOUNT" &> $OGLOGCOMMAND
78                   fi
79                fi
80        else
81                echo "      dd if=/dev/zero of=$IMGFILE bs=1024 count=$SIZEREQUIRED"
82                dd if=/dev/zero of="$IMGFILE" bs=1024 count=$SIZEREQUIRED 2>&1 | tee -a $OGLOGCOMMAND
83                #Formateamos imagen
84                losetup $LOOPDEVICE $IMGFILE
85                # FS de la imagen segun la version del kernel: < 3.7 ext4, si >=  btrfs
86                if [ $KERNELVERSION \< 3.07 ]; then
87                   echo "      mkfs.ext4 -i 4096  -b 4096 -L "${2##*\/}" $LOOPDEVICE"
88                   mkfs.ext4 -i 4096  -b 4096 -L "${2##*\/}" $LOOPDEVICE 2>&1 |tee -a $OGLOGCOMMAND
89                else
90                   echo "      mkfs.btrfs  -L ${2##*\/} $LOOPDEVICE "
91                   mkfs.btrfs  -L "${2##*\/}" $LOOPDEVICE 2>&1 | tee -a $OGLOGCOMMAND
92                fi
93        fi
94        # Monto la imagen
95        ogMountImage $1 "$2" $3 &>/dev/null
96        [ $? -eq 0 ] || return $( ogRaiseError $OG_ERR_IMAGE "$3 $4"; echo $?)
97        #touch "$DIRMOUNT/ogimg.info"
98        echo "mounted"> $IMGFILE.lock
99
100        # Si existe dispositivo de loop lo borro.
101        [ $LOOPDEVICE ] && losetup -d $LOOPDEVICE 2>&1 &>/dev/null
102
103else
104        [ -z $REPOIP ] && REPOIP=$(ogGetRepoIp)
105        echo "      hose $REPOIP 2009 --out sh -c \"echo -ne CREATE_IMAGE $2 $3 $SIZEREQUIRED \""
106        hose $REPOIP 2009 --out sh -c "echo -ne CREATE_IMAGE \"$2\" $3 $SIZEREQUIRED"
107fi
108
109}
110
111function ogCreateInfoImage () {
112#/**
113#  ogCreateInfoImage
114#@brief   Crear listados con la informacion de la imagen, los situa en /tmp.
115#@param 1 num_disk
116#@param 2 num_part
117#@param 3 Repositorio  [ REPO | CACHE ] (opcional en las completas)
118#@param 4 Nombre Imagen Basica (opcional en las completas)
119#@param 5 Tipo imagen [ img | diff ]
120#*/
121local  IMGTYPE IMGDIRAUX DIRMOUNT DESTRSYNC PASSWORD OPTRSYNC USERRSYNC ORIG FSTYPE PART DIREMPTY IMGLIST IMGINFO IMGACL KERNELVERSION
122# Ayuda o menos de 5 parametros y la imagen no es basica
123if [ "$*" == "help" -o   $# -lt 5 -a "$3" != "img"  ]; then
124        ogHelp "$FUNCNAME" : "$MSG_HELP_ogCreateInfoImage" \
125                "$FUNCNAME num_disk num_part [ REPO|CACHE ] [ base_image_name ] extension  " \
126                "base image -> $FUNCNAME 1 2 img" \
127                "diff image -> $FUNCNAME 1 1 CACHE Windows7 diff "
128        return
129fi
130
131if [ $# -lt 3 ]; then
132    ogRaiseError $OG_ERR_FORMAT "$MSG_FORMAT: $FUNCNAME  num_disk num_part [ REPO|CACHE ] [ base_image_name]  extension  "
133    return $?
134fi
135
136# Comprobar errores.
137PART=$(ogDiskToDev "$1" "$2") || return $?
138ORIG=$(ogMount $1 $2) || return $?
139
140if [ $3 == "img" ]; then
141   IMGTYPE="img"
142else
143   # Comprobamos que las extension sea valida
144   ogCheckStringInGroup $5 "img diff" || return $( ogRaiseError  $OG_ERR_FORMAT "$MSG_SYNC_EXTENSION"; echo $?)
145   IMGTYPE=$5
146   if [ "$IMGTYPE" == "diff" ]; then
147        # Imagen completa con la que comparo la particion.
148        IMGDIRAUX="$(ogGetMountImageDir "$4" "img")"
149        if [ "$3" == "CACHE" -o "$3" == "cache" ]; then
150           DIRMOUNT="/tmp/$IMGDIRAUX"
151           DESTRSYNC="$DIRMOUNT"
152        else
153           [ -z $REPOIP ] && REPOIP=$(ogGetRepoIp)
154           DIRMOUNT="$OGIMG/$IMGDIRAUX"
155           USERRSYNC="opengnsys"
156           PASSWORD="--password-file=/scripts/passrsync"
157           DESTRSYNC="$USERRSYNC@$REPOIP::ogimages/$IMGDIRAUX"
158        fi
159   fi
160fi
161
162
163FSTYPE=$(ogGetFsType $1 $2)
164
165# Creamos la lista del contenido y lo situamos en la particion a copiar.
166DIREMPTY="/tmp/empty$$"
167IMGLIST="/tmp/ogimg.list"
168IMGINFO="/tmp/ogimg.info"
169IMGACL="/tmp/ogimg.acl"
170
171# Borramos archivos antiguos.
172rm -f /tmp/ogimg.* 2>/dev/null
173rm -f $ORIG/ogimg.* 2>/dev/null
174
175# En las diferenciales no sabemos el tamaño -> ponemos una constante.
176SIZEDATA=${SIZEDATA:-"SIZEDATA"}
177
178# Incluimos información de la imagen. Segun el kernel sera ext4 o btrfs.
179KERNELVERSION=$(uname -r| awk '{printf("%d",$1);sub(/[0-9]*\./,"",$1);printf(".%02d",$1)}')
180if [ $KERNELVERSION \< 3.07 ]; then
181        echo "#EXT4:NO:$FSTYPE:$SIZEDATA" > $IMGINFO
182else
183        echo "#BTRFS:LZO:$FSTYPE:$SIZEDATA" > $IMGINFO
184fi
185
186if [ "$IMGTYPE" == "img" ]; then
187        # Imagen Basica
188        echo "      rsync -aHAXvn --delete $ORIG/ $DIREMPTY >> $IMGINFO"
189        rsync -aHAXvn --delete $ORIG/ $DIREMPTY>> $IMGINFO
190        sed -i -e s/"^sent.*.bytes\/sec"//g -e s/^total.*.speedup.*.$//g -e s/"sending.*.list"//g $IMGINFO
191        sed -i  '/^\.\//d' $IMGINFO
192
193else
194        # Imagen Diferencial
195        echo "      rsync -aHAXvn$OPTRSYNC  --delete  $ORIG/ $DESTRSYNC a $IMGLIST"
196        rsync -aHAXvn$OPTRSYNC $PASSWORD  --delete  "$ORIG/" "$DESTRSYNC" >> $IMGLIST
197        sed -i -e s/"^sent.*.bytes\/sec"//g -e s/^total.*.speedup.*.$//g -e s/"sending.*.list"//g $IMGLIST
198        sed -i  '/^\.\//d' $IMGLIST
199
200        # Creamos informacion de la imagen
201        grep -e '\->' -e  '\=>' $IMGLIST > /tmp/ogimg.ln
202        grep -e  ^deleting  $IMGLIST | sed s/^deleting\ //g | grep -v ^ogimg  > /tmp/ogimg.rm
203        #grep -v -e '\->' -e  '\=>'  -e ^deleting  $IMGLIST >> $IMGINFO
204        grep -v -e '\->' -e  '\=>'  -e ^deleting -e ^created  $IMGLIST >> $IMGINFO
205
206        rm -f $IMGLIST
207
208        # Comprobamos que los ficheros de diferencias no esten vacios o salimos con error.
209        if [ $(grep -v -e "^$"  -e "^#" $IMGINFO /tmp/ogimg.ln /tmp/ogimg.rm |wc -l) -eq 0 ]; then
210                ogRaiseError $OG_ERR_NOTDIFFERENT "$1 $2 $3 $4 $5"
211                return $?       
212        fi
213
214fi
215
216# Guardamos el contenido de las acl (Solo win) Necesario particion desmontada (esta asi)
217ogUnmount $1 $2
218if [ $FSTYPE == "NTFS" ]; then
219        echo "      ntfs-3g.secaudit -b $PART /"
220        ntfs-3g.secaudit -b $PART / > $IMGACL
221fi
222
223
224}
225
226
227#/**
228#  ogAclFilter
229#@brief Del fichero de acl de la partición extraemos las acl de los ficheros de la diferencial
230#@param No.
231#@return  (nada)
232#*/
233function ogAclFilter () {
234local  IMGACL IMGINFO FILES ACLTMP
235
236# Ayuda o menos de 5 parametros y la imagen no es basica
237if [ "$*" == "help" ]; then
238        ogHelp "$MSG_HELP_ogAclFilter" \
239                "$FUNCNAME [ no parameters ]  "
240        return
241fi
242
243IMGACL="/tmp/ogimg.acl"
244IMGINFO="/tmp/ogimg.info"
245FILES="/tmp/files$$"
246ACLTMP="/tmp/acl$$.tmp"
247ACLFILES="/tmp/aclfiles$$"
248
249# comprobamos que existan los archivos de origen. Si no salimos sin error.
250[ -f $IMGACL -a -f $IMGINFO ] || return 0
251
252echo "" > $ACLTMP
253grep -n  -e "File" -e "Directory" $IMGACL > $ACLFILES
254
255# Al fichero le quitamos las líneas sobrantes: comentarios y lineas vacias.
256sed -e s/"^#.*$"//g $IMGINFO > $FILES
257sed -i '/^$/d'  $FILES
258
259
260# Recorremos el listado y extraemos la acl correspondiente al fichero o directorio.
261while read LINE; do
262    #read END INI <<< "$(grep -n  -e "File" -e "Directory" $IMGACL| grep -A 1 "$LINE"| awk -F :  '!(NR%2){print $1" "p}{p=$1}' )"
263    read END INI <<< "$(grep -A 1 "$LINE" $ACLFILES | awk -F :  '!(NR%2){print $1" "p}{p=$1}' )"
264    let NUM=$END-$INI-1
265    # Si algún archivo no se encuentra, el error lo mandamos a /dev/null
266    sed -n -e $INI,+"$NUM"p  $IMGACL 2>/dev/null >> $ACLTMP
267    echo "aclfilter: $LINE" >> $OGLOGCOMMAND
268done < $FILES
269
270cp $ACLTMP $IMGACL
271rm -f $FILES $ACLTMP $ACLFILES
272
273}
274
275#/**
276#  ogRestoreInfoImage
277#@brief Crear o modificar enlaces y restaurar las ACL. La informacion esta ya copiada a la particion.
278#@param 1 num_disk
279#@param 2 num_part
280#*/
281function ogRestoreInfoImage () {
282local  DEST PART IMGACL IMGLN OPTLN LINEA DESTLN ORIGLN TYPELN
283
284# Ayuda o menos de 5 parametros y la imagen no es basica
285if [ "$*" == "help" ]; then
286        ogHelp  "$FUNCNAME": "$MSG_HELP_ogRestoreInfoImage" \
287                "$FUNCNAME num_disk num_part" \
288                "base image -> $FUNCNAME 1 2 " \
289                "diff image -> $FUNCNAME 1 1 "
290        return
291fi
292
293if [ $# -lt 2 ]; then
294    ogRaiseError $OG_ERR_FORMAT "$MSG_FORMAT: $FUNCNAME num_disk num_part  "
295    return $?
296fi
297
298# Control de errores.
299PART=$(ogDiskToDev "$1" "$2") || return $?
300DEST=$(ogMount $1 $2) || return $?
301
302IMGACL="ogimg.acl"
303IMGLN="ogimg.ln"
304
305#Creamos o modificamos los enlaces.
306# La imagen diferencial tiene ogimg.ln
307# para la completa lo generamos con los enlaces que contengan  /mnt/
308[ -r "$DEST/$IMGLN" ] || grep -e "->" -e "=>" "$DEST/ogimg.info"|grep "/mnt/" > "$DEST/$IMGLN"
309if [ $(wc -l "$DEST/$IMGLN"|cut -f1 -d" ") -ne 0 ]; then
310   while read LINEA
311   do
312        ORIGLN="${LINEA#*> }"
313        # Si origen hace referencia a la particion lo modificamos
314        echo $ORIGLN|grep "/mnt/"> /dev/null && ORIGLN="$DEST/${ORIGLN#/mnt/*/}"
315        # rsync marca - los enlaces simbolicos y = enlaces "duros"
316        LINEA="${LINEA%>*}"
317        TYPELN="${LINEA##* }"
318        DESTLN="${LINEA% *}"
319
320        if [ "$TYPELN" == "-" ]
321        then
322           OPTLN='-s'
323        else
324           OPTLN=''
325        fi
326        cd "$DEST/$(dirname "$DESTLN")"
327        rm -f "$(basename "$DESTLN")"
328        ln $OPTLN "$ORIGLN" "$(basename "$DESTLN")"
329        echo -n "."
330   done < "$DEST/$IMGLN"  2>/dev/null
331   echo ""
332
333fi
334
335# Restauramos acl
336if [ "$(ogGetFsType $1 $2)" == "NTFS"  -a -f "$DEST/$IMGACL" ] ; then
337        cd /
338        cp "$DEST/$IMGACL" /tmp
339        ogUnmount "$1" "$2"
340        echo "ntfs-3g.secaudit -se $PART /tmp/$IMGACL"
341        ntfs-3g.secaudit -se $PART /tmp/$IMGACL
342        # Para evitar que de falso error
343        echo ""
344fi
345
346}
347
348function ogSyncCreate () {
349#/**
350# ogSyncCreate
351#@brief   sincroniza los datos de la partición a la imagen para crearla. La imagen esta montada en un directorio.
352#@param 1 num_disk
353#@param 2 num_part
354#@param 3 Repositorio  [ REPO | CACHE ]
355#@param 4 Nombre Imagen
356#@param 5 Tipo imagen [ img | diff ]
357#*/
358local ORIG DIRAUX DIRMOUNT DESTRSYNC USERRSYNC PASSWORD OPTRSYNC RETVAL
359
360# Limpiamos los archivo de log
361echo  "" >$OGLOGCOMMAND;
362
363if [ "$*" == "help" ]; then
364        ogHelp  "$FUNCNAME": "$MSG_HELP_ogSyncCreate" \
365                "$FUNCNAME num_disk num_part [ REPO|CACHE ] image_name extension  " \
366                "$FUNCNAME 1 2 REPO Ubuntu12 img" \
367                "$FUNCNAME 1 1 CACHE Windows7 diff "
368        return
369fi
370
371
372if [ $# -lt 4 ]; then
373    ogRaiseError $OG_ERR_FORMAT "$MSG_FORMAT: $FUNCNAME  num_disk num_part [ REPO|CACHE ] image_name extension  "
374    return $?
375fi
376
377ORIG=$(ogMount $1 $2) || return $?
378
379DIRMOUNT="$(ogGetMountImageDir "$4" $5)"
380# Si la imagen es diferencial la lista de ficheros a transferir esta dentro de la imagen.
381if [ "$5" == "diff" ]; then
382        FILESFROM=" --files-from=/tmp/ogimg.info"
383        # Borramos los directorios
384        sed -i '/\/$/d' /tmp/ogimg.info
385else
386        FILESFROM=""
387fi
388
389if [ "$3" == "CACHE" -o "$3" == "cache" ]; then
390        DESTRSYNC="/tmp/$DIRMOUNT"
391else
392        [ -z $REPOIP ] && REPOIP=$(ogGetRepoIp)
393        PASSWORD="--password-file=/scripts/passrsync"
394        [ "$ogrsyncz" ==  "true" ] && OPTRSYNC="z "
395        [ "$ogrsyncw" == "true" ] && OPTRSYNC="W$OPTRSYNC"
396        USERRSYNC="opengnsys"
397        DESTRSYNC="$USERRSYNC@$REPOIP::ogimages/$DIRMOUNT"
398fi
399# Sincronizamos los datos de la partición a la imagen
400echo "      rsync -aHAX$OPTRSYNC --progress --inplace --delete $FILESFROM  $ORIG/ $DESTRSYNC"
401rsync -aHAX$OPTRSYNC $PASSWORD --progress --inplace --delete $FILESFROM  "$ORIG/" "$DESTRSYNC" 2>$OGLOGCOMMAND | egrep "^deleting|^sent|^sending|^total|%" |tee -a $OGLOGCOMMAND
402RETVAL=${PIPESTATUS[0]}
403echo "      rsync -aHAX$OPTRSYNC --inplace /tmp/ogimg* $DESTRSYNC"
404rsync -aHAX$OPTRSYNC  $PASSWORD  --inplace /tmp/ogimg* "$DESTRSYNC"
405
406return $RETVAL
407}
408
409
410#/**
411# ogSyncRestore
412#@brief   sincroniza los datos de la imagen a la partición para restaurarla.
413#@param 1 Repositorio  [ REPO | CACHE ]
414#@param 2 Nombre Imagen
415#@param 3 Tipo imagen [ img | diff ]
416#@param 4 num_disk
417#@param 5 num_part
418#*/
419function ogSyncRestore () {
420local DIRMOUNT ORIG DESTRSYNC PASSWORD OPTRSYNC USERRSYNC IMGINFO FILESFROM
421
422# Limpiamos los archivo de log
423echo  "" >$OGLOGCOMMAND;
424
425if [ "$*" == "help" ]; then
426        ogHelp  "$FUNCNAME": "$MSG_HELP_ogSyncRestore" \
427                "$FUNCNAME [ REPO|CACHE ] image_name extension  num_disk num_part  " \
428                "$FUNCNAME REPO Ubuntu12 img 1 2" \
429                "$FUNCNAME CACHE Windows7 diff 1 1"
430        return
431fi
432
433
434if [ $# -lt 5 ]; then
435    ogRaiseError $OG_ERR_FORMAT "$MSG_FORMAT: $FUNCNAME  [ REPO|CACHE ] image_name extension   num_disk num_part "
436    return $?
437fi
438
439
440DIRMOUNT="$(ogGetMountImageDir "$2" "$3")"
441DESTRSYNC=$(ogGetMountPoint $4 $5)
442
443# Borramos ficheros de informacion de restauraciones antiguas
444rm -rf $DESTRSYNC/ogimg.*
445
446# Origen y destino de la sincronizacion y en REPO opciones rsync
447if [ "$1" == "CACHE" -o "$1" == "cache" ]; then
448        ORIG="/tmp/$DIRMOUNT"
449else
450        [ -z $REPOIP ] && REPOIP=$(ogGetRepoIp)
451        PASSWORD="--password-file=/scripts/passrsync"
452        [ "$ogrsyncz" ==  "true" ] && OPTRSYNC="z "
453        [ "$ogrsyncw" == "true" ] && OPTRSYNC="W$OPTRSYNC"
454        USERRSYNC="opengnsys"
455        ORIG="$USERRSYNC@$REPOIP::ogimages/$DIRMOUNT"
456fi
457
458# Opciones rsync en cache y repo
459# Para la imagen basica, opcion de borrar archivos de la particion que no existen en la imagen
460[ "$3" == "img" ] && [ "$ogrsyncdel" != "false" ] && OPTRSYNC="$OPTRSYNC --delete"
461
462# Nos traemos listado ficheros y bajamos la imagen
463
464ogEcho log session "      $MSG_SYNC_RESTORE"
465
466# Si la imagen es diferencial nos traemos los archivos de informacion de la imagen.
467if [ "$3" == "diff" ]; then
468        # Lista de archivos a copiar:
469        IMGINFO="ogimg.info"
470        FILESFROM=" --files-from=$DESTRSYNC/$IMGINFO"
471
472        echo "      rsync -aHAX$OPTRSYNC --progress  $ORIG/ogimg* $DESTRSYNC"
473        rsync -aHAX$OPTRSYNC $PASSWORD --progress  "$ORIG"/ogimg* $DESTRSYNC
474        # Borramos linea de información de la imagen, sino busca un fichero con ese nombre
475        sed -i   '/^\#/d' $DESTRSYNC/$IMGINFO
476
477        cd $DESTRSYNC
478        # Diferencial: Borramos archivos sobrantes.
479        ogEcho log session "      $MSG_SYNC_DELETE" 
480        cat "$DESTRSYNC/ogimg.rm" 2>/dev/null | xargs rm -rf
481
482fi
483
484echo "      rsync -aHAX$OPTRSYNC --progress  $FILESFROM  $ORIG/ $DESTRSYNC"
485rsync -aHAX$OPTRSYNC $PASSWORD --progress  $FILESFROM  "$ORIG/" "$DESTRSYNC"  2>$OGLOGCOMMAND | egrep "^deleting|^sent|^sending|^total|%"  |tee -a $OGLOGCOMMAND
486return ${PIPESTATUS[0]}
487
488}
489
490function ogMountImage () {
491#/**
492# ogMountImage
493#@brief   Monta la imagen para sincronizar.
494#@param 1 Repositorio  [ REPO | CACHE ]
495#@param 2 Nombre Imagen
496#@param 3 Tipo imagen [ img |diff ]
497#@return punto de montaje
498#*/
499local IMGEXT IMGFILE DIRMOUNT KERNELVERSION
500
501if [ "$*" == "help" ]; then
502        ogHelp "$FUNCNAME": "$MSG_HELP_ogMountImage" \
503                "$FUNCNAME [ REPO|CACHE ] image_name [ extension ]" \
504                "$FUNCNAME REPO Ubuntu12" \
505                "$FUNCNAME CACHE Windows7 diff"
506        return
507fi
508
509
510if [ $# -lt 2 ]; then
511    ogRaiseError $OG_ERR_FORMAT "$MSG_FORMAT: $FUNCNAME [ REPO|CACHE ]  image_name [ extension ]"
512    return $?
513fi
514
515[ "$3" == "" -o "$3" == "img" ] && IMGEXT="img" || IMGEXT="img.diff"
516
517DIRMOUNT="$(ogGetMountImageDir "$2" ${IMGEXT#*\.})"
518
519if [ "$1" == "REPO" -o "$1" == "repo" ]; then
520        [ -z $REPOIP ] && REPOIP=$(ogGetRepoIp)
521        hose $REPOIP 2009 --out sh -c "echo -ne MOUNT_IMAGE \"$2\" ${IMGEXT#*\.}"
522        echo "$OGIMG/$DIRMOUNT"
523else
524        # Si está montado nada que hacer.
525        df | grep "$DIRMOUNT$" 2>&1 >/dev/null && echo "/tmp/$DIRMOUNT" && return 0
526
527        IMGFILE="$(ogGetPath "$1" /"$2.$IMGEXT")" \
528                || return $(ogRaiseError $OG_ERR_NOTFOUND "$1 $2.$IMGEXT"; echo $?)
529        mkdir -p "/tmp/$DIRMOUNT"
530       
531        # FS de la imagen segun la version del kernel: < 3.7 ext4, si >=  btrfs
532        KERNELVERSION=$(uname -r| awk '{printf("%d",$1);sub(/[0-9]*\./,"",$1);printf(".%02d",$1)}')
533        if [ $KERNELVERSION \< 3.07 ]; then
534            mount -t ext4 -o loop "$IMGFILE" "/tmp/$DIRMOUNT" 1>/dev/null
535        else
536            mount -o compress=lzo  "$IMGFILE" "/tmp/$DIRMOUNT" 1>/dev/null
537        fi
538
539        # Comprobamos que se ha montado bien
540        [ $? -eq 0 ] || return $(ogRaiseError $OG_ERR_DONTMOUNT_IMAGE "$1 $2 $3"; echo $?)
541        echo "/tmp/$DIRMOUNT"
542fi
543
544}
545
546
547
548
549
550function ogUnmountImage () {
551#/**
552# ogUnmountImage  [ REPO | CACHE ] Image_name [ extension ]
553#@brief   Desmonta la imagen para sincronizar.
554#@param 1 Repositorio  [ REPO | CACHE ]
555#@param 2 Nombre Imagen
556#@param 3 Tipo imagen [ img |diff ]
557#*/
558local IMGTYPE DIRMOUNT
559
560if [ "$*" == "help" ]; then
561    ogHelp "$FUNCNAME": "$MSG_HELP_ogUnmountImage" \
562                "$FUNCNAME [ REPO|CACHE ] image_name [ extension ]" \
563                "$FUNCNAME REPO Ubuntu12" \
564                "$FUNCNAME CACHE Windows7 diff"
565    return
566fi
567
568if [ $# -lt 2 ]; then
569    ogRaiseError $OG_ERR_FORMAT "$MSG_FORMAT: $FUNCNAME  [ REPO|CACHE ]  image_name [ extension ]"
570    return $?
571fi
572
573[ "$3" == "" ] && IMGTYPE="img" || IMGTYPE="$3"
574
575if [ "$1" == "CACHE" -o "$1" == "cache" ]; then
576        DIRMOUNT="/tmp/$(ogGetMountImageDir "$2" $IMGTYPE)"
577        umount "$DIRMOUNT"
578        rmdir "$DIRMOUNT"
579        [ -f $IMGFILE.lock ] && sed -i s/"mounted"//g $IMGFILE.lock
580else
581        [ -z $REPOIP ] && REPOIP=$(ogGetRepoIp)
582        echo "      hose $REPOIP 2009 --out sh -c echo -ne UMOUNT_IMAGE \"$2\" $IMGTYPE"
583        hose $REPOIP 2009 --out sh -c "echo -ne UMOUNT_IMAGE \"$2\" $IMGTYPE"
584fi
585
586}
587
588function ogGetMountImageDir () {
589#/**
590# ogGetMountImageDir
591#@brief   Devuelve el directorio de montaje de la imagen.
592#@param 1 Nombre Imagen
593#@param 2 Tipo imagen [ img |diff ]
594#*/
595local DIRMOUNT
596if [ "$*" == "help" ]; then
597    ogHelp "$FUNCNAME": "$MSG_HELP_ogGetMountImageDir" \
598                "$FUNCNAME image_name [ extension ]" \
599                "$FUNCNAME Ubuntu12" \
600                "$FUNCNAME Windows7 diff"
601    return
602fi
603
604
605if [ $# -lt 1 ]; then
606    ogRaiseError $OG_ERR_FORMAT "$MSG_FORMAT: $FUNCNAME image_name [ extension ]"
607    return $?
608fi
609
610
611DIRMOUNT="mount/$1"
612[ "$2" == "diff" ] && DIRMOUNT="$DIRMOUNT.diff"
613echo "$DIRMOUNT"
614
615
616}
617
618
619#/**
620#  ogWaitSyncImage image_name extension stado imagen_size
621#@brief Se espera un tiempo a que se monte la imagen en el servidor.
622#@brief Cuando se esta creando la imagen hay que dar el tamaño, para que espere el tiempo de creación. 
623#@param 1 Respositorio [ REPO | CACHE ]
624#@param 2 Nombre Imagen
625#@param 3 Tipo imagen [ img | diff ]
626#@param 4 Estado [ mounted | reduced ]
627#@param 5 Tamaño imagen (opcional)
628#*/
629function ogWaitSyncImage () {
630local SIZE TIME DIRMOUNT TIMEOUT TIMEAUX LOCKFILE IMGDIR IMGEXT STATE
631
632TIME=$SECONDS
633
634# Ayuda o menos de 5 parametros y la imagen no es basica
635if [ "$*" == "help" ]; then
636        ogHelp  "$FUNCNAME": "$MSG_HELP_ogWaitMountImage" \
637                "$FUNCNAME [ REPO | CACHE ] image_name extension state [ image_size ] " \
638                "$FUNCNAME REPO Ubuntu12 img 30000000" \
639                "$FUNCNAME CACHE Windows7 diff "
640        return
641fi
642
643if [ $# -lt 4 ]; then
644    ogRaiseError $OG_ERR_FORMAT "$MSG_FORMAT: $FUNCNAME [ REPO | CACHE ]  image_name extension state [ image_size ] "
645    return $?
646fi
647
648SIZE=${5:-"300000"}
649STATE="$4"
650ogCheckStringInGroup "$STATE" "mounted reduced" || \
651        return $(ogRaiseError  command $OG_ERR_FORMAT "STATE = [ mounted | reduced  ]" )
652
653IMGDIR="$(ogGetParentPath "$1" "/$2")"
654[ "$3" == "img" ] && IMGEXT="img" ||  IMGEXT="img.diff"
655LOCKFILE="${IMGDIR}/$(basename "/$2").$IMGEXT.lock"
656
657if [ "$1" == "CACHE" -o "$1" == "cache" ]; then
658        DIRMOUNT="/tmp/$(ogGetMountImageDir "$2" $3)"
659else
660        DIRMOUNT="$OGIMG/$(ogGetMountImageDir "$2" $3)"
661fi
662
663echo -n -e "      $MSG_SYNC_SLEEP: $DIRMOUNT\n      #"  | tee -a $OGLOGSESSION $OGLOGFILE
664
665# Comprobamos: mounted -> que exista $DIRMOUNT/ogimg.info o que el fichero de lock contenga mounted
666#              reduced -> que el fichero de lock contenga reduced.
667
668# time-out segun el tamaño de la imagen. por defecto: 100000k -> 3s
669let TIMEOUT=$SIZE/$CREATESPEED
670[ $TIMEOUT -lt 60 ] && TIMEOUT=60
671until $(grep -i $STATE $LOCKFILE &>/dev/null) ; do
672        [ $STATE = "mounted" -a -f "$DIRMOUNT/ogimg.info" ] && ogEcho session "" && return 0
673        TIMEAUX=$[SECONDS-TIME]
674        [  "$TIMEAUX" -lt "$TIMEOUT" ] || return $(ogRaiseError $OG_ERR_DONTMOUNT_IMAGE "$3 $4 $IMGEXT: time_out."; echo $?)
675        echo -n "#"  | tee -a $OGLOGSESSION $OGLOGFILE
676        sleep 5
677done
678echo  "" | tee -a $OGLOGSESSION $OGLOGFILE
679
680}
681
682
683function ogReduceImage () {
684#/**
685# ogReduceImage
686#@brief   Reduce el archivo de la imagen a tamaño datos + 500M
687#@param 1 Repositorio  [ REPO | CACHE ]
688#@param 2 Nombre Imagen
689#@param 3 Tipo Imagen [ img |diff ]
690#@return
691#@exception OG_ERR_FORMAT     # 1 formato incorrecto.
692#@exception OG_ERR_NOTFOUND        # 2 Fichero o dispositivo no encontrado.
693#*/
694local IMGEXT DIRMOUNT AVAILABLE USED IMGDIR IMGFILE ENDSIZE LOOPDEVICE
695if [ "$*" == "help" ]; then
696    ogHelp "$FUNCNAME": "$MSG_HELP_ogReduceImage" \
697                "$FUNCNAME [ REPO|CACHE ] image_name [ extension ]" \
698                "$FUNCNAME REPO Ubuntu12" \
699                "$FUNCNAME CACHE Windows7 diff"
700    return
701fi
702
703if [ $# -lt 2 ]; then
704    ogRaiseError $OG_ERR_FORMAT "$MSG_FORMAT: $FUNCNAME [ REPO|CACHE ] image_name [ extension ]"
705    return $?
706fi
707
708
709[ "$3" == "" -o "$3" == "img" ] && IMGEXT="img" || IMGEXT="img.diff"
710IMGDIR="$(ogGetParentPath "$1" "/$2")"
711IMGFILE="${IMGDIR}/$(basename "/$2").$IMGEXT"
712
713# Solo es posible para imagenes EXT4. Si no es EXT4 salimos sin error
714file "$IMGFILE" | grep -i " ext4 filesystem " 2>&1 > /dev/null || return 0
715
716if [ "$1" == "CACHE" -o "$1" == "cache" ]; then
717        # Al montar se comprueba la existencia de la imagen
718        DIRMOUNT="$(ogMountImage $1 "$2" ${IMGEXT#*\.})"
719        AVAILABLE=$(df -k|grep "$DIRMOUNT$"|awk '{print $4}')
720        # Si el espacio libre menor que 500Mb nos salimos
721        if [ $AVAILABLE -lt 200000 ]; then
722                ogUnmountImage $1 "$2" ${IMGEXT#*\.}
723                echo "reduced" > "$IMGFILE.lock"
724                return 0
725        fi
726
727        # Calculamos la diferencia entre el tamaño interno y externo
728        EXTSIZE=$(ls -l --block-size=1024 "$IMGFILE" | cut -f5 -d" ")
729        INTSIZE=$(df -k|grep "$DIRMOUNT"|awk '{print $2}')
730        let EDGESIZE=$EXTSIZE-$INTSIZE
731        ogUnmountImage $1 "$2" ${IMGEXT#*\.}
732        LOOPDEVICE=$(losetup -f)
733        losetup $LOOPDEVICE "$IMGFILE"
734
735        # Redimensiono sistema de ficheros
736        echo "      resize2fs -fpM $LOOPDEVICE"
737        resize2fs -fpM $LOOPDEVICE |tee -a $OGLOGCOMMAND
738        ogMountImage $1 "$2" ${IMGEXT#*\.} >/dev/null
739
740        # Calculamos el tamaño final del archivo
741        INTSIZE=$(df -k|grep "$DIRMOUNT"|awk '{print $2}')
742        let EXTSIZE=$INTSIZE+$EDGESIZE
743        umount "$DIRMOUNT"
744
745        # Si existe dispositivo de loop lo borro.
746        [ $LOOPDEVICE ] && losetup -d $LOOPDEVICE
747
748        # Corto el archivo al tamaño del sistema de ficheros.
749        echo "      truncate --size=\"$EXTSIZE\"k $IMGFILE  "
750        truncate --size="$EXTSIZE"k "$IMGFILE"
751
752        # Desmonto  la imagen
753        echo "reduced" > "$IMGFILE.lock"
754        rmdir "$DIRMOUNT"
755
756else
757        [ -z $REPOIP ] && REPOIP=$(ogGetRepoIp)
758        echo "      hose $REPOIP 2009 --out sh -c echo -ne REDUCE_IMAGE \"$2\" ${IMGEXT#*\.}"
759        hose $REPOIP 2009 --out sh -c "echo -ne REDUCE_IMAGE \"$2\" ${IMGEXT#*\.}"
760fi
761
762
763}
764
765
766
767function ogIsSyncImage () {
768#/**
769# ogIsSyncImage
770#@brief   Comprueba si la imagen es sincronizable
771#@param 1 Repositorio  [ REPO | CACHE ]
772#@param 2 Nombre Imagen
773#@param 3 Tipo Imagen [ img |diff ]
774#@return
775#@exception OG_ERR_FORMAT     # 1 formato incorrecto.
776#@exception OG_ERR_NOTFOUND        # 2 Fichero o dispositivo no encontrado.
777#*/
778local IMGEXT IMGDIR IMGFILE
779
780if [ "$*" == "help" ]; then
781    ogHelp "$FUNCNAME": "$MSG_HELP_ogIsSyncImage" \
782                "$FUNCNAME [ REPO|CACHE ] image_name [ extension ]" \
783                "$FUNCNAME REPO Ubuntu12" \
784                "$FUNCNAME CACHE Windows7 diff"
785    return
786fi
787
788if [ $# -lt 2 ]; then
789    ogRaiseError $OG_ERR_FORMAT "$MSG_FORMAT: $FUNCNAME [ REPO|CACHE ] image_name [ extension ]"
790    return $?
791fi
792
793[ "$3" == "" -o "$3" == "img" ] && IMGEXT="img" || IMGEXT="img.diff"
794IMGDIR="$(ogGetParentPath "$1" "/$2")"
795IMGFILE="${IMGDIR}"/$(basename "/$2").$IMGEXT
796
797file "$IMGFILE" | grep -i -e " BTRFS Filesystem " -e " ext4 filesystem " >/dev/null
798[ $? -eq 0 ] && return 0 || return $OG_ERR_DONTSYNC_IMAGE
799
800
801}
802
803#/**
804# ogCheckSyncImage
805#@brief   Muestra el contenido de la imagen para comprobarla.
806#@param 1 Repositorio  [ REPO | CACHE ]
807#@param 2 Nombre Imagen
808#@param 3 Tipo Imagen [ img |diff ]
809#@return
810#@exception OG_ERR_FORMAT     # 1 formato incorrecto.
811#@exception OG_ERR_NOTFOUND        # 2 Fichero o dispositivo no encontrado.
812#*/
813function ogCheckSyncImage () {
814local IMGEXT  IMGDIR  IMGFILE DIRMOUNT ISMOUNT RETVAL KERNELVERSION
815
816if [ "$*" == "help" ]; then
817    ogHelp "$FUNCNAME":  "$MSG_HELP_ogCheckSyncImage" \
818                "$FUNCNAME [ REPO|CACHE ] image_name [ extension ]" \
819                "$FUNCNAME REPO Ubuntu12" \
820                "$FUNCNAME CACHE Windows7 diff"
821    return
822fi
823
824if [ $# -lt 2 ]; then
825    ogRaiseError $OG_ERR_FORMAT "$MSG_FORMAT: $FUNCNAME [ REPO|CACHE ] image_name [ extension ]"
826    return $?
827fi
828
829[ "$3" == "" -o "$3" == "img" ] && IMGEXT="img" || IMGEXT="img.diff"
830IMGDIR="$(ogGetParentPath "$1" "/$2")"
831IMGFILE="${IMGDIR}/$(basename "/$2").$IMGEXT"
832
833ogIsSyncImage $1 "$2" "${IMGEXT#*\.}" || return $(ogRaiseError $OG_ERR_DONTSYNC_IMAGE "$3 $4"; echo $?)
834
835# Comprobamos que no esté montada (daria falso error)
836if [ "$1" == "CACHE" -o "$1" == "cache" ]; then
837        $(df | grep "/tmp/mount/$2${IMGEXT#img}$" &>/dev/null) && ISMOUNT=TRUE
838else
839        [ -f "$OGIMG/mount/$2${IMGEXT#img}/ogimg.info" ] && ISMOUNT=TRUE
840fi
841[ "$ISMOUNT" == TRUE ] && ogEcho session warning "$MSG_SYNC_NOCHECK" && return 0
842
843DIRMOUNT="/tmp/ogCheckImage$$"
844mkdir "$DIRMOUNT"
845# FS de la imagen segun la version del kernel: < 3.7 ext4, si >=  btrfs
846KERNELVERSION=$(uname -r| awk '{printf("%d",$1);sub(/[0-9]*\./,"",$1);printf(".%02d",$1)}')
847if [ $KERNELVERSION \< 3.07 ]; then
848        mount -t ext4 -o loop "$IMGFILE" "$DIRMOUNT" 2>&1 | tee -a $OGLOGCOMMAND
849        RETVAL=${PIPESTATUS[0]}
850else
851        mount -o compress=lzo  "$IMGFILE" "$DIRMOUNT" 2>&1 | tee -a $OGLOGCOMMAND
852        RETVAL=${PIPESTATUS[0]}
853fi
854ls -C "$DIRMOUNT" | tee -a $OGLOGCOMMAND
855umount "$DIRMOUNT"
856
857rmdir "$DIRMOUNT"
858return $RETVAL
859}
Note: See TracBrowser for help on using the repository browser.