source: client/shared/scripts/updateCache @ 7d09bd7

918-git-images-111dconfigfileconfigure-oglivegit-imageslgromero-new-oglivemainmaint-cronmount-efivarfsmultivmmultivm-ogboot-installerogClonningEngineogboot-installer-jenkinsoglive-ipv6test-python-scriptsticket-301ticket-50ticket-50-oldticket-577ticket-585ticket-611ticket-612ticket-693ticket-700ubu24tplunification2use-local-agent-oglivevarios-instalacionwebconsole3
Last change on this file since 7d09bd7 was ce678a0, checked in by irina <irinagomez@…>, 8 years ago

#781 deploy con multicast: Si timeout para error multicast es menor que tiempo de espera del servidor lo aumento. ogAdmRepoAux: Se corrige errata al llamar a sendMcastFile

git-svn-id: https://opengnsys.es/svn/branches/version1.1@5413 a21b9725-9963-47de-94b9-378ad31fedc9

  • Property mode set to 100755
File size: 12.5 KB
RevLine 
[914d834]1#!/bin/bash
[841ce50]2#/**
3#         updateCache
4#@brief   Actualiza la cache del cliente con imagen o fichero iso.
5#@param 1 REPO          Origen del fichero. -accesible por nfs-samba-
[a323383]6#@param 2 str_fichero   nombre del fichero a actualizar.
[841ce50]7#@param 3 str_protoco.  TORRENT | MULTICAST    | UNICAST.
8#@param 4 str_opcionesprotocolo
9#@param 4 str_opcionesupdatecache
10#@ejemplo: oneRemoteFromMaster 172.17.36.11 CACHE /imagen1 9000:full-duplex:239.194.17.36:70M:50:100 1 1 partclone lzop
11#@return 
[9cd6cd3]12#@exception OG_ERR_FORMAT       formato incorrecto.
13#@exception OG_ERR_NOTCACHE     No existe cache -15-
14#@exception $OG_ERR_CACHESIZE   Tamaño de la paticion menor al archivo a descargar -16-
[0dcf48a]15#@exception $OG_ERR_MCASTRECEIVERFILE  Error en la recepción Multicast de un fichero -57-
16#@exception $OG_ERR_PROTOCOLJOINMASTER Error en la conexión de una sesión Unicast|Multicast con el Master -60-
[841ce50]17#@note   
18#@todo:
19#@version 0.9.1 - integracion EAC
20#@author  Antonio J. Doblas Viso. Universidad de Malaga.
21#@date    2008/03/17
22#@version 0.9.2 - integracion OpenGnsys
23#@author  Antonio J. Doblas Viso. Universidad de Malaga.
24#@date    2010/07/27
[1547c12]25#@version 1.0.1 - Control de espacio requerido
26#@author  Antonio J.Doblas Viso
27#@date   2011-05-10
[cad1e1b]28#@version 2.0.1 - Imagenes sincronizadas
29#@date    2013-02-20
[bd31f51]30#@version 1.0.5 - uso de md5 full para las transferencias torrent, en la llamada => ogUpdateCacheIsNecesary
31#@date    2014-07-09
[fe6843b]32#@version 1.1 - Cambio de repositorio para el recurso remoto images si es necesario
33#@author  Irina Gomez, ETSII Universidad de Sevilla
34#@date    2015-06-16
[0dcf48a]35#@version 1.1 - Control de errores en transferencia multicast (ticket #781)
36#@author  Irina Gomez, ETSII Universidad de Sevilla
37#@date    2017/04/20
[841ce50]38#*/ ##
[914d834]39
40PROG="$(basename $0)"
[cea6d44]41if [ $# -lt 3 ]; then
[64cf3d3]42    ogRaiseError session $OG_ERR_FORMAT "$MSG_FORMAT: $PROG str_REPO _str_Relative_Path_OGIMG_with_/ PROTOCOLO OPCIONES_PROTOCOLO OPCIONES_UPDATECACHE"
[30ad471]43    exit $?
[914d834]44fi
45
[9cd6cd3]46#Carga del configurador del engine
47[ -z $OGENGINECONFIGURATE ] && source /opt/opengnsys/etc/engine.cfg
48
[4fcbcc8]49# Clear temporary file used as log track by httpdlog
50# Limpia los ficheros temporales usados como log de seguimiento para httpdlog
51echo " " > $OGLOGCOMMAND
[30ad471]52[ "$(ogGetCaller)" == "deployImage" -o "$(ogGetCaller)" == "restoreBaseImage" -o "$(ogGetCaller)" == "restoreDiffImage" ] || echo -n "" > $OGLOGSESSION;
[4fcbcc8]53
[cc6ee0b]54REPOSITORIO="${1^^}"
55PROTOCOLO="${3^^}"
[a323383]56OPTPROTOCOLO="$4"
[ce678a0]57# Si MCASTWAIT menos que tiempo de espera del servidor lo aumento
58if [ "${PROTOCOLO%-*}" == "MULTICAST" ] && [[ ${OPTPROTOCOLO##*:} =~ ^-?[0-9]+$  ]]; then
59    [ ${MCASTWAIT:0} -lt ${OPTPROTOCOLO##*:} ] && let MCASTWAIT=${OPTPROTOCOLO##*:}+5
60fi
61
[dc157ae]62# Unidad organizativa.
63[ "$ogunit" != "" ] && OGUNIT="$ogunit/"
64
[fe6843b]65# Si es una ip y es distinta a la del recurso samba cambiamos de REPO.
66ogCheckIpAddress $REPOSITORIO
67if [ $? == 0 -o $REPOSITORIO == "REPO" ] ; then
68        # Si falla el cambio -> salimos con error repositorio no valido
[dc157ae]69        ogChangeRepo $REPOSITORIO $OGUNIT || exit $(ogRaiseError $OG_ERR_NOTFOUND $REPOSITORIO; echo $?)
[fe6843b]70        REPOSITORIO="REPO"
71fi
[9b6e62c]72REPOIP=$(ogGetRepoIp)
[64cf3d3]73ogEcho log session  $REPOSITORIO $REPOIP $PROTOCOLO $OPTPROTOCOLO
[4371552]74
[9cd6cd3]75# Si el repositorio local CACHE no existe error 15.
[914d834]76if ! $(ogFindCache >/dev/null); then
[64cf3d3]77        ogRaiseError session $OG_ERR_NOTCACHE "CACHE"
[167b8d5]78        exit $?
[914d834]79fi
80
[4fe77e0]81# comprobar si la imagen existe (.img, .img.diff o directorio)
[64cf3d3]82REPOFILE=$(ogGetPath "REPO" "/$2") || exit $(ogRaiseError session $OG_ERR_NOTFOUND "REPO /$2"; echo $?)
[cad1e1b]83
[e7e3140]84ogEcho log session "$MSG_SCRIPTS_UPDATECACHE_DOUPDATE"
[04f50f0]85# Distingo si es monolitica o sincronizable
[4fe77e0]86file "$REPOFILE" | grep -i -e " BTRFS Filesystem " -e " ext4 filesystem " -e " directory" 2>&1 > /dev/null
[04f50f0]87if [ $? == 0 ]; then
[f456755]88        IMGSYNC=TRUE
89        # Para imagen sincronizada, si hay imagen en cache siempre protocolo = rsync.
[654d744]90        CACHEFILE="$(ogGetPath "CACHE" "/$2")"  && PROTOCOLO="RSYNC"
[4fe77e0]91        # Si es sincronizada tipo directorio  siempre protocolo = rsync.
92        [ -d $REPOFILE ] && PROTOCOLO="RSYNC" && IMGTYPE="dir"
[04f50f0]93
94        # Si es imagen sincronizada siempre da distinto md5. No podemos comprobar -> actualizamos.
95        RETVAL=0
96else
[f456755]97        # Si la imagen es monolitica y ha elegido protocolo = RSYNC salimos con error.
[64cf3d3]98        [ $PROTOCOLO == "RSYNC" ] && exit $(ogRaiseError session $OG_ERR_DONTSYNC_IMAGE "REPO $2"; echo $?)
[f456755]99        IMGSYNC=FALSE
[fe6843b]100        ogUpdateCacheIsNecesary "$REPOSITORIO" "$2" "$PROTOCOLO"
[04f50f0]101        RETVAL=$?
102fi
[db8fdd2]103# si RETVAL=0 => actualizamos  si RETVAL=1 no actaulizasmo-exit 0  || si RETVAL>2 exit 1
104[ "$RETVAL" == "1" ] && exit 0
[167b8d5]105[ "$RETVAL" -gt  "1" ] && exit $OG_ERR_UPDATECACHE
[db8fdd2]106
[64cf3d3]107ogEcho log session  "$MSG_SCRIPTS_UPDATECACHE_CHECKSIZECACHE"
[9cd6cd3]108CACHESIZE=$(ogGetCacheSize)
[914d834]109CACHESIZEFREE=$(ogGetFreeSize `ogFindCache`)
[a323383]110FILESIZE=$(ls -sk $(ogGetPath $REPOSITORIO "$2") | cut -f1 -d" ")
[4fe77e0]111if [ "$IMGTYPE" == "dir" ]; then
[e7e3140]112        ogEcho log session "   * $MSG_SCRIPTS_UPDATECACHE_CHECKSIZEDIR"
113        ogEcho log session "     du -sk $REPOFILE"
[4fe77e0]114        REALFILESIZE=$(du -sk "$REPOFILE"|awk '{print $1}')
115else
116        REALFILESIZE=$(ls -l --block-size=1024 $REPOFILE | cut -f5 -d" ")
117fi
[914d834]118
[cad1e1b]119# La sincronizada, si existe la imagen en cache el espacio necesario
120#        es la nueva menos lo que ocupa la que ya hay.
121if [ "$PROTOCOLO" == "RSYNC" ]; then
[f456755]122        if [ "$CACHEFILE" == "" ]; then
123                CACHEFILESIZE=0
124        else
[4fe77e0]125           if [ "$IMGTYPE" == "dir" ]; then
[e7e3140]126                ogEcho log session "   * $MSG_SCRIPTS_UPDATECACHE_CHECKSIZEDIR $CACHEFILESIZE"
127                ogEcho log session "     du -sk $CACHEFILE"
[4fe77e0]128                CACHEFILESIZE=$(du -sk $CACHEFILE |awk '{print $1}')
129           else
[f456755]130                CACHEFILESIZE=$(ls -l --block-size=1024 "$CACHEFILE" | cut -f5 -d" ")
[4fe77e0]131           fi
[f456755]132        fi
133        let SIZEREQUIRED=$REALFILESIZE-$CACHEFILESIZE
[cad1e1b]134        [ $SIZEREQUIRED -lt 0 ] && SIZEREQUIRED=0
135else
136        SIZEREQUIRED=$FILESIZE
137fi
[9cd6cd3]138
[1a2fa9d8]139#ERROR CACHESIZE 16 (tamanyo de la CACHE insuficiente)
[cad1e1b]140if [ "$SIZEREQUIRED" -ge "$CACHESIZE" ] 
[914d834]141then
[e7e3140]142        ogEcho log session "$MSG_WARNING: $MSG_ERR_CACHESIZE:  $2 = $SIZEREQUIRED > CACHE = $CACHESIZE"
[64cf3d3]143        ogRaiseError session $OG_ERR_CACHESIZE "CACHE"
[30ad471]144        exit $?
[914d834]145fi
146
[1a2fa9d8]147
148#ERROR CACHESIZE 16 (Espacio libre en CACHE insuficiente)
[cad1e1b]149if [ "$SIZEREQUIRED" -ge "$CACHESIZEFREE" ] 
[9cd6cd3]150then
[1a2fa9d8]151    ogEcho log session "$MSG_SCRIPTS_UPDATECACHE_IFNOTCACHEDO: ACTIONCACHEFULL=$ACTIONCACHEFULL"
[cc6ee0b]152        case "$ACTIONCACHEFULL" in
[9cd6cd3]153        NONE)
[1a2fa9d8]154                ogEcho log session "$MSG_WARNING: $MSG_ERR_CACHESIZE:  $2 = $SIZEREQUIRED > FREE SPACE CACHE = $CACHESIZEFREE"
155                ogRaiseError session $OG_ERR_CACHESIZE "CACHE FULL, NO SPACE FREE"
156                exit $?
[9cd6cd3]157        ;;
158        FORMAT)
[e7e3140]159            ogEcho log session  "[51] $MSG_HELP_ogFormatCache "
[9cd6cd3]160            ogUnmountCache
161            ogFormatCache
162            ogMountCache
163            NEXTOPERATION=REPEAT
164        ;;
165        DELETE)
[e7e3140]166            ogEcho log session "[51] #MSG_HELP_ogDeleteTree $OGCAC$OGIMG/* "
[9cd6cd3]167            rm -fr  $OGCAC$OGIMG/*
168            NEXOPERATION=REPEAT
169        ;;
170        *)
[e7e3140]171                ogEcho log session "$MSG_WARNING: $MSG_ERR_CACHESIZE:  $2 = $FILESIZE > CACHE = $CACHESIZEFREE"
[64cf3d3]172                ogRaiseError session $OG_ERR_CACHESIZE "CACHE"
[30ad471]173                exit $?
[9cd6cd3]174        ;;
175        esac   
176fi
177
[04f50f0]178# Comprobamos que imagen cache igual a la del repo. Si sincronizada no podemos comprobar.
[bd31f51]179[ "$IMGSYNC" == "TRUE" ] || ogUpdateCacheIsNecesary $REPOSITORIO "$2" "$PROTOCOLO"
[cad1e1b]180RETVAL=$?
[db8fdd2]181# si RETVAL=0 => actualizamos  si RETVAL=1 no actaulizasmo-exit 0  || si RETVAL>2 exit 1
182[ "$RETVAL" == "1" ] && exit 0
[167b8d5]183[ "$RETVAL" -gt  "1" ] && exit $OG_ERR_UPDATECACHE
[914d834]184
[a323383]185ogMountCache >/dev/null
[914d834]186
187## Si no existe, crear subdirectorio para el fichero en la cache.
[a323383]188IMGDIR=$(ogGetParentPath CACHE "/$2")
[914d834]189if [ $? != 0 ]; then
[e7e3140]190    ogEcho log session "[5] $MSG_HELP_ogMakeDir  \"$2 $(dirname "$2")."
[a323383]191    ogMakeDir CACHE $(dirname "/$2")
192    IMGDIR=$(ogGetParentPath CACHE "/$2") || exit $?
[914d834]193fi
194
[0c42ccf]195TIME1=$SECONDS
[914d834]196
197case "$PROTOCOLO" in
[cc6ee0b]198        TORRENT)
[fe6843b]199                ogEcho log session "ogCopyFile $REPOSITORIO $2.torrent absolute $OGCAC/$OGIMG"
[ec051d0]200                # tiempos
201                timewait=$(expr $(printf '%d\n' 0x$(ogGetMacAddress | awk -F: '{print $5$6}')) \* 120 / 65535)                         
[9a1df17]202                ogExecAndLog command ogCopyFile $REPOSITORIO "$2.torrent" "$IMGDIR"
[9b6e62c]203                #TODO: comprobar que el tracker definido en el fichero es correcto.
[cad1e1b]204                #TODO comprobar que el fichero torrent está en cache
[ec051d0]205                # retardamos el inicio -aleatorio de 0 a 120 segundos- al tracker para gestionar mas de +-40 equipos
206                P2PWAIT=$[ ( $RANDOM % 120 )  + 1 ]
[e7e3140]207                ogEcho log session "   [ ] $MSG_SCRIPTS_TASK_SLEEP :  $P2PWAIT seconds ogTorrentStart CACHE $2.torrent $4"
[ec051d0]208                sleep $P2PWAIT
[e7e3140]209                ogEcho log session "   [  ] $MSG_SCRIPTS_TASK_START:  ogTorrentStart CACHE $2.torrent $4"
[9a1df17]210                ogExecAndLog command ogTorrentStart CACHE "$2.torrent" $4
[4fcbcc8]211                RESUMEUPDATECACHE=$(grep -m 1 -B1 "Download" $OGLOGCOMMAND)
[9de72436]212                RESUMEUPDATECACHEbf=$(grep -m 1 "Download" $OGLOGCOMMAND)
213                if [ "$RESUMEUPDATECACHEbf" == "Download complete." ]; then
[9a1df17]214                        rm -f $IMGDIR$2".torrent.bf"
[9de72436]215                fi
[914d834]216        ;;
[cc6ee0b]217        MULTICAST)
[e7e3140]218                ogEcho log session "$MSG_SCRIPTS_UPDATECACHE_CHECKMCASTSESSION : $REPOIP:$PORTAUX:$PORT"
[cc6ee0b]219                #TODO: ticket 379
[e8460d2]220                NUMBER=$[ ( $RANDOM % 30 )  + 1 ]
221                sleep $NUMBER
222                #FIN TODO
[0dcf48a]223                ogEcho log session ogMcastRequest "$2" $OPTPROTOCOLO
224                ogExecAndLog command ogMcastRequest "$2" $OPTPROTOCOLO || exit $?
225                ogEcho log session ogMcastReceiverFile ${OPTPROTOCOLO%%:*} CACHE "$2"
226                ogExecAndLog command ogMcastReceiverFile ${OPTPROTOCOLO%%:*} CACHE "$2" || exit $?
[4fcbcc8]227                RESUMEUPDATECACHE=$(grep -m 1  -B1 "Transfer complete" $OGLOGCOMMAND.tmp)
[914d834]228        ;;
[cc6ee0b]229        UNICAST)
[e7e3140]230                #ogEcho log session "unicast"
[9a1df17]231                ogExecAndLog command ogCopyFile $REPOSITORIO "$2" "$IMGDIR"
[4fcbcc8]232                sleep 5
233                RESUMEUPDATECACHE=$(grep -m 1  "100%" $OGLOGCOMMAND.tmp)
[914d834]234        ;;
[cad1e1b]235        RSYNC)
[30ad471]236           # Si parametro de protocolo no era rsync, mensaje de cambio protocolo
[e7e3140]237           [ "${3^^}" == "RSYNC" ] || ogEcho log session "$MSG_SCRIPTS_UPDATECACHE_RSYNCPROTOCOLCHANGE"
[4fe77e0]238           # Opciones de rsync
239           USERRSYNC="opengnsys"
240           PASSWORD=" --password-file=/scripts/passrsync "
[791d013]241           OPTRSYNC=" --delete --progress "
[4fe77e0]242           [ "$ogrsyncz" ==  "true" ] && OPTRSYNC="z $OPTRSYNC"
243           [ "$ogrsyncw" ==  "true" ] && OPTRSYNC="w$OPTRSYNC"
244
245           if [ -d $REPOFILE ]; then
246                # Si es sincronizada tipo directorio.
247                [ -d "$OGCAC$OGIMG/$2" ] || mkdir "$OGCAC$OGIMG/$2"
[dc157ae]248                ogEcho log session "rsync -aHAX$OPTRSYNC  $USERRSYNC@$REPOIP::ogimages/$OGUNIT$2/ $OGCAC$OGIMG/$2"
249                rsync -aHAX$OPTRSYNC  $PASSWORD "$USERRSYNC@$REPOIP::ogimages/$OGUNIT$2/" "$OGCAC$OGIMG/$2" 2>> $OGLOGCOMMAND  | egrep "^sent|^sending|^total%" >>  $OGLOGCOMMAND
[4fe77e0]250           else
251                # Si es sincronizada tipo archivo.
[e24b042]252                [ "${2##*.}" == "img" ] && IMGTYPE="img" ||  IMGTYPE="diff"
253                IMGNAME="${2%.img*}"
254
[baa5919]255                DIRMOUNT=$(ogGetMountImageDir "$IMGNAME" $IMGTYPE)
[cad1e1b]256                DIRLOCAL="/tmp/$DIRMOUNT"
[654d744]257                mkdir "$DIRLOCAL" 2>/dev/null
[e7e3140]258                ogEcho log session "$MSG_SCRIPTS_UPDATECACHE_CHECKSIZEIMG"
[04f50f0]259
[f456755]260                # Si la imagen no existe la creo
[e24b042]261                # Si la imagen del repositorio es mayor, redimensiono la imagen de cache
[f456755]262                if [ "$CACHEFILE" == "" -o  $CACHEFILESIZE -lt $REALFILESIZE ]; then
[e7e3140]263                        ogEcho log session "$MSG_HELP_ogCreateFileImage"
264                        ogCreateFileImage CACHE "$IMGNAME" $IMGTYPE $REALFILESIZE
265                        TIMEAUX3=$[SECONDS-TIMEAUX3]
266                        ogEcho log session "      $MSG_SCRIPTS_TASK_END, $MSG_SCRIPTS_TIME_PARTIAL: $[TIMEAUX3/60]m $[TIMEAUX3%60]s"
[cad1e1b]267                fi
[3a61f94]268                # Montamos las imagenes para sincronizarlas. Quitamos / inicial.
[1e3a1e2]269                ogMountImage CACHE  "${IMGNAME#\/}" $IMGTYPE || exit $?
270                ogMountImage REPO  "${IMGNAME#\/}" $IMGTYPE
[cad1e1b]271                # Esperamos que se monte la imagen en el servidor
[c6130f4]272                ogWaitSyncImage  REPO  "$IMGNAME" $IMGTYPE "mounted" || exit $?
[e7e3140]273                ogEcho log session "      rsync -aHAX$OPTRSYNC  $USERRSYNC@$REPOIP::ogimages/$DIRMOUNT/ $DIRLOCAL"
[1e3a1e2]274                rsync -aHAX$OPTRSYNC  $PASSWORD "$USERRSYNC@$REPOIP::ogimages/$DIRMOUNT/" "$DIRLOCAL" 2>>$OGLOGCOMMAND  | egrep "^sent|^sending|^total|%" >>   $OGLOGCOMMAND
[cad1e1b]275                # RETVAL="1" -> OK  RETVAL="2" -> error  # valores igual que ogUpdateCacheIsNecesary
[1e3a1e2]276                [ ${PIPESTATUS[0]} -eq 0 ] && RETVAL="1"|| RETVAL="2"
[cad1e1b]277                # Desmonto las imagenes
[e24b042]278                ogUnmountImage CACHE  "$IMGNAME" $IMGTYPE
[fe6843b]279                ogUnmountImage REPO  "$IMGNAME" $IMGTYPE
280                ogUnlockImage CACHE "$2"
[4fe77e0]281           fi
[cad1e1b]282        ;;
[914d834]283esac
284
[0c42ccf]285TIME1=$[SECONDS-TIME1]
[4fcbcc8]286
[e7e3140]287ogEcho log session "   [ ] $RESUMEUPDATECACHE "
288ogEcho log session "   [ ] $MSG_SCRIPTS_TIME_PARTIAL updateCache $[TIME1/60]m $[TIME1%60]s"
289ogEcho log session "   [ ] $MSG_SCRIPTS_TASK_START $MSG_HELP_ogCalculateChecksum "
[0c42ccf]290TIME2=$SECONDS
[f456755]291# Si es imagen sincronizada siempre da distinto md5. No podemos comprobar
292if [ "$IMGSYNC" == "TRUE" ]; then
293        # RETVAL="1" -> OK  RETVAL="2" -> error  # valores igual que ogUpdateCacheIsNecesary
294        [ $PROTOCOLO == "RSYNC" ] || RETVAL=1
295else
[bd31f51]296        ogUpdateCacheIsNecesary $REPOSITORIO "$2" "$PROTOCOLO"
[cad1e1b]297        RETVAL=$?
298fi
[4fcbcc8]299if [ "$(ogGetCaller)" != "deployImage" ]; then
300        TIME2=$[SECONDS-TIME2]
[e7e3140]301        ogEcho log session "   [ ] $MSG_SCRIPTS_TIME_PARTIAL $MSG_HELP_ogCalculateChecksum $[TIME2/60]m $[TIME2%60]s"
[4fcbcc8]302fi
[cc6ee0b]303# si RETVAL=0 => actualizamos  si RETVAL=1 no actaulizamos-exit 0  || si RETVAL>2 exit 1
[167b8d5]304[ "$RETVAL" == "0" ] && exit $OG_ERR_UPDATECACHE
[db8fdd2]305[ "$RETVAL" == "1" ] && exit 0
[167b8d5]306[ "$RETVAL" -gt  "1" ] && exit $OG_ERR_UPDATECACHE
[a323383]307
Note: See TracBrowser for help on using the repository browser.