source: client/shared/scripts/updateCache @ 130bdbf

918-git-images-111dconfigfileconfigure-oglivegit-imageslgromero-new-oglivemainmaint-cronmount-efivarfsmultivmmultivm-ogboot-installerogClonningEngineogboot-installer-jenkinsoglive-ipv6test-python-scriptsticket-301ticket-50ticket-50-oldticket-577ticket-585ticket-611ticket-612ticket-693ticket-700ubu24tplunification2use-local-agent-oglivevarios-instalacionwebconsole3
Last change on this file since 130bdbf was 1a2fa9d8, checked in by ramon <ramongomez@…>, 10 years ago

#673: Actualizar código incluido en OepnGnSys? 1.0.6 sobre la rama version1.1 para desarrollar la nueva versión.

git-svn-id: https://opengnsys.es/svn/branches/version1.1@4609 a21b9725-9963-47de-94b9-378ad31fedc9

  • Property mode set to 100755
File size: 12.0 KB
Line 
1#!/bin/bash
2#/**
3#         updateCache
4#@brief   Actualiza la cache del cliente con imagen o fichero iso.
5#@param 1 REPO          Origen del fichero. -accesible por nfs-samba-
6#@param 2 str_fichero   nombre del fichero a actualizar.
7#@param 3 str_protoco.  TORRENT | MULTICAST    | UNICAST.
8#@param 4 str_opcionesprotocolo
9#@param 4 str_opcionesupdatecache
10#@ejemplo: oneRemoteFromMaster 172.17.36.11 CACHE /imagen1 9000:full-duplex:239.194.17.36:70M:50:100 1 1 partclone lzop
11#@return 
12#@exception OG_ERR_FORMAT       formato incorrecto.
13#@exception OG_ERR_NOTCACHE     No existe cache -15-
14#@exception $OG_ERR_CACHESIZE   Tamaño de la paticion menor al archivo a descargar -16-
15#@note   
16#@todo:
17#@version 0.9.1 - integracion EAC
18#@author  Antonio J. Doblas Viso. Universidad de Malaga.
19#@date    2008/03/17
20#@version 0.9.2 - integracion OpenGnsys
21#@author  Antonio J. Doblas Viso. Universidad de Malaga.
22#@date    2010/07/27
23#@version 1.0.1 - Control de espacio requerido
24#@author  Antonio J.Doblas Viso
25#@date   2011-05-10
26#@version 2.0.1 - Imagenes sincronizadas
27#@date    2013-02-20
28#@version 1.0.5 - uso de md5 full para las transferencias torrent, en la llamada => ogUpdateCacheIsNecesary
29#@date    2014-07-09
30
31#*/ ##
32
33PROG="$(basename $0)"
34if [ $# -lt 3 ]; then
35    ogRaiseError session $OG_ERR_FORMAT "$MSG_FORMAT: $PROG str_REPO _str_Relative_Path_OGIMG_with_/ PROTOCOLO OPCIONES_PROTOCOLO OPCIONES_UPDATECACHE"
36    exit $?
37fi
38
39#Carga del configurador del engine
40[ -z $OGENGINECONFIGURATE ] && source /opt/opengnsys/etc/engine.cfg
41
42# Clear temporary file used as log track by httpdlog
43# Limpia los ficheros temporales usados como log de seguimiento para httpdlog
44echo " " > $OGLOGCOMMAND
45[ "$(ogGetCaller)" == "deployImage" -o "$(ogGetCaller)" == "restoreBaseImage" -o "$(ogGetCaller)" == "restoreDiffImage" ] || echo -n "" > $OGLOGSESSION;
46
47REPOSITORIO="${1^^}"
48PROTOCOLO="${3^^}"
49OPTPROTOCOLO="$4"
50REPOIP=$(ogGetRepoIp)
51ogEcho log session  $REPOSITORIO $REPOIP $PROTOCOLO $OPTPROTOCOLO
52
53# Si el repositorio local CACHE no existe error 15.
54if ! $(ogFindCache >/dev/null); then
55        ogRaiseError session $OG_ERR_NOTCACHE "CACHE"
56        exit $?
57fi
58
59# comprobar si la imagen existe (.img, .img.diff o directorio)
60REPOFILE=$(ogGetPath "REPO" "/$2") || exit $(ogRaiseError session $OG_ERR_NOTFOUND "REPO /$2"; echo $?)
61
62ogEcho log session "$MSG_SCRIPTS_UPDATECACHE_DOUPDATE"
63# Distingo si es monolitica o sincronizable
64file "$REPOFILE" | grep -i -e " BTRFS Filesystem " -e " ext4 filesystem " -e " directory" 2>&1 > /dev/null
65if [ $? == 0 ]; then
66        IMGSYNC=TRUE
67        # Para imagen sincronizada, si hay imagen en cache siempre protocolo = rsync.
68        CACHEFILE="$(ogGetPath "CACHE" "/$2")"  && PROTOCOLO="RSYNC"
69        # Si es sincronizada tipo directorio  siempre protocolo = rsync.
70        [ -d $REPOFILE ] && PROTOCOLO="RSYNC" && IMGTYPE="dir"
71
72        # Si es imagen sincronizada siempre da distinto md5. No podemos comprobar -> actualizamos.
73        RETVAL=0
74else
75        # Si la imagen es monolitica y ha elegido protocolo = RSYNC salimos con error.
76        [ $PROTOCOLO == "RSYNC" ] && exit $(ogRaiseError session $OG_ERR_DONTSYNC_IMAGE "REPO $2"; echo $?)
77        IMGSYNC=FALSE
78        ogUpdateCacheIsNecesary "$1" "$2" "$PROTOCOLO"
79        RETVAL=$?
80fi
81# si RETVAL=0 => actualizamos  si RETVAL=1 no actaulizasmo-exit 0  || si RETVAL>2 exit 1
82[ "$RETVAL" == "1" ] && exit 0
83[ "$RETVAL" -gt  "1" ] && exit $OG_ERR_UPDATECACHE
84
85ogEcho log session  "$MSG_SCRIPTS_UPDATECACHE_CHECKSIZECACHE"
86CACHESIZE=$(ogGetCacheSize)
87CACHESIZEFREE=$(ogGetFreeSize `ogFindCache`)
88FILESIZE=$(ls -sk $(ogGetPath $REPOSITORIO "$2") | cut -f1 -d" ")
89if [ "$IMGTYPE" == "dir" ]; then
90        ogEcho log session "   * $MSG_SCRIPTS_UPDATECACHE_CHECKSIZEDIR"
91        ogEcho log session "     du -sk $REPOFILE"
92        REALFILESIZE=$(du -sk "$REPOFILE"|awk '{print $1}')
93else
94        REALFILESIZE=$(ls -l --block-size=1024 $REPOFILE | cut -f5 -d" ")
95fi
96
97# La sincronizada, si existe la imagen en cache el espacio necesario
98#        es la nueva menos lo que ocupa la que ya hay.
99if [ "$PROTOCOLO" == "RSYNC" ]; then
100        if [ "$CACHEFILE" == "" ]; then
101                CACHEFILESIZE=0
102        else
103           if [ "$IMGTYPE" == "dir" ]; then
104                ogEcho log session "   * $MSG_SCRIPTS_UPDATECACHE_CHECKSIZEDIR $CACHEFILESIZE"
105                ogEcho log session "     du -sk $CACHEFILE"
106                CACHEFILESIZE=$(du -sk $CACHEFILE |awk '{print $1}')
107           else
108                CACHEFILESIZE=$(ls -l --block-size=1024 "$CACHEFILE" | cut -f5 -d" ")
109           fi
110        fi
111        let SIZEREQUIRED=$REALFILESIZE-$CACHEFILESIZE
112        [ $SIZEREQUIRED -lt 0 ] && SIZEREQUIRED=0
113else
114        SIZEREQUIRED=$FILESIZE
115fi
116
117#ERROR CACHESIZE 16 (tamanyo de la CACHE insuficiente)
118if [ "$SIZEREQUIRED" -ge "$CACHESIZE" ] 
119then
120        ogEcho log session "$MSG_WARNING: $MSG_ERR_CACHESIZE:  $2 = $SIZEREQUIRED > CACHE = $CACHESIZE"
121        ogRaiseError session $OG_ERR_CACHESIZE "CACHE"
122        exit $?
123fi
124
125
126#ERROR CACHESIZE 16 (Espacio libre en CACHE insuficiente)
127if [ "$SIZEREQUIRED" -ge "$CACHESIZEFREE" ] 
128then
129    ogEcho log session "$MSG_SCRIPTS_UPDATECACHE_IFNOTCACHEDO: ACTIONCACHEFULL=$ACTIONCACHEFULL"
130        case "$ACTIONCACHEFULL" in
131        NONE)
132                ogEcho log session "$MSG_WARNING: $MSG_ERR_CACHESIZE:  $2 = $SIZEREQUIRED > FREE SPACE CACHE = $CACHESIZEFREE"
133                ogRaiseError session $OG_ERR_CACHESIZE "CACHE FULL, NO SPACE FREE"
134                exit $?
135        ;;
136        FORMAT)
137            ogEcho log session  "[51] $MSG_HELP_ogFormatCache "
138            ogUnmountCache
139            ogFormatCache
140            ogMountCache
141            NEXTOPERATION=REPEAT
142        ;;
143        DELETE)
144            ogEcho log session "[51] #MSG_HELP_ogDeleteTree $OGCAC$OGIMG/* "
145            rm -fr  $OGCAC$OGIMG/*
146            NEXOPERATION=REPEAT
147        ;;
148        *)
149                ogEcho log session "$MSG_WARNING: $MSG_ERR_CACHESIZE:  $2 = $FILESIZE > CACHE = $CACHESIZEFREE"
150                ogRaiseError session $OG_ERR_CACHESIZE "CACHE"
151                exit $?
152        ;;
153        esac   
154fi
155
156# Comprobamos que imagen cache igual a la del repo. Si sincronizada no podemos comprobar.
157[ "$IMGSYNC" == "TRUE" ] || ogUpdateCacheIsNecesary $REPOSITORIO "$2" "$PROTOCOLO"
158RETVAL=$?
159# si RETVAL=0 => actualizamos  si RETVAL=1 no actaulizasmo-exit 0  || si RETVAL>2 exit 1
160[ "$RETVAL" == "1" ] && exit 0
161[ "$RETVAL" -gt  "1" ] && exit $OG_ERR_UPDATECACHE
162
163ogMountCache >/dev/null
164
165## Si no existe, crear subdirectorio para el fichero en la cache.
166IMGDIR=$(ogGetParentPath CACHE "/$2")
167if [ $? != 0 ]; then
168    ogEcho log session "[5] $MSG_HELP_ogMakeDir  \"$2 $(dirname "$2")."
169    ogMakeDir CACHE $(dirname "/$2")
170    IMGDIR=$(ogGetParentPath CACHE "/$2") || exit $?
171fi
172
173TIME1=$SECONDS
174
175case "$PROTOCOLO" in
176        TORRENT)
177                ogEcho log session "ogCopyFile $1 $2.torrent absolute $OGCAC/$OGIMG"
178                # tiempos
179                timewait=$(expr $(printf '%d\n' 0x$(ogGetMacAddress | awk -F: '{print $5$6}')) \* 120 / 65535)                         
180                ogExecAndLog command ogCopyFile $REPOSITORIO "$2.torrent" "$IMGDIR"
181                #TODO: comprobar que el tracker definido en el fichero es correcto.
182                #TODO comprobar que el fichero torrent está en cache
183                # retardamos el inicio -aleatorio de 0 a 120 segundos- al tracker para gestionar mas de +-40 equipos
184                P2PWAIT=$[ ( $RANDOM % 120 )  + 1 ]
185                ogEcho log session "   [ ] $MSG_SCRIPTS_TASK_SLEEP :  $P2PWAIT seconds ogTorrentStart CACHE $2.torrent $4"
186                sleep $P2PWAIT
187                ogEcho log session "   [  ] $MSG_SCRIPTS_TASK_START:  ogTorrentStart CACHE $2.torrent $4"
188                ogExecAndLog command ogTorrentStart CACHE "$2.torrent" $4
189                RESUMEUPDATECACHE=$(grep -m 1 -B1 "Download" $OGLOGCOMMAND)
190                RESUMEUPDATECACHEbf=$(grep -m 1 "Download" $OGLOGCOMMAND)
191                if [ "$RESUMEUPDATECACHEbf" == "Download complete." ]; then
192                        rm -f $IMGDIR$2".torrent.bf"
193                fi
194        ;;
195        MULTICAST)
196                PORT=$(echo $OPTPROTOCOLO | cut -f1 -d":")
197                let PORTAUX=$PORT+1
198                ogEcho log session "$MSG_SCRIPTS_UPDATECACHE_CHECKMCASTSESSION : $REPOIP:$PORTAUX:$PORT"
199                #TODO: ticket 379
200                NUMBER=$[ ( $RANDOM % 30 )  + 1 ]
201                sleep $NUMBER
202                #FIN TODO
203                if (nmap -n -sU -p $PORTAUX $REPOIP | grep open)
204                then
205                        ogExecAndLog command ogMcastReceiverFile $PORT CACHE "$2"
206
207                else
208                    # TODO ticket 379 Realizar la petición basada en identificador de operacion
209                        ogEcho log session "$MSG_SCRIPTS_TASK_START :  hose $REPOIP 2009 --out sh -c \"echo -ne START_MULTICAST $2 $OPTPROTOCOLO\""
210                        hose $REPOIP 2009 --out sh -c "echo -ne START_MULTICAST $2 $OPTPROTOCOLO"
211                        #echo "espero y llamo a: ogMcastReceiverFile $PORT CACHE $2"
212                        sleep 10
213                        if (nmap -n -sU -p $PORTAUX $REPOIP | grep open)
214                        then
215                                ogExecAndLog command ogMcastReceiverFile $PORT CACHE "$2"
216                        else
217                                ogEcho log session "$MSG_SCRIPTS_TASK_ERR : hose $REPOIP 2009 --out sh -c echo -ne START_MULTICAST $2 $OPTPROTOCOLO"
218                                exit $OG_ERR_UPDATECACHE
219                        fi
220                fi
221                #cat $OGLOGCOMMAND.tmp | grep -B1 "Transfer complete"
222                sleep 5
223                #cat $OGLOGCOMMAND.tmp | grep -B1 "Transfer complete"
224                RESUMEUPDATECACHE=$(grep -m 1  -B1 "Transfer complete" $OGLOGCOMMAND.tmp)
225        ;;
226        UNICAST)
227                #ogEcho log session "unicast"
228                ogExecAndLog command ogCopyFile $REPOSITORIO "$2" "$IMGDIR"
229                sleep 5
230                RESUMEUPDATECACHE=$(grep -m 1  "100%" $OGLOGCOMMAND.tmp)
231        ;;
232        RSYNC)
233           # Si parametro de protocolo no era rsync, mensaje de cambio protocolo
234           [ "${3^^}" == "RSYNC" ] || ogEcho log session "$MSG_SCRIPTS_UPDATECACHE_RSYNCPROTOCOLCHANGE"
235           # Opciones de rsync
236           USERRSYNC="opengnsys"
237           PASSWORD=" --password-file=/scripts/passrsync "
238           OPTRSYNC=" --delete --progress "
239           [ "$ogrsyncz" ==  "true" ] && OPTRSYNC="z $OPTRSYNC"
240           [ "$ogrsyncw" ==  "true" ] && OPTRSYNC="w$OPTRSYNC"
241
242           if [ -d $REPOFILE ]; then
243                # Si es sincronizada tipo directorio.
244                [ -d "$OGCAC$OGIMG/$2" ] || mkdir "$OGCAC$OGIMG/$2"
245                ogEcho log session "rsync -aHAX$OPTRSYNC  $USERRSYNC@$REPOIP::ogimages/$2/ $OGCAC$OGIMG/$2"
246                rsync -aHAX$OPTRSYNC  $PASSWORD "$USERRSYNC@$REPOIP::ogimages/$2/" "$OGCAC$OGIMG/$2" 2>> $OGLOGCOMMAND  | egrep "^sent|^sending|^total%" >>  $OGLOGCOMMAND
247           else
248                # Si es sincronizada tipo archivo.
249                [ "${2##*.}" == "img" ] && IMGTYPE="img" ||  IMGTYPE="diff"
250                IMGNAME="${2%.img*}"
251
252                DIRMOUNT=$(ogGetMountImageDir "$IMGNAME" $IMGTYPE)
253                DIRLOCAL="/tmp/$DIRMOUNT"
254                mkdir "$DIRLOCAL" 2>/dev/null
255                ogEcho log session "$MSG_SCRIPTS_UPDATECACHE_CHECKSIZEIMG"
256
257                # Si la imagen no existe la creo
258                # Si la imagen del repositorio es mayor, redimensiono la imagen de cache
259                if [ "$CACHEFILE" == "" -o  $CACHEFILESIZE -lt $REALFILESIZE ]; then
260                        ogEcho log session "$MSG_HELP_ogCreateFileImage"
261                        ogCreateFileImage CACHE "$IMGNAME" $IMGTYPE $REALFILESIZE
262                        TIMEAUX3=$[SECONDS-TIMEAUX3]
263                        ogEcho log session "      $MSG_SCRIPTS_TASK_END, $MSG_SCRIPTS_TIME_PARTIAL: $[TIMEAUX3/60]m $[TIMEAUX3%60]s"
264                fi
265                # Montamos las imagenes para sincronizarlas. Quitamos / inicial.
266                ogMountImage CACHE  "${IMGNAME#\/}" $IMGTYPE || exit $?
267                ogMountImage REPO  "${IMGNAME#\/}" $IMGTYPE
268                # Esperamos que se monte la imagen en el servidor
269                ogWaitSyncImage  REPO  "$IMGNAME" $IMGTYPE "mounted" || exit $?
270                ogEcho log session "      rsync -aHAX$OPTRSYNC  $USERRSYNC@$REPOIP::ogimages/$DIRMOUNT/ $DIRLOCAL"
271                rsync -aHAX$OPTRSYNC  $PASSWORD "$USERRSYNC@$REPOIP::ogimages/$DIRMOUNT/" "$DIRLOCAL" 2>>$OGLOGCOMMAND  | egrep "^sent|^sending|^total|%" >>   $OGLOGCOMMAND
272                # RETVAL="1" -> OK  RETVAL="2" -> error  # valores igual que ogUpdateCacheIsNecesary
273                [ ${PIPESTATUS[0]} -eq 0 ] && RETVAL="1"|| RETVAL="2"
274                # Desmonto las imagenes
275                ogUnmountImage CACHE  "$IMGNAME" $IMGTYPE
276                ogUnmountImage REPO  "$IMGNAME" $IMGTYPE
277           fi
278        ;;
279esac
280
281TIME1=$[SECONDS-TIME1]
282
283ogEcho log session "   [ ] $RESUMEUPDATECACHE "
284ogEcho log session "   [ ] $MSG_SCRIPTS_TIME_PARTIAL updateCache $[TIME1/60]m $[TIME1%60]s"
285ogEcho log session "   [ ] $MSG_SCRIPTS_TASK_START $MSG_HELP_ogCalculateChecksum "
286TIME2=$SECONDS
287# Si es imagen sincronizada siempre da distinto md5. No podemos comprobar
288if [ "$IMGSYNC" == "TRUE" ]; then
289        # RETVAL="1" -> OK  RETVAL="2" -> error  # valores igual que ogUpdateCacheIsNecesary
290        [ $PROTOCOLO == "RSYNC" ] || RETVAL=1
291else
292        ogUpdateCacheIsNecesary $REPOSITORIO "$2" "$PROTOCOLO"
293        RETVAL=$?
294fi
295if [ "$(ogGetCaller)" != "deployImage" ]; then
296        TIME2=$[SECONDS-TIME2]
297        ogEcho log session "   [ ] $MSG_SCRIPTS_TIME_PARTIAL $MSG_HELP_ogCalculateChecksum $[TIME2/60]m $[TIME2%60]s"
298fi
299# si RETVAL=0 => actualizamos  si RETVAL=1 no actaulizamos-exit 0  || si RETVAL>2 exit 1
300[ "$RETVAL" == "0" ] && exit $OG_ERR_UPDATECACHE
301[ "$RETVAL" == "1" ] && exit 0
302[ "$RETVAL" -gt  "1" ] && exit $OG_ERR_UPDATECACHE
303
Note: See TracBrowser for help on using the repository browser.