source: client/shared/scripts/updateCache @ 69347df9

918-git-images-111dconfigfileconfigure-oglivegit-imageslgromero-new-oglivemainmaint-cronmount-efivarfsmultivmmultivm-ogboot-installerogClonningEngineogboot-installer-jenkinsoglive-ipv6test-python-scriptsticket-301ticket-50ticket-50-oldticket-577ticket-585ticket-611ticket-612ticket-693ticket-700ubu24tplunification2use-local-agent-oglivevarios-instalacionwebconsole3
Last change on this file since 69347df9 was 1e3a1e2, checked in by irina <irinagomez@…>, 11 years ago

#565 #637 correccion erratas de mensajes de error

git-svn-id: https://opengnsys.es/svn/branches/version1.0@4176 a21b9725-9963-47de-94b9-378ad31fedc9

  • Property mode set to 100755
File size: 12.1 KB
Line 
1#!/bin/bash
2#/**
3#         updateCache
4#@brief   Actualiza la cache del cliente con imagen o fichero iso.
5#@param 1 REPO          Origen del fichero. -accesible por nfs-samba-
6#@param 2 str_fichero   nombre del fichero a actualizar.
7#@param 3 str_protoco.  TORRENT | MULTICAST    | UNICAST.
8#@param 4 str_opcionesprotocolo
9#@param 4 str_opcionesupdatecache
10#@ejemplo: oneRemoteFromMaster 172.17.36.11 CACHE /imagen1 9000:full-duplex:239.194.17.36:70M:50:100 1 1 partclone lzop
11#@return 
12#@exception OG_ERR_FORMAT       formato incorrecto.
13#@exception OG_ERR_NOTCACHE     No existe cache -15-
14#@exception $OG_ERR_CACHESIZE   Tamaño de la paticion menor al archivo a descargar -16-
15#@note   
16#@todo:
17#@version 0.9.1 - integracion EAC
18#@author  Antonio J. Doblas Viso. Universidad de Malaga.
19#@date    2008/03/17
20#@version 0.9.2 - integracion OpenGnsys
21#@author  Antonio J. Doblas Viso. Universidad de Malaga.
22#@date    2010/07/27
23#@version 1.0.1 - Control de espacio requerido
24#@author  Antonio J.Doblas Viso
25#@date   2011-05-10
26#@version 2.0.1 - Imagenes sincronizadas
27#@date    2013-02-20
28#*/ ##
29
30PROG="$(basename $0)"
31if [ $# -lt 3 ]; then
32    ogRaiseError $OG_ERR_FORMAT "$MSG_FORMAT: $PROG str_REPO _str_Relative_Path_OGIMG_with_/ PROTOCOLO OPCIONES_PROTOCOLO OPCIONES_UPDATECACHE"
33    exit $?
34fi
35
36#Carga del configurador del engine
37[ -z $OGENGINECONFIGURATE ] && source /opt/opengnsys/etc/engine.cfg
38
39# Clear temporary file used as log track by httpdlog
40# Limpia los ficheros temporales usados como log de seguimiento para httpdlog
41echo " " > $OGLOGCOMMAND
42[ "$(ogGetCaller)" == "deployImage" -o "$(ogGetCaller)" == "restoreBaseImage" -o "$(ogGetCaller)" == "restoreDiffImage" ] || echo -n "" > $OGLOGSESSION;
43
44REPOSITORIO="${1^^}"
45PROTOCOLO="${3^^}"
46OPTPROTOCOLO="$4"
47REPOIP=$(ogGetRepoIp)
48echo $REPOSITORIO $REPOIP $PROTOCOLO $OPTPROTOCOLO
49
50# Si el repositorio local CACHE no existe error 15.
51if ! $(ogFindCache >/dev/null); then
52        ogRaiseError $OG_ERR_NOTCACHE "CACHE"
53        exit $0
54fi
55
56# comprobar si la imagen existe (.img, .img.diff o directorio)
57REPOFILE=$(ogGetPath "REPO" "/$2") || exit $(ogRaiseError $OG_ERR_NOTFOUND "REPO /$2"; echo $?)
58
59echo "$MSG_SCRIPTS_UPDATECACHE_DOUPDATE " | tee -a $OGLOGSESSION $OGLOGFILE
60# Distingo si es monolitica o sincronizable
61file "$REPOFILE" | grep -i -e " BTRFS Filesystem " -e " ext4 filesystem " -e " directory" 2>&1 > /dev/null
62if [ $? == 0 ]; then
63        IMGSYNC=TRUE
64        # Para imagen sincronizada, si hay imagen en cache siempre protocolo = rsync.
65        CACHEFILE="$(ogGetPath "CACHE" "/$2")"  && PROTOCOLO="RSYNC"
66        # Si es sincronizada tipo directorio  siempre protocolo = rsync.
67        [ -d $REPOFILE ] && PROTOCOLO="RSYNC" && IMGTYPE="dir"
68
69        # Si es imagen sincronizada siempre da distinto md5. No podemos comprobar -> actualizamos.
70        RETVAL=0
71else
72        # Si la imagen es monolitica y ha elegido protocolo = RSYNC salimos con error.
73        [ $PROTOCOLO == "RSYNC" ] && exit $(ogRaiseError $OG_ERR_DONTSYNC_IMAGE "REPO $2"; echo $?)
74        IMGSYNC=FALSE
75        #TODO: ogUpdateCacheIsNecesary debe borrar la imagen que tenga igual nombre pero distinto sum-
76        ogUpdateCacheIsNecesary $1 $2
77        RETVAL=$?
78fi
79# si RETVAL=0 => actualizamos  si RETVAL=1 no actaulizasmo-exit 0  || si RETVAL>2 exit 1
80[ "$RETVAL" == "1" ] && exit 0
81[ "$RETVAL" -gt  "1" ] && exit 1
82
83echo "$MSG_SCRIPTS_UPDATECACHE_CHECKSIZECACHE" | tee -a $OGLOGSESSION $OGLOGFILE
84CACHESIZE=$(ogGetCacheSize)
85CACHESIZEFREE=$(ogGetFreeSize `ogFindCache`)
86FILESIZE=$(ls -sk $(ogGetPath $REPOSITORIO "$2") | cut -f1 -d" ")
87if [ "$IMGTYPE" == "dir" ]; then
88        echo "   * $MSG_SCRIPTS_UPDATECACHE_CHECKSIZEDIR" | tee -a $OGLOGSESSION $OGLOGFILE
89        echo "     du -sk $REPOFILE" | tee -a $OGLOGSESSION $OGLOGFILE
90        REALFILESIZE=$(du -sk "$REPOFILE"|awk '{print $1}')
91else
92        REALFILESIZE=$(ls -l --block-size=1024 $REPOFILE | cut -f5 -d" ")
93fi
94
95# La sincronizada, si existe la imagen en cache el espacio necesario
96#        es la nueva menos lo que ocupa la que ya hay.
97if [ "$PROTOCOLO" == "RSYNC" ]; then
98        if [ "$CACHEFILE" == "" ]; then
99                CACHEFILESIZE=0
100        else
101           if [ "$IMGTYPE" == "dir" ]; then
102                echo "   * $MSG_SCRIPTS_UPDATECACHE_CHECKSIZEDIR $CACHEFILESIZE" | tee -a $OGLOGSESSION $OGLOGFILE
103                echo "     du -sk $CACHEFILE" | tee -a $OGLOGSESSION $OGLOGFILE
104                CACHEFILESIZE=$(du -sk $CACHEFILE |awk '{print $1}')
105           else
106                CACHEFILESIZE=$(ls -l --block-size=1024 "$CACHEFILE" | cut -f5 -d" ")
107           fi
108        fi
109        let SIZEREQUIRED=$REALFILESIZE-$CACHEFILESIZE
110        [ $SIZEREQUIRED -lt 0 ] && SIZEREQUIRED=0
111else
112        SIZEREQUIRED=$FILESIZE
113fi
114
115#ERROR CACHESIZE 16
116if [ "$SIZEREQUIRED" -ge "$CACHESIZE" ] 
117then
118        echo "$MSG_WARNING: $MSG_ERR_CACHESIZE:  $2 = $SIZEREQUIRED > CACHE = $CACHESIZE" | tee -a $OGLOGSESSION $OGLOGFILE
119        ogRaiseError $OG_ERR_CACHESIZE "CACHE"
120        exit $?
121fi
122
123echo "$MSG_SCRIPTS_UPDATECACHE_IFNOTCACHEDO" | tee -a $OGLOGSESSION $OGLOGFILE
124#ERROR CACHESIZE 16
125if [ "$SIZEREQUIRED" -ge "$CACHESIZEFREE" ] 
126then
127        # echo "[ ] No hay espacio sufiente en la CACHE, detectar que hacer con engine.cfg"  | tee -a $OGLOGSESSION $OGLOGFILE
128        case "$ACTIONCACHEFULL" in
129        NONE)
130                NEXTOPERATION=UNICAST
131        ;;
132        FORMAT)
133            echo "[51] $MSG_HELP_ogFormatCache "  | tee -a $OGLOGSESSION $OGLOGFILE
134            ogUnmountCache
135            ogFormatCache
136            ogMountCache
137            NEXTOPERATION=REPEAT
138        ;;
139        DELETE)
140            echo "[51] #MSG_HELP_ogDeleteTree $OGCAC$OGIMG/* "  | tee -a $OGLOGSESSION $OGLOGFILE
141            rm -fr  $OGCAC$OGIMG/*
142            NEXOPERATION=REPEAT
143        ;;
144        *)
145                echo "$MSG_WARNING: $MSG_ERR_CACHESIZE:  $2 = $FILESIZE > CACHE = $CACHESIZEFREE" | tee -a $OGLOGSESSION $OGLOGFILE
146                ogRaiseError $OG_ERR_CACHESIZE "CACHE"
147                exit $?
148        ;;
149        esac   
150fi
151
152# Comprobamos que imagen cache igual a la del repo. Si sincronizada no podemos comprobar.
153[ "$IMGSYNC" == "TRUE" ] || ogUpdateCacheIsNecesary $REPOSITORIO "$2"
154RETVAL=$?
155# si RETVAL=0 => actualizamos  si RETVAL=1 no actaulizasmo-exit 0  || si RETVAL>2 exit 1
156[ "$RETVAL" == "1" ] && exit 0
157[ "$RETVAL" -gt  "1" ] && exit 1
158
159ogMountCache >/dev/null
160
161## Si no existe, crear subdirectorio para el fichero en la cache.
162IMGDIR=$(ogGetParentPath CACHE "/$2")
163if [ $? != 0 ]; then
164    echo "[5] $MSG_HELP_ogMakeDir  \"$2 $(dirname "$2")." | tee -a $OGLOGSESSION $OGLOGFILE
165    ogMakeDir CACHE $(dirname "/$2")
166    IMGDIR=$(ogGetParentPath CACHE "/$2") || exit $?
167fi
168
169TIME1=$SECONDS
170
171case "$PROTOCOLO" in
172        TORRENT)
173                echo "ogCopyFile $1 $2.torrent absolute $OGCAC/$OGIMG" | tee -a $OGLOGSESSION $OGLOGFILE
174                # tiempos
175                timewait=$(expr $(printf '%d\n' 0x$(ogGetMacAddress | awk -F: '{print $5$6}')) \* 120 / 65535)                         
176                ogCopyFile $REPOSITORIO "$2.torrent" "$IMGDIR" 2>&1 | tee -a   $OGLOGCOMMAND
177                #TODO: comprobar que el tracker definido en el fichero es correcto.
178                #TODO comprobar que el fichero torrent está en cache
179                # retardamos el inicio -aleatorio de 0 a 120 segundos- al tracker para gestionar mas de +-40 equipos
180                P2PWAIT=$[ ( $RANDOM % 120 )  + 1 ]
181                echo "   [ ] $MSG_SCRIPTS_TASK_SLEEP :  $P2PWAIT seconds ogTorrentStart CACHE $2.torrent $4" | tee -a $OGLOGSESSION $OGLOGFILE
182                sleep $P2PWAIT
183                echo "   [  ] $MSG_SCRIPTS_TASK_START:  ogTorrentStart CACHE $2.torrent $4" | tee -a $OGLOGSESSION $OGLOGFILE
184                ogTorrentStart CACHE "$2.torrent" $4 2>&1 | tee -a   $OGLOGCOMMAND
185                RESUMEUPDATECACHE=$(grep -m 1 -B1 "Download" $OGLOGCOMMAND)
186        ;;
187        MULTICAST)
188                PORT=$(echo $OPTPROTOCOLO | cut -f1 -d":")
189                let PORTAUX=$PORT+1
190                echo "$MSG_SCRIPTS_UPDATECACHE_CHECKMCASTSESSION : $REPOIP:$PORTAUX:$PORT" | tee -a $OGLOGSESSION $OGLOGFILE
191                #TODO: ticket 379
192                NUMBER=$[ ( $RANDOM % 30 )  + 1 ]
193                sleep $NUMBER
194                #FIN TODO
195                if (nmap -n -sU -p $PORTAUX $REPOIP | grep open)
196                then
197                        ogMcastReceiverFile $PORT CACHE "$2" 2>&1  | tee -a   $OGLOGCOMMAND
198
199                else
200                    # TODO ticket 379 Realizar la petición basada en identificador de operacion
201                        echo "$MSG_SCRIPTS_TASK_START :  hose $REPOIP 2009 --out sh -c "echo -ne START_MULTICAST $2 $OPTPROTOCOLO"" | tee -a $OGLOGSESSION $OGLOGFILE
202                        hose $REPOIP 2009 --out sh -c "echo -ne START_MULTICAST $2 $OPTPROTOCOLO"
203                        #echo "espero y llamo a: ogMcastReceiverFile $PORT CACHE $2"
204                        sleep 10
205                        if (nmap -n -sU -p $PORTAUX $REPOIP | grep open)
206                        then
207                                ogMcastReceiverFile $PORT CACHE "$2" 2>&1  | tee -a   $OGLOGCOMMAND
208
209                        else
210                            echo "$MSG_SCRIPTS_TASK_ERR : hose $REPOIP 2009 --out sh -c echo -ne START_MULTICAST $2 $OPTPROTOCOLO" | tee -a $OGLOGSESSION $OGLOGFILE
211                            exit 1
212                        fi
213                fi
214                #cat $OGLOGCOMMAND.tmp | grep -B1 "Transfer complete"
215                sleep 5
216                #cat $OGLOGCOMMAND.tmp | grep -B1 "Transfer complete"
217                RESUMEUPDATECACHE=$(grep -m 1  -B1 "Transfer complete" $OGLOGCOMMAND.tmp)
218        ;;
219        UNICAST)
220                #echo "unicast" | tee -a $OGLOGSESSION $OGLOGFILE
221                ogCopyFile $REPOSITORIO "$2" "$IMGDIR" 2>&1  | tee -a   $OGLOGCOMMAND
222                sleep 5
223                RESUMEUPDATECACHE=$(grep -m 1  "100%" $OGLOGCOMMAND.tmp)
224        ;;
225        RSYNC)
226           # Si parametro de protocolo no era rsync, mensaje de cambio protocolo
227           [ "${3^^}" == "RSYNC" ] || echo $MSG_SCRIPTS_UPDATECACHE_RSYNCPROTOCOLCHANGE |tee -a $OGLOGSESSION $OGLOGFILE
228           # Opciones de rsync
229           USERRSYNC="opengnsys"
230           PASSWORD=" --password-file=/scripts/passrsync "
231           OPTRSYNC=" --delete --progress "
232           [ "$ogrsyncz" ==  "true" ] && OPTRSYNC="z $OPTRSYNC"
233           [ "$ogrsyncw" ==  "true" ] && OPTRSYNC="w$OPTRSYNC"
234
235           if [ -d $REPOFILE ]; then
236                # Si es sincronizada tipo directorio.
237                [ -d "$OGCAC$OGIMG/$2" ] || mkdir "$OGCAC$OGIMG/$2"
238                echo "rsync -aHAX$OPTRSYNC  $USERRSYNC@$REPOIP::ogimages/$2/ $OGCAC$OGIMG/$2" |tee -a $OGLOGSESSION $OGLOGFILE
239                rsync -aHAX$OPTRSYNC  $PASSWORD "$USERRSYNC@$REPOIP::ogimages/$2/" "$OGCAC$OGIMG/$2" 2>> $OGLOGCOMMAND  | egrep "^sent|^sending|^total%" >>  $OGLOGCOMMAND
240           else
241                # Si es sincronizada tipo archivo.
242                [ "${2##*.}" == "img" ] && IMGTYPE="img" ||  IMGTYPE="diff"
243                IMGNAME="${2%.img*}"
244
245                DIRMOUNT=$(ogGetMountImageDir "$IMGNAME" $IMGTYPE)
246                DIRLOCAL="/tmp/$DIRMOUNT"
247                mkdir "$DIRLOCAL" 2>/dev/null
248                echo "$MSG_SCRIPTS_UPDATECACHE_CHECKSIZEIMG"  | tee -a $OGLOGSESSION $OGLOGFILE
249
250                # Si la imagen no existe la creo
251                # Si la imagen del repositorio es mayor, redimensiono la imagen de cache
252                if [ "$CACHEFILE" == "" -o  $CACHEFILESIZE -lt $REALFILESIZE ]; then
253                   echo "$MSG_HELP_ogCreateFileImage" | tee -a $OGLOGSESSION $OGLOGFILE
254                   ogCreateFileImage CACHE "$IMGNAME" $IMGTYPE $REALFILESIZE
255                   TIMEAUX3=$[SECONDS-TIMEAUX3]
256                   echo "      $MSG_SCRIPTS_TASK_END, $MSG_SCRIPTS_TIME_PARTIAL: $[TIMEAUX3/60]m $[TIMEAUX3%60]s" | tee -a $OGLOGSESSION $OGLOGFILE
257                fi
258                # Montamos las imagenes para sincronizarlas. Quitamos / inicial.
259                ogMountImage CACHE  "${IMGNAME#\/}" $IMGTYPE || exit $?
260                ogMountImage REPO  "${IMGNAME#\/}" $IMGTYPE
261                # Esperamos que se monte la imagen en el servidor
262                ogWaitMountImage  REPO  "$IMGNAME" $IMGTYPE || exit $?
263                #echo "$MSG_HELP_ogSyncCreate" | tee -a $OGLOGSESSION $OGLOGFILE
264                echo "      rsync -aHAX$OPTRSYNC  $USERRSYNC@$REPOIP::ogimages/$DIRMOUNT/ $DIRLOCAL" |tee -a $OGLOGSESSION $OGLOGFILE
265                rsync -aHAX$OPTRSYNC  $PASSWORD "$USERRSYNC@$REPOIP::ogimages/$DIRMOUNT/" "$DIRLOCAL" 2>>$OGLOGCOMMAND  | egrep "^sent|^sending|^total|%" >>   $OGLOGCOMMAND
266                # RETVAL="1" -> OK  RETVAL="2" -> error  # valores igual que ogUpdateCacheIsNecesary
267                [ ${PIPESTATUS[0]} -eq 0 ] && RETVAL="1"|| RETVAL="2"
268                # Desmonto las imagenes
269                ogUnmountImage CACHE  "$IMGNAME" $IMGTYPE
270                ogUnmountImage REPO  "$IMGNAME" $IMGTYPE
271           fi
272        ;;
273esac
274
275TIME1=$[SECONDS-TIME1]
276
277echo "   [ ] $RESUMEUPDATECACHE " | tee -a $OGLOGSESSION $OGLOGFILE
278echo "   [ ] $MSG_SCRIPTS_TIME_PARTIAL updateCache $[TIME1/60]m $[TIME1%60]s" | tee -a $OGLOGSESSION $OGLOGFILE
279echo "   [ ] $MSG_SCRIPTS_TASK_START $MSG_HELP_ogCalculateChecksum " | tee -a $OGLOGSESSION $OGLOGFILE
280TIME2=$SECONDS
281# Si es imagen sincronizada siempre da distinto md5. No podemos comprobar
282if [ "$IMGSYNC" == "TRUE" ]; then
283        # RETVAL="1" -> OK  RETVAL="2" -> error  # valores igual que ogUpdateCacheIsNecesary
284        [ $PROTOCOLO == "RSYNC" ] || RETVAL=1
285else
286        ogUpdateCacheIsNecesary $REPOSITORIO "$2"
287        RETVAL=$?
288fi
289if [ "$(ogGetCaller)" != "deployImage" ]; then
290        TIME2=$[SECONDS-TIME2]
291        echo "   [ ] $MSG_SCRIPTS_TIME_PARTIAL $MSG_HELP_ogCalculateChecksum $[TIME2/60]m $[TIME2%60]s" | tee -a $OGLOGSESSION $OGLOGFILE
292fi
293# si RETVAL=0 => actualizamos  si RETVAL=1 no actaulizamos-exit 0  || si RETVAL>2 exit 1
294[ "$RETVAL" == "0" ] && exit 1
295[ "$RETVAL" == "1" ] && exit 0
296[ "$RETVAL" -gt  "1" ] && exit 1
297
Note: See TracBrowser for help on using the repository browser.