source: client/shared/scripts/updateCache @ af6f098

918-git-images-111dconfigfileconfigure-oglivegit-imageslgromero-new-oglivemainmaint-cronmount-efivarfsmultivmmultivm-ogboot-installerogClonningEngineogboot-installer-jenkinsoglive-ipv6test-python-scriptsticket-301ticket-50ticket-50-oldticket-577ticket-585ticket-611ticket-612ticket-693ticket-700ubu24tplunification2use-local-agent-oglivevarios-instalacionwebconsole3
Last change on this file since af6f098 was 04f50f0, checked in by irina <irinagomez@…>, 12 years ago

#565 sincronizadas: error en updateCache confundia imagenes monoliticas con sincronizadas.

git-svn-id: https://opengnsys.es/svn/branches/version1.0@3883 a21b9725-9963-47de-94b9-378ad31fedc9
  • Property mode set to 100755
File size: 9.6 KB
Line 
1#!/bin/bash
2
3
4#/**
5#         updateCache
6#@brief   Actualiza la cache del cliente con imagen o fichero iso.
7#@param 1 REPO          Origen del fichero. -accesible por nfs-samba-
8#@param 2 str_fichero   nombre del fichero a actualizar.
9#@param 3 str_protoco.  TORRENT | MULTICAST    | UNICAST.
10#@param 4 str_opcionesprotocolo
11#@param 4 str_opcionesupdatecache
12#@ejemplo: oneRemoteFromMaster 172.17.36.11 CACHE /imagen1 9000:full-duplex:239.194.17.36:70M:50:100 1 1 partclone lzop
13#@return 
14#@exception OG_ERR_FORMAT       formato incorrecto.
15#@exception OG_ERR_NOTCACHE     No existe cache -15-
16#@exception $OG_ERR_CACHESIZE   Tamaño de la paticion menor al archivo a descargar -16-
17#@note   
18#@todo:
19#@version 0.9.1 - integracion EAC
20#@author  Antonio J. Doblas Viso. Universidad de Malaga.
21#@date    2008/03/17
22#@version 0.9.2 - integracion OpenGnsys
23#@author  Antonio J. Doblas Viso. Universidad de Malaga.
24#@date    2010/07/27
25#@version 1.0.1 - Control de espacio requerido
26#@author  Antonio J.Doblas Viso
27#@date   2011-05-10
28#@version 2.0.1 - Imagenes sincronizadas
29#@date    2013-02-20
30#*/ ##
31
32PROG="$(basename $0)"
33if [ $# -lt 3 ]; then
34    ogRaiseError $OG_ERR_FORMAT "$MSG_FORMAT: $PROG str_REPO _str_Relative_Path_OGIMG_with_/ PROTOCOLO OPCIONES_PROTOCOLO OPCIONES_UPDATECACHE"
35    exit $?
36fi
37
38#Carga del configurador del engine
39[ -z $OGENGINECONFIGURATE ] && source /opt/opengnsys/etc/engine.cfg
40
41REPOSITORIO="$1"
42PROTOCOLO="$3"
43OPTPROTOCOLO="$4"
44REPOIP=$(ogGetRepoIp)
45echo $REPOSITORIO $REPOIP $PROTOCOLO $OPTPROTOCOLO
46
47# Si el repositorio local CACHE no existe error 15.
48if ! $(ogFindCache >/dev/null); then
49        ogRaiseError $OG_ERR_NOTCACHE "CACHE"
50        exit $?
51fi
52
53# comprobar si la imagen existe
54REPOFILE=$(ogGetPath "REPO" "/$2")  || ogRaiseError $OG_ERR_NOTFOUND "REPO /$2"
55
56echo "$MSG_SCRIPTS_UPDATECACHE_DOUPDATE "
57# Distingo si es monolitica o sincronizable
58file $REPOFILE | grep " BTRFS Filesystem" 2>&1 > /dev/null
59if [ $? == 0 ]; then
60        IMGTYPE="RSYNC"
61        # Para imagen sincronizada, si hay imagen en cache uso rsync, si no otro protocolo
62        CACHEFILE=$(ogGetPath "CACHE" "/$2")  && PROTOCOLO="RSYNC"
63
64        # Si es imagen sincronizada siempre da distinto md5. No podemos comprobar -> actualizamos.
65        RETVAL=0
66else
67        IMGTYPE="MONOLITICA"
68        #TODO: ogUpdateCacheIsNecesary debe borrar la imagen que tenga igual nombre pero distinto sum-
69        ogUpdateCacheIsNecesary $1 $2
70        RETVAL=$?
71fi
72# si RETVAL=0 => actualizamos  si RETVAL=1 no actaulizasmo-exit 0  || si RETVAL>2 exit 1
73[ "$RETVAL" == "1" ] && exit 0
74[ "$RETVAL" -gt  "1" ] && exit 1
75
76CACHESIZE=$(ogGetCacheSize)
77CACHESIZEFREE=$(ogGetFreeSize `ogFindCache`)
78FILESIZE=$(ls -sk $(ogGetPath $REPOSITORIO "$2") | cut -f1 -d" ")
79REALFILESIZE=$(ls -l --block-size=1024 $(ogGetPath $REPOSITORIO "$2") | cut -f5 -d" ")
80
81# La sincronizada, si existe la imagen en cache el espacio necesario
82#        es la nueva menos lo que ocupa la que ya hay.
83if [ "$PROTOCOLO" == "RSYNC" ]; then
84        CACHEFILESIZE=$(ls -l --block-size=1024 $(ogGetPath "CACHE" "$2") | cut -f5 -d" ")
85        let SIZEREQUIRED=$CACHEFILESIZE-$FILESIZE
86        [ $SIZEREQUIRED -lt 0 ] && SIZEREQUIRED=0
87else
88        SIZEREQUIRED=$FILESIZE
89
90fi
91
92echo "$MSG_SCRIPTS_UPDATECACHE_CHECKSIZECACHE"
93#ERROR CACHESIZE 16
94if [ "$SIZEREQUIRED" -ge "$CACHESIZE" ] 
95then
96        echo "WARNING: $MSG_ERR_CACHESIZE:  $2 = $SIZEREQUIRED > CACHE = $CACHESIZE" | tee -a $OGLOGSESSION $OGLOGFILE
97        ogRaiseError $OG_ERR_CACHESIZE "CACHE"
98    exit $?
99fi
100
101echo "$MSG_SCRIPTS_UPDATECACHE_IFNOTCACHEDO"
102#ERROR CACHESIZE 16
103if [ "$SIZEREQUIRED" -ge "$CACHESIZEFREE" ] 
104then
105        # echo "[ ] No hay espacio sufiente en la CACHE, detectar que hacer con engine.cfg"  | tee -a $OGLOGSESSION $OGLOGFILE
106        case $ACTIONCACHEFULL in
107        NONE)
108                NEXTOPERATION=UNICAST
109        ;;
110        FORMAT)
111            echo "[51] $MSG_HELP_ogFormatCache "  | tee -a $OGLOGSESSION $OGLOGFILE
112            ogUnmountCache
113            ogFormatCache
114            ogMountCache
115            NEXTOPERATION=REPEAT
116        ;;
117        DELETE)
118                echo "[51] #MSG_HELP_ogDeleteTree $OGCAC$OGIMG/* "  | tee -a $OGLOGSESSION $OGLOGFILE
119            rm -fr  $OGCAC$OGIMG/*
120            NEXOPERATION=REPEAT
121        ;;
122        *)
123                echo "WARNING: $MSG_ERR_CACHESIZE:  $2 = $FILESIZE > CACHE = $CACHESIZEFREE" | tee -a $OGLOGSESSION $OGLOGFILE
124                ogRaiseError $OG_ERR_CACHESIZE "CACHE"
125        exit $?
126        ;;
127        esac   
128fi
129
130# Comprobamos que imagen cache igual a la del repo. Si sincronizada no podemos comprobar.
131[ "$IMGTYPE" == "RSYNC" ] || ogUpdateCacheIsNecesary $REPOSITORIO "$2"
132RETVAL=$?
133# si RETVAL=0 => actualizamos  si RETVAL=1 no actaulizasmo-exit 0  || si RETVAL>2 exit 1
134[ "$RETVAL" == "1" ] && exit 0
135[ "$RETVAL" -gt  "1" ] && exit 1
136
137ogMountCache >/dev/null
138
139## Si no existe, crear subdirectorio para el fichero en la cache.
140IMGDIR=$(ogGetParentPath CACHE "/$2")
141if [ $? != 0 ]; then
142    echo "[5] $MSG_HELP_ogMakeDir  \"$2 $(dirname "$2")."
143    ogMakeDir CACHE $(dirname "/$2")
144    IMGDIR=$(ogGetParentPath CACHE "/$2") || exit $?
145fi
146
147TIME1=$SECONDS
148
149case "$PROTOCOLO" in
150        torrent | TORRENT )
151                echo "ogCopyFile $1 $2.torrent absolute $OGCAC/$OGIMG"
152                # tiempos
153                timewait=$(expr $(printf '%d\n' 0x$(ogGetMacAddress | awk -F: '{print $5$6}')) \* 120 / 65535)                         
154                ogCopyFile $REPOSITORIO "$2.torrent" "$IMGDIR"
155                #TODO: comprobar que el tracker definido en el fichero es correcto.
156                #TODO comprobar que el fichero torrent está en cache
157                # retardamos el inicio -aleatorio de 0 a 120 segundos- al tracker para gestionar mas de +-40 equipos
158                P2PWAIT=$[ ( $RANDOM % 120 )  + 1 ]
159                echo "   [ ] $MSG_SCRIPTS_TASK_SLEEP :  $P2PWAIT seconds ogTorrentStart CACHE $2.torrent $4" | tee -a $OGLOGSESSION $OGLOGFILE
160                sleep $P2PWAIT
161                echo "   [  ] $MSG_SCRIPTS_TASK_START:  ogTorrentStart CACHE $2.torrent $4" | tee -a $OGLOGSESSION $OGLOGFILE
162                ogTorrentStart CACHE "$2.torrent" $4
163                RESUMEUPDATECACHE=$(cat $OGLOGCOMMAND | grep -B1 "Download")
164        ;;
165        multicast | MULTICAST )
166                PORT=$(echo $OPTPROTOCOLO | cut -f1 -d":")
167                let PORTAUX=$PORT+1
168                echo "$MSG_SCRIPTS_UPDATECACHE_CHECKMCASTSESSION : $REPOIP:$PORTAUX:$PORT"
169        #TODO: ticket 379
170                NUMBER=$[ ( $RANDOM % 30 )  + 1 ]
171                sleep $NUMBER
172                #FIN TODO
173                if (nmap -n -sU -p $PORTAUX $REPOIP | grep open)
174                then
175                        ogMcastReceiverFile $PORT CACHE "$2"
176                else
177                    # TODO ticket 379 Realizar la petición basada en identificador de operacion
178                        echo "$MSG_SCRIPTS_TASK_START :  hose $REPOIP 2009 --out sh -c "echo -ne START_MULTICAST $2 $OPTPROTOCOLO""
179                        hose $REPOIP 2009 --out sh -c "echo -ne START_MULTICAST $2 $OPTPROTOCOLO"
180                        #echo "espero y llamo a: ogMcastReceiverFile $PORT CACHE $2"
181                        sleep 10
182                        if (nmap -n -sU -p $PORTAUX $REPOIP | grep open)
183                        then
184                                ogMcastReceiverFile $PORT CACHE "$2"
185                        else
186                            echo "$MSG_SCRIPTS_TASK_ERR : hose $REPOIP 2009 --out sh -c echo -ne START_MULTICAST $2 $OPTPROTOCOLO"
187                            exit 1
188                        fi
189                fi
190                #cat $OGLOGCOMMAND.tmp | grep -B1 "Transfer complete"
191                sleep 5
192                #cat $OGLOGCOMMAND.tmp | grep -B1 "Transfer complete"
193                RESUMEUPDATECACHE=$(cat $OGLOGCOMMAND.tmp | grep -B1 "Transfer complete")
194        ;;
195        unicast | UNICAST )
196                echo "unicast"
197                ogCopyFile $REPOSITORIO "$2" "$IMGDIR"
198        ;;
199        RSYNC)
200                USERRSYNC="opengnsys"
201                OPTRSYNC=" --delete --password-file=/scripts/passrsync "
202                [ "$ogcompress" ==  "true" ] && OPTRSYNC="z $OPTRSYNC"
203                IMGEXT=${2##*.}
204                DIRMOUNT="$(ogGetMountDir "${2%%.*}" $IMGEXT)"
205                DIRLOCAL="/tmp/$DIRMOUNT"
206                mkdir $DIRLOCAL 2>/dev/null
207                echo "$MSG_SCRIPTS_UPDATECACHE_CHECKSIZEIMG"
208
209
210                if [ $CACHEFILESIZE -lt $REALFILESIZE ]; then
211                   # Si la imagen esta montada la desmonto
212                   mount |grep $CACHEFILE >/dev/null && umount $CACHEFILE
213                   echo "      $MSG_SYNC_RESIZE." | tee -a $OGLOGSESSION $OGLOGFILE
214                   echo "      truncate --size=>$REALFILESIZE k $CACHEFILE" | tee -a $OGLOGSESSION $OGLOGFILE
215                   truncate --size=">$REALFILESIZE"k $CACHEFILE &> $OGLOGCOMMAND
216                   echo "      mount -o compress=lzo $CACHEFILE $DIRLOCAL"
217                   mount -o compress=lzo $CACHEFILE $DIRLOCAL
218                   echo "      btrfs filesystem resize max $DIRLOCAL"
219                   btrfs filesystem resize max $DIRLOCAL
220                   TIMEAUX3=$[SECONDS-TIMEAUX3]
221                   echo "      $MSG_SCRIPTS_TASK_END, $MSG_SCRIPTS_TIME_PARTIAL: $[TIMEAUX3/60]m $[TIMEAUX3%60]s" | tee -a $OGLOGSESSION $OGLOGFILE
222 
223
224                fi
225                # Montamos las imagenes para sincronizarlas
226                ogMountImage CACHE  "${2%%.*}" $IMGEXT >/dev/null
227                ogMountImage REPO  "${2%%.*}" $IMGEXT >/dev/null
228                # Esperamos que se monte la imagen en el servidor
229                ogWaitMountImage  REPO  "${2%%.*}" $IMGEXT
230                echo -e "\n      rsync -aHAX OPTRSYNC  --quiet $USERRSYNC@$REPOIP::ogimages/$DIRMOUNT/ $DIRLOCAL |tee -a $OGLOGSESSION $OGLOGFILE"
231                rsync -aHAX$OPTRSYNC  --quiet $USERRSYNC@$REPOIP::ogimages/$DIRMOUNT/ $DIRLOCAL |tee -a $OGLOGSESSION $OGLOGFILE
232                # RETVAL="1" -> OK  RETVAL="2" -> error  # valores igual que ogUpdateCacheIsNecesary
233                [ $? == 0 ] && RETVAL="1"|| RETVAL="2"
234                # Desmonto las imagenes
235                ogUnmountImage CACHE  "${2%%.*}" $IMGEXT
236                ogUnmountImage REPO  "${2%%.*}" $IMGEXT
237        ;;
238esac
239
240TIME1=$[SECONDS-TIME1]
241echo "   [ ] $RESUMEUPDATECACHE " | tee -a $OGLOGSESSION $OGLOGFILE
242echo "   [ ] $MSG_SCRIPTS_TIME_PARTIAL updateCache $[TIME1/60]m $[TIME1%60]s" | tee -a $OGLOGSESSION $OGLOGFILE
243echo "   [ ] $MSG_SCRIPTS_TASK_START $MSG_HELP_ogCalculateChecksum " | tee -a $OGLOGSESSION $OGLOGFILE
244TIME2=$SECONDS
245if [ "$IMGTYPE" == "MONOLITICA" ]; then
246        ogUpdateCacheIsNecesary $REPOSITORIO "$2"
247        RETVAL=$?
248fi
249
250TIME2=$[SECONDS-TIME2]
251echo "   [ ] $MSG_SCRIPTS_TIME_PARTIAL $MSG_HELP_ogCalculateChecksum $[TIME2/60]m $[TIME2%60]s" | tee -a $OGLOGSESSION $OGLOGFILE
252
253# si RETVAL=0 => actualizamos  si RETVAL=1 no actaulizasmo-exit 0  || si RETVAL>2 exit 1
254[ "$RETVAL" == "0" ] && exit 1
255[ "$RETVAL" == "1" ] && exit 0
256[ "$RETVAL" -gt  "1" ] && exit 1
257
Note: See TracBrowser for help on using the repository browser.