source: client/shared/scripts/updateCache @ b169708

918-git-images-111dconfigfileconfigure-oglivegit-imageslgromero-new-oglivemainmaint-cronmount-efivarfsmultivmmultivm-ogboot-installerogClonningEngineogboot-installer-jenkinsoglive-ipv6test-python-scriptsticket-301ticket-50ticket-50-oldticket-577ticket-585ticket-611ticket-612ticket-693ticket-700ubu24tplunification2use-local-agent-oglivevarios-instalacionwebconsole3
Last change on this file since b169708 was cad1e1b, checked in by irina <irinagomez@…>, 12 years ago

#565 imagenes sincronizadas. modificacion script existentes: updateCache, enging.cfg y ogAdmRepoAux.

git-svn-id: https://opengnsys.es/svn/branches/version1.0@3717 a21b9725-9963-47de-94b9-378ad31fedc9
  • Property mode set to 100755
File size: 9.3 KB
Line 
1#!/bin/bash
2
3
4#/**
5#         updateCache
6#@brief   Actualiza la cache del cliente con imagen o fichero iso.
7#@param 1 REPO          Origen del fichero. -accesible por nfs-samba-
8#@param 2 str_fichero   nombre del fichero a actualizar.
9#@param 3 str_protoco.  TORRENT | MULTICAST    | UNICAST.
10#@param 4 str_opcionesprotocolo
11#@param 4 str_opcionesupdatecache
12#@ejemplo: oneRemoteFromMaster 172.17.36.11 CACHE /imagen1 9000:full-duplex:239.194.17.36:70M:50:100 1 1 partclone lzop
13#@return 
14#@exception OG_ERR_FORMAT       formato incorrecto.
15#@exception OG_ERR_NOTCACHE     No existe cache -15-
16#@exception $OG_ERR_CACHESIZE   Tamaño de la paticion menor al archivo a descargar -16-
17#@note   
18#@todo:
19#@version 0.9.1 - integracion EAC
20#@author  Antonio J. Doblas Viso. Universidad de Malaga.
21#@date    2008/03/17
22#@version 0.9.2 - integracion OpenGnsys
23#@author  Antonio J. Doblas Viso. Universidad de Malaga.
24#@date    2010/07/27
25#@version 1.0.1 - Control de espacio requerido
26#@author  Antonio J.Doblas Viso
27#@date   2011-05-10
28#@version 2.0.1 - Imagenes sincronizadas
29#@date    2013-02-20
30#*/ ##
31
32PROG="$(basename $0)"
33if [ $# -lt 3 ]; then
34    ogRaiseError $OG_ERR_FORMAT "$MSG_FORMAT: $PROG str_REPO _str_Relative_Path_OGIMG_with_/ PROTOCOLO OPCIONES_PROTOCOLO OPCIONES_UPDATECACHE"
35    exit $?
36fi
37
38#Carga del configurador del engine
39[ -z $OGENGINECONFIGURATE ] && source /opt/opengnsys/etc/engine.cfg
40
41REPOSITORIO="$1"
42PROTOCOLO="$3"
43OPTPROTOCOLO="$4"
44REPOIP=$(ogGetRepoIp)
45echo $REPOSITORIO $REPOIP $PROTOCOLO $OPTPROTOCOLO
46
47# Si el repositorio local CACHE no existe error 15.
48if ! $(ogFindCache >/dev/null); then
49        ogRaiseError $OG_ERR_NOTCACHE "CACHE"
50        exit $?
51fi
52
53# Comprobar que es sincronizable
54REPOFILE=$(ogGetPath "REPO" "/$2")
55file $REPOFILE | grep " BTRFS Filesystem" 2>&1 > /dev/null
56[ $? == 0 ] && IMGTYPE="RSYNC"
57
58# La sincronizada, si hay imagen en cache uso rsync, si no otro protocolo
59CACHEFILE=$(ogGetPath "CACHE" "/$2")  && PROTOCOLO="RSYNC"
60
61echo "$MSG_SCRIPTS_UPDATECACHE_DOUPDATE "
62#TODO: ogUpdateCacheIsNecesary debe borrar la imagen que tenga igual nombre pero distinto sum-
63# Si es imagen sincronizada siempre da distinto md5 -> no comprobamos
64[ "$IMGTYPE" == "RSYNC" ] || ogUpdateCacheIsNecesary $1 $2
65RETVAL=$?
66# si RETVAL=0 => actualizamos  si RETVAL=1 no actaulizasmo-exit 0  || si RETVAL>2 exit 1
67[ "$RETVAL" == "1" ] && exit 0
68[ "$RETVAL" -gt  "1" ] && exit 1
69
70CACHESIZE=$(ogGetCacheSize)
71CACHESIZEFREE=$(ogGetFreeSize `ogFindCache`)
72FILESIZE=$(ls -sk $(ogGetPath $REPOSITORIO "$2") | cut -f1 -d" ")
73REALFILESIZE=$(ls -lk $(ogGetPath $REPOSITORIO "$2") | cut -f5 -d" ")
74
75# La sincronizada, si existe la imagen en cache el espacio necesario
76#        es la nueva menos lo que ocupa la que ya hay.
77if [ "$PROTOCOLO" == "RSYNC" ]; then
78        CACHEFILESIZE=$(ls -lk $(ogGetPath "CACHE" "$2") | cut -f5 -d" ")
79        let SIZEREQUIRED=$CACHEFILESIZE-$FILESIZE
80        [ $SIZEREQUIRED -lt 0 ] && SIZEREQUIRED=0
81else
82        SIZEREQUIRED=$FILESIZE
83
84fi
85
86echo "$MSG_SCRIPTS_UPDATECACHE_CHECKSIZECACHE"
87#ERROR CACHESIZE 16
88if [ "$SIZEREQUIRED" -ge "$CACHESIZE" ] 
89then
90        echo "WARNING: $MSG_ERR_CACHESIZE:  $2 = $SIZEREQUIRED > CACHE = $CACHESIZE" | tee -a $OGLOGSESSION $OGLOGFILE
91        ogRaiseError $OG_ERR_CACHESIZE "CACHE"
92    exit $?
93fi
94
95echo "$MSG_SCRIPTS_UPDATECACHE_IFNOTCACHEDO"
96#ERROR CACHESIZE 16
97if [ "$SIZEREQUIRED" -ge "$CACHESIZEFREE" ] 
98then
99        # echo "[ ] No hay espacio sufiente en la CACHE, detectar que hacer con engine.cfg"  | tee -a $OGLOGSESSION $OGLOGFILE
100        case $ACTIONCACHEFULL in
101        NONE)
102                NEXTOPERATION=UNICAST
103        ;;
104        FORMAT)
105            echo "[51] $MSG_HELP_ogFormatCache "  | tee -a $OGLOGSESSION $OGLOGFILE
106            ogUnmountCache
107            ogFormatCache
108            ogMountCache
109            NEXTOPERATION=REPEAT
110        ;;
111        DELETE)
112                echo "[51] #MSG_HELP_ogDeleteTree $OGCAC$OGIMG/* "  | tee -a $OGLOGSESSION $OGLOGFILE
113            rm -fr  $OGCAC$OGIMG/*
114            NEXOPERATION=REPEAT
115        ;;
116        *)
117                echo "WARNING: $MSG_ERR_CACHESIZE:  $2 = $FILESIZE > CACHE = $CACHESIZEFREE" | tee -a $OGLOGSESSION $OGLOGFILE
118                ogRaiseError $OG_ERR_CACHESIZE "CACHE"
119        exit $?
120        ;;
121        esac   
122fi
123
124[ "$IMGTYPE" == "RSYNC" ] || ogUpdateCacheIsNecesary $REPOSITORIO "$2"
125RETVAL=$?
126# si RETVAL=0 => actualizamos  si RETVAL=1 no actaulizasmo-exit 0  || si RETVAL>2 exit 1
127[ "$RETVAL" == "1" ] && exit 0
128[ "$RETVAL" -gt  "1" ] && exit 1
129
130ogMountCache >/dev/null
131
132## Si no existe, crear subdirectorio para el fichero en la cache.
133IMGDIR=$(ogGetParentPath CACHE "/$2")
134if [ $? != 0 ]; then
135    echo "[5] $MSG_HELP_ogMakeDir  \"$2 $(dirname "$2")."
136    ogMakeDir CACHE $(dirname "/$2")
137    IMGDIR=$(ogGetParentPath CACHE "/$2") || exit $?
138fi
139
140TIME1=$SECONDS
141
142case "$PROTOCOLO" in
143        torrent | TORRENT )
144                echo "ogCopyFile $1 $2.torrent absolute $OGCAC/$OGIMG"
145                # tiempos
146                timewait=$(expr $(printf '%d\n' 0x$(ogGetMacAddress | awk -F: '{print $5$6}')) \* 120 / 65535)                         
147                ogCopyFile $REPOSITORIO "$2.torrent" "$IMGDIR"
148                #TODO: comprobar que el tracker definido en el fichero es correcto.
149                #TODO comprobar que el fichero torrent está en cache
150                # retardamos el inicio -aleatorio de 0 a 120 segundos- al tracker para gestionar mas de +-40 equipos
151                P2PWAIT=$[ ( $RANDOM % 120 )  + 1 ]
152                echo "   [ ] $MSG_SCRIPTS_TASK_SLEEP :  $P2PWAIT seconds ogTorrentStart CACHE $2.torrent $4" | tee -a $OGLOGSESSION $OGLOGFILE
153                sleep $P2PWAIT
154                echo "   [  ] $MSG_SCRIPTS_TASK_START:  ogTorrentStart CACHE $2.torrent $4" | tee -a $OGLOGSESSION $OGLOGFILE
155                ogTorrentStart CACHE "$2.torrent" $4
156                RESUMEUPDATECACHE=$(cat $OGLOGCOMMAND | grep -B1 "Download")
157        ;;
158        multicast | MULTICAST )
159                PORT=$(echo $OPTPROTOCOLO | cut -f1 -d":")
160                let PORTAUX=$PORT+1
161                echo "$MSG_SCRIPTS_UPDATECACHE_CHECKMCASTSESSION : $REPOIP:$PORTAUX:$PORT"
162        #TODO: ticket 379
163                NUMBER=$[ ( $RANDOM % 30 )  + 1 ]
164                sleep $NUMBER
165                #FIN TODO
166                if (nmap -n -sU -p $PORTAUX $REPOIP | grep open)
167                then
168                        ogMcastReceiverFile $PORT CACHE "$2"
169                else
170                    # TODO ticket 379 Realizar la petición basada en identificador de operacion
171                        echo "$MSG_SCRIPTS_TASK_START :  hose $REPOIP 2009 --out sh -c "echo -ne START_MULTICAST $2 $OPTPROTOCOLO""
172                        hose $REPOIP 2009 --out sh -c "echo -ne START_MULTICAST $2 $OPTPROTOCOLO"
173                        #echo "espero y llamo a: ogMcastReceiverFile $PORT CACHE $2"
174                        sleep 10
175                        if (nmap -n -sU -p $PORTAUX $REPOIP | grep open)
176                        then
177                                ogMcastReceiverFile $PORT CACHE "$2"
178                        else
179                            echo "$MSG_SCRIPTS_TASK_ERR : hose $REPOIP 2009 --out sh -c echo -ne START_MULTICAST $2 $OPTPROTOCOLO"
180                            exit 1
181                        fi
182                fi
183                #cat $OGLOGCOMMAND.tmp | grep -B1 "Transfer complete"
184                sleep 5
185                #cat $OGLOGCOMMAND.tmp | grep -B1 "Transfer complete"
186                RESUMEUPDATECACHE=$(cat $OGLOGCOMMAND.tmp | grep -B1 "Transfer complete")
187        ;;
188        unicast | UNICAST )
189                echo "unicast"
190                ogCopyFile $REPOSITORIO "$2" "$IMGDIR"
191        ;;
192        RSYNC)
193                USERRSYNC="opengnsys"
194                OPTRSYNC=" --delete --password-file=/scripts/passrsync "
195                [ "$ogcompress" ==  "true" ] && OPTRSYNC="z $OPTRSYNC"
196                IMGEXT=${2##*.}
197                DIRMOUNT="$(ogGetMountDir "${2%%.*}" $IMGEXT)"
198                DIRLOCAL="/tmp/$DIRMOUNT"
199                mkdir $DIRLOCAL 2>/dev/null
200                echo "Comprobamos si hay que redimensionar la imagen: cachefile: $CACHEFILESIZE -lt repofile: $REALFILESIZE "
201
202                if [ $CACHEFILESIZE -lt $REALFILESIZE ]; then
203                   # Si la imagen esta montada la desmonto
204                   mount |grep $CACHEFILE >/dev/null && umount $CACHEFILE
205                   echo "      Redimensionamos la imagen al tamaño necesario" | tee -a $OGLOGSESSION $OGLOGFILE
206                   echo "      truncate --size=>$REALFILESIZE k $CACHEFILE" | tee -a $OGLOGSESSION $OGLOGFILE
207                   truncate --size=">$REALFILESIZE"k $CACHEFILE &> $OGLOGCOMMAND
208                   echo "      mount -o compress=lzo $CACHEFILE $DIRLOCAL"
209                   mount -o compress=lzo $CACHEFILE $DIRLOCAL
210                   echo "      btrfs filesystem resize max $DIRLOCAL"
211                   btrfs filesystem resize max $DIRLOCAL
212                   TIMEAUX3=$[SECONDS-TIMEAUX3]
213                   echo "      Fin redimension de la  imagen: $[TIMEAUX3/60]m $[TIMEAUX3%60]s" | tee -a $OGLOGSESSION $OGLOGFILE
214 
215
216                fi
217                ogMountImage CACHE  "${2%%.*}" $IMGEXT
218                ogMountImage REPO  "${2%%.*}" $IMGEXT
219                # Esperamos que se monte la imagen en el servidor
220                ogWaitMountImage  REPO  "${2%%.*}" $IMGEXT
221                echo -e "\nrsync -aHAX OPTRSYNC  --quiet $USERRSYNC@$REPOIP::ogimages/$DIRMOUNT/ $DIRLOCAL |tee -a $OGLOGSESSION $OGLOGFILE"
222                rsync -aHAX$OPTRSYNC  --quiet $USERRSYNC@$REPOIP::ogimages/$DIRMOUNT/ $DIRLOCAL |tee -a $OGLOGSESSION $OGLOGFILE
223                # RETVAL="1" -> OK  RETVAL="2" -> error  # valores igual que ogUpdateCacheIsNecesary
224                [ $? == 0 ] && RETVAL="1"|| RETVAL="2"
225                # Desmonto las imagenes
226                ogUnmountImage CACHE  "${2%%.*}" $IMGEXT
227                ogUnmountImage REPO  "${2%%.*}" $IMGEXT
228        ;;
229esac
230
231TIME1=$[SECONDS-TIME1]
232echo "   [ ] $RESUMEUPDATECACHE " | tee -a $OGLOGSESSION $OGLOGFILE
233echo "   [ ] $MSG_SCRIPTS_TIME_PARTIAL updateCache $[TIME1/60]m $[TIME1%60]s" | tee -a $OGLOGSESSION $OGLOGFILE
234echo "   [ ] $MSG_SCRIPTS_TASK_START $MSG_HELP_ogCalculateChecksum " | tee -a $OGLOGSESSION $OGLOGFILE
235TIME2=$SECONDS
236if [ "$PROTOCOLO" != "RSYNC" ]; then
237        ogUpdateCacheIsNecesary $REPOSITORIO "$2"
238        RETVAL=$?
239fi
240
241TIME2=$[SECONDS-TIME2]
242echo "   [ ] $MSG_SCRIPTS_TIME_PARTIAL $MSG_HELP_ogCalculateChecksum $[TIME2/60]m $[TIME2%60]s" | tee -a $OGLOGSESSION $OGLOGFILE
243
244# si RETVAL=0 => actualizamos  si RETVAL=1 no actaulizasmo-exit 0  || si RETVAL>2 exit 1
245[ "$RETVAL" == "0" ] && exit 1
246[ "$RETVAL" == "1" ] && exit 0
247[ "$RETVAL" -gt  "1" ] && exit 1
248
Note: See TracBrowser for help on using the repository browser.