refs #631 - Add recoverImage.py
parent
9e5edcdbdf
commit
ccd0ebd8ef
19
README.md
19
README.md
|
|
@ -199,7 +199,7 @@ curl -X POST -H "Authorization: $API_KEY" -H "Content-Type: application/json" -d
|
|||
### Importar una Imagen
|
||||
|
||||
Se importará una imagen de un repositorio remoto al repositorio local.
|
||||
Se puede hacer con el script "**importimage**", que actualmente no se utiliza.
|
||||
Se puede intentar hacer con el script "**importimage**", que actualmente no se utiliza, pero seguramente habrá que modificarlo.
|
||||
|
||||
**URL:** `/ogrepository/v1/images/import-image`
|
||||
**Método HTTP:** POST
|
||||
|
|
@ -223,7 +223,7 @@ curl -X POST -H "Authorization: $API_KEY" -H "Content-Type: application/json" -d
|
|||
### Enviar una Imagen mediante UDPcast
|
||||
|
||||
Se enviará una imagen por Multicast, mediante la aplicación UDPcast.
|
||||
Se puede hacer con el script "**sendFileMcast**", que a su vez llama al binario "**udp-sender**", que es quien realmente realiza el envío.
|
||||
Se puede hacer con el script "**sendFileMcast.py**", que a su vez llama al binario "**udp-sender**", que es quien realmente realiza el envío.
|
||||
|
||||
**URL:** `/ogrepository/v1/images/{protocol}`
|
||||
**Método HTTP:** POST
|
||||
|
|
@ -306,7 +306,7 @@ curl -X POST -H "Authorization: $API_KEY" -H "Content-Type: application/json" -d
|
|||
### Enviar una Imagen mediante P2P
|
||||
|
||||
Se debe hacer tracking de los torrents almacenados en ogRepository, e iniciar la transferencia de la imagen especificada (además, los clientes deben disponer del torrent asociado, y añadirlo a su cliente torrent).
|
||||
No tengo claro cómo se haría con los scripts existentes (que utilizan "bttrack" y "ctorrent"), pero si usáramos "opentracker" y "transmission", se debería crear nuevos scripts.
|
||||
No tengo claro cómo se haría con los scripts existentes (que utilizan "bttrack" y "ctorrent"), pero si usáramos "opentracker" y "transmission" (como se había propuesto), se debería crear nuevos scripts.
|
||||
|
||||
**URL:** `/ogrepository/v1/images/{protocol}`
|
||||
**Método HTTP:** POST
|
||||
|
|
@ -331,7 +331,7 @@ curl -X POST -H "Authorization: $API_KEY" -H "Content-Type: application/json" -d
|
|||
### Chequear Integridad de Imagen
|
||||
|
||||
Se comprobará la integridad de todos los ficheros asociados a la imagen especificada como parámetro.
|
||||
Para esto, entiendo que se debe crear un script que compare el contenido de los ficheros "**.sum**" y "**.full.sum**" con una nueva extracción del checksum de la imagen, pero no veo como comprobar la integridad de todos los archivos asociados.
|
||||
Para esto, entiendo que se debe crear un script que compare el contenido de los ficheros "**.sum**" y "**.full.sum**" con una nueva obtención del checksum de la imagen, pero no veo como comprobar la integridad de todos los archivos asociados.
|
||||
|
||||
**URL:** `/ogrepository/v1/images/check-image`
|
||||
**Método HTTP:** GET
|
||||
|
|
@ -354,8 +354,7 @@ curl -X POST -H "Authorization: $API_KEY" -H "Content-Type: application/json" -d
|
|||
### Exportar una Imagen
|
||||
|
||||
Se exportará una imagen del repositorio local a un repositorio remoto.
|
||||
Se debe crear un script que realice dicha tarea (o se puede utilizar el script "**importimage**", que realiza la acción contraria, pero que actualmente no se utiliza).
|
||||
|
||||
Se debe crear un script que realice dicha tarea (o se puede intentar utilizar el script "**importimage**", que realiza la acción contraria, pero que actualmente no se utiliza).
|
||||
**NOTA**: Aunque no se indica en el pliego, entendemos que también será necesario especificar credenciales de acceso al repositorio remoto como parámetros de entrada.
|
||||
|
||||
**URL:** `/ogrepository/v1/images/export-image`
|
||||
|
|
@ -380,7 +379,7 @@ curl -X POST -H "Authorization: $API_KEY" -H "Content-Type: application/json" -d
|
|||
### Definir Imagen Global
|
||||
|
||||
Se marcará como "global" la imagen especificada como parámetro.
|
||||
En principio, esto requerirá agregar una nueva clave al archivo "**/opt/opengnsys/etc/repoinfo.json**" (por ejemplo, "scope"), modificando el script "**checkrepo**", para que realice dicha modificación.
|
||||
En principio, esto requerirá agregar una nueva clave al archivo "**/opt/opengnsys/etc/repoinfo.json**" (por ejemplo, "scope"), modificando el script "**updateRepoInfo.py**", para que realice dicha modificación.
|
||||
También debe crearse un script que realice la definición de la imagen especificada (modificando el valor de la nueva clave del archivo "**/opt/opengnsys/etc/repoinfo.json**", de "local" a "global", por ejemplo).
|
||||
Además, deberá llamarse a un script que exporte dicha imagen a los demás repositorios gestionados por el servidor de administración (que aun no está creado).
|
||||
|
||||
|
|
@ -403,8 +402,8 @@ curl -X PUT -H "Authorization: $API_KEY" -H "Content-Type: application/json" -d
|
|||
---
|
||||
### Definir Imagen Local
|
||||
|
||||
Se marcará como "local" la imagen especificada como parámetro, que previamente habría sido marcada como "global" (ya que de forma predeterminada, todas las imágenes estarán marcadas como "local").
|
||||
Como comentábamos en el endpoint precedentte, esto requerirá agregar una nueva clave al archivo "**/opt/opengnsys/etc/repoinfo.json**" (por ejemplo, "scope"), modificando el script "**checkrepo**", para que realice dicha modificación.
|
||||
Se marcará como "local" la imagen especificada como parámetro, que previamente habría sido marcada como "global" (ya que entiendo que de forma predeterminada, todas las imágenes estarán marcadas como "local").
|
||||
Como comentábamos en el endpoint precedentte, esto requerirá agregar una nueva clave al archivo "**/opt/opengnsys/etc/repoinfo.json**" (por ejemplo, "scope"), modificando el script "**updateRepoInfo.py**", para que realice dicha modificación.
|
||||
También debe crearse un script que realice la definición de la imagen especificada (modificando el valor de la nueva clave del archivo "**/opt/opengnsys/etc/repoinfo.json**", de "global" a "local", por ejemplo).
|
||||
Este endpoint deberá ser llamado en todos los repositorios gestionados por el mismo servidor de administración (para que todos hagan la modificación).
|
||||
|
||||
|
|
@ -429,7 +428,7 @@ curl -X PUT -H "Authorization: $API_KEY" -H "Content-Type: application/json" -d
|
|||
|
||||
Se devolverá información del estado de las transmisiones existentes, con un identificador de cada sesión multicast o P2P, y la imagen asociada.
|
||||
Se debe estudiar como realizar esta tarea para cada uno de los protocolos de transmisión, ya que cada uno tiene sus particularidades, y habitualmente no tienen comandos asociados para comprobar el estado de las transmisiones.
|
||||
Y tampoco está claro que protocolo se utilizará para transimisiones Multicast (¿"UDPcast", "UFTP", o ambos?), ni qué programas se utilizarán para P2P (¿"ctorrent/bttrack" u "opentracker/Transmission"?).
|
||||
Y tampoco está claro qué protocolo se utilizará para transimisiones Multicast (¿"UDPcast", "UFTP", o ambos?), ni qué programas se utilizarán para P2P (¿"ctorrent/bttrack" u "opentracker/Transmission"?).
|
||||
**NOTA**: Posiblemente deba crearse un endpoint específico para cada uno de los protocolos que se utilicen.
|
||||
|
||||
---
|
||||
|
|
|
|||
|
|
@ -0,0 +1,199 @@
|
|||
#!/usr/bin/env python3
|
||||
# -*- coding: utf-8 -*-
|
||||
|
||||
"""
|
||||
Este script recupera la imagen que recibe como parámetro (y todos sus archivos asociados), moviendo los archivos a "/opt/opengnsys/images", desde la papelera
|
||||
(respetando el subdirectorio correspondiente a la OU, si fuera el caso).
|
||||
Llama al script "updateRepoInfo.py", para actualizar la información del repositorio.
|
||||
|
||||
Parámetros
|
||||
------------
|
||||
sys.argv[1] - Nombre completo de la imagen a recuperar (con o sin ruta), pero incluyendo el subdirectorio correspondiente a la OU, si es el caso.
|
||||
- Ejemplo1: image1.img
|
||||
- Ejemplo2: /opt/opengnsys/images_trash/image1.img
|
||||
- Ejemplo3: ou_subdir/image1.img
|
||||
- Ejemplo4: /ou_subdir/image1.img
|
||||
- Ejemplo5: /opt/opengnsys/images_trash/ou_subdir/image1.img
|
||||
|
||||
Sintaxis
|
||||
----------
|
||||
./recoverImage.py [ou_subdir/]image_name|/image_path/image_name
|
||||
|
||||
Ejemplos
|
||||
---------
|
||||
./recoverImage.py image1.img
|
||||
./recoverImage.py /opt/opengnsys/images_trash/image1.img
|
||||
./recoverImage.py ou_subdir/image1.img
|
||||
./recoverImage.py /ou_subdir/image1.img
|
||||
./recoverImage.py /opt/opengnsys/images_trash/ou_subdir/image1.img
|
||||
"""
|
||||
|
||||
# --------------------------------------------------------------------------------------------
|
||||
# IMPORTS
|
||||
# --------------------------------------------------------------------------------------------
|
||||
|
||||
import os
|
||||
import sys
|
||||
import shutil
|
||||
import subprocess
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------------------------
|
||||
# VARIABLES
|
||||
# --------------------------------------------------------------------------------------------
|
||||
|
||||
script_name = os.path.basename(__file__)
|
||||
repo_path = '/opt/opengnsys/images/'
|
||||
trash_path = '/opt/opengnsys/images_trash/'
|
||||
update_repo_script = '/opt/opengnsys/py_scripts/updateRepoInfo.py'
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------------------------
|
||||
# FUNCTIONS
|
||||
# --------------------------------------------------------------------------------------------
|
||||
|
||||
|
||||
def show_help():
|
||||
""" Imprime la ayuda, cuando se ejecuta el script con el parámetro "help".
|
||||
"""
|
||||
help_text = f"""
|
||||
Sintaxis: {script_name} [ou_subdir/]image_name|/image_path/image_name
|
||||
Ejemplo1: {script_name} image1.img
|
||||
Ejemplo2: {script_name} /opt/opengnsys/images_trash/image1.img
|
||||
Ejemplo3: {script_name} ou_subdir/image1.img
|
||||
Ejemplo4: {script_name} /ou_subdir/image1.img
|
||||
Ejemplo5: {script_name} /opt/opengnsys/images_trash/ou_subdir/image1.img
|
||||
"""
|
||||
print(help_text)
|
||||
|
||||
|
||||
def check_params():
|
||||
""" Comprueba que se haya enviado la cantidad correcta de parámetros, y en el formato correcto.
|
||||
Si no es así, muestra un mensaje de error, y sale del script.
|
||||
LLama a la función "show_help" cuando se ejecuta el script con el parámetro "help".
|
||||
"""
|
||||
# Si se ejecuta el script sin parámetros, se muestra un error y la ayuda, y se sale del script:
|
||||
if len(sys.argv) == 1:
|
||||
print(f"{script_name} Error: Formato incorrecto: Se debe especificar al menos 1 parámetro")
|
||||
show_help()
|
||||
sys.exit(0)
|
||||
# Si se ejecuta el script con el parámetro "help", se muestra la ayuda, y se sale del script:
|
||||
elif len(sys.argv) == 2 and sys.argv[1] == "help":
|
||||
show_help()
|
||||
sys.exit(1)
|
||||
# Si se ejecuta el script con más de 1 parámetro, se muestra un error y la ayuda, y se sale del script:
|
||||
elif len(sys.argv) > 2:
|
||||
print(f"{script_name} Error: Formato incorrecto: Se debe especificar 1 parámetro")
|
||||
show_help()
|
||||
sys.exit(2)
|
||||
|
||||
|
||||
def build_file_path():
|
||||
""" Construye la ruta completa al archivo a recuperar
|
||||
(agregando "/opt/opengnsys/images_trash/" si no se ha especificado en el parámetro).
|
||||
"""
|
||||
param_path = sys.argv[1]
|
||||
# Si la ruta comienza con una barra, pero que no corresponde a "trash_path"
|
||||
# (porque corresponderá al subdirectorio de una OU), eliminamos la barra:
|
||||
if param_path.startswith('/') and not param_path.startswith(trash_path):
|
||||
param_path = param_path.lstrip('/')
|
||||
# Construimos la ruta completa:
|
||||
if not param_path.startswith(trash_path):
|
||||
file_path = os.path.join(trash_path, param_path)
|
||||
else:
|
||||
file_path = param_path
|
||||
return file_path
|
||||
|
||||
|
||||
def recover_normal_image(file_path, extensions):
|
||||
""" Recupera la imagen "normal" que recibe en el parámetro "file_path", y todos sus archivos asociados,
|
||||
moviéndolos a "/opt/opengnsys/images" (desde la papelera).
|
||||
"""
|
||||
# Iteramos las extensiones de los archivos, y construimos la ruta completa de cada uno de ellos:
|
||||
for ext in extensions:
|
||||
file_to_recover = f"{file_path}{ext}"
|
||||
# Si el archivo actual existe, lo movemos a "/opt/opengnsys/images" (recuperándolo desde la papelera):
|
||||
if os.path.exists(file_to_recover):
|
||||
# Si la extensión del archivo actual es ".info.checked" la renombramos a ".info" (para que lo pille "updateRepoInfo"):
|
||||
if ext == '.info.checked':
|
||||
os.rename(file_to_recover, file_to_recover.strip('.checked'))
|
||||
file_to_recover = file_to_recover.strip('.checked')
|
||||
shutil.move(file_to_recover, repo_path)
|
||||
|
||||
|
||||
def recover_ou_image(file_path, extensions):
|
||||
""" Recupera la imagen basada en OU que recibe en el parámetro "file_path", y todos sus archivos asociados,
|
||||
moviéndolos a "/opt/opengnsys/images" (desde la papelera), respetando el subdirectorio correspondiente a la OU.
|
||||
"""
|
||||
# Iteramos las extensiones de los archivos, y construimos la ruta completa de cada uno de ellos:
|
||||
for ext in extensions:
|
||||
file_to_recover = f"{file_path}{ext}"
|
||||
# Si el archivo actual existe, lo movemos a "/opt/opengnsys/images/ou_subdir":
|
||||
if os.path.exists(file_to_recover):
|
||||
# Si la extensión del archivo actual es ".info.checked" la renombramos a ".info" (para que lo pille "updateRepoInfo"):
|
||||
if ext == '.info.checked':
|
||||
os.rename(file_to_recover, file_to_recover.strip('.checked'))
|
||||
file_to_recover = file_to_recover.strip('.checked')
|
||||
ou_subdir = file_to_recover.split('/')[4]
|
||||
# Comprobamos si en "repo_path" existe un subdirectorio correspondiente a la OU (y si no existe lo creamos):
|
||||
if not os.path.exists(f"{repo_path}{ou_subdir}"):
|
||||
os.mkdir(f"{repo_path}{ou_subdir}")
|
||||
shutil.move(file_to_recover, f"{repo_path}{ou_subdir}")
|
||||
|
||||
|
||||
def update_repo_info():
|
||||
""" Actualiza la información del repositorio, ejecutando el script "updateRepoInfo.py".
|
||||
Como se ve, es necesario que el script se ejecute como sudo, o dará error.
|
||||
"""
|
||||
try:
|
||||
result = subprocess.run(['sudo', 'python3', update_repo_script], check=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
|
||||
except subprocess.CalledProcessError as error:
|
||||
print(f"Error Output: {error.stderr.decode()}")
|
||||
sys.exit(3)
|
||||
except Exception as error:
|
||||
print(f"Se ha producido un error inesperado: {error}")
|
||||
sys.exit(4)
|
||||
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------------------------
|
||||
# MAIN
|
||||
# --------------------------------------------------------------------------------------------
|
||||
|
||||
|
||||
def main():
|
||||
"""
|
||||
"""
|
||||
# Evaluamos si se ha enviado la cantidad correcta de parámetros, y en el formato correcto:
|
||||
check_params()
|
||||
|
||||
# Obtenemos la ruta completa al archivo a eliminar:
|
||||
file_path = build_file_path()
|
||||
|
||||
# Creamos una lista con las extensiones de los archivos asociados a la imagen
|
||||
# (incluyendo ninguna extensión, que corresponde a la propia imagen):
|
||||
extensions = ['', '.sum', '.full.sum', '.torrent', '.info', '.info.checked']
|
||||
|
||||
# Evaluamos la cantidad de barras que hay en la ruta de la imagen, para diferenciar entre imágenes "normales" y basadas en OU
|
||||
# (y llamamos a la función correspondiente para recuperarla):
|
||||
if file_path.count('/') == 4:
|
||||
print("Recovering normal image...")
|
||||
recover_normal_image(file_path, extensions)
|
||||
elif file_path.count('/') == 5:
|
||||
print("Recovering OU based image...")
|
||||
recover_ou_image(file_path, extensions)
|
||||
|
||||
# Actualizamos la información del repositorio, ejecutando el script "updateRepoInfo.py":
|
||||
print("Updating Repository Info...")
|
||||
update_repo_info()
|
||||
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------------------------
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
|
||||
# --------------------------------------------------------------------------------------------
|
||||
|
||||
|
||||
Loading…
Reference in New Issue