refs #631 - Add recoverImage.py
parent
9e5edcdbdf
commit
ccd0ebd8ef
19
README.md
19
README.md
|
@ -199,7 +199,7 @@ curl -X POST -H "Authorization: $API_KEY" -H "Content-Type: application/json" -d
|
||||||
### Importar una Imagen
|
### Importar una Imagen
|
||||||
|
|
||||||
Se importará una imagen de un repositorio remoto al repositorio local.
|
Se importará una imagen de un repositorio remoto al repositorio local.
|
||||||
Se puede hacer con el script "**importimage**", que actualmente no se utiliza.
|
Se puede intentar hacer con el script "**importimage**", que actualmente no se utiliza, pero seguramente habrá que modificarlo.
|
||||||
|
|
||||||
**URL:** `/ogrepository/v1/images/import-image`
|
**URL:** `/ogrepository/v1/images/import-image`
|
||||||
**Método HTTP:** POST
|
**Método HTTP:** POST
|
||||||
|
@ -223,7 +223,7 @@ curl -X POST -H "Authorization: $API_KEY" -H "Content-Type: application/json" -d
|
||||||
### Enviar una Imagen mediante UDPcast
|
### Enviar una Imagen mediante UDPcast
|
||||||
|
|
||||||
Se enviará una imagen por Multicast, mediante la aplicación UDPcast.
|
Se enviará una imagen por Multicast, mediante la aplicación UDPcast.
|
||||||
Se puede hacer con el script "**sendFileMcast**", que a su vez llama al binario "**udp-sender**", que es quien realmente realiza el envío.
|
Se puede hacer con el script "**sendFileMcast.py**", que a su vez llama al binario "**udp-sender**", que es quien realmente realiza el envío.
|
||||||
|
|
||||||
**URL:** `/ogrepository/v1/images/{protocol}`
|
**URL:** `/ogrepository/v1/images/{protocol}`
|
||||||
**Método HTTP:** POST
|
**Método HTTP:** POST
|
||||||
|
@ -306,7 +306,7 @@ curl -X POST -H "Authorization: $API_KEY" -H "Content-Type: application/json" -d
|
||||||
### Enviar una Imagen mediante P2P
|
### Enviar una Imagen mediante P2P
|
||||||
|
|
||||||
Se debe hacer tracking de los torrents almacenados en ogRepository, e iniciar la transferencia de la imagen especificada (además, los clientes deben disponer del torrent asociado, y añadirlo a su cliente torrent).
|
Se debe hacer tracking de los torrents almacenados en ogRepository, e iniciar la transferencia de la imagen especificada (además, los clientes deben disponer del torrent asociado, y añadirlo a su cliente torrent).
|
||||||
No tengo claro cómo se haría con los scripts existentes (que utilizan "bttrack" y "ctorrent"), pero si usáramos "opentracker" y "transmission", se debería crear nuevos scripts.
|
No tengo claro cómo se haría con los scripts existentes (que utilizan "bttrack" y "ctorrent"), pero si usáramos "opentracker" y "transmission" (como se había propuesto), se debería crear nuevos scripts.
|
||||||
|
|
||||||
**URL:** `/ogrepository/v1/images/{protocol}`
|
**URL:** `/ogrepository/v1/images/{protocol}`
|
||||||
**Método HTTP:** POST
|
**Método HTTP:** POST
|
||||||
|
@ -331,7 +331,7 @@ curl -X POST -H "Authorization: $API_KEY" -H "Content-Type: application/json" -d
|
||||||
### Chequear Integridad de Imagen
|
### Chequear Integridad de Imagen
|
||||||
|
|
||||||
Se comprobará la integridad de todos los ficheros asociados a la imagen especificada como parámetro.
|
Se comprobará la integridad de todos los ficheros asociados a la imagen especificada como parámetro.
|
||||||
Para esto, entiendo que se debe crear un script que compare el contenido de los ficheros "**.sum**" y "**.full.sum**" con una nueva extracción del checksum de la imagen, pero no veo como comprobar la integridad de todos los archivos asociados.
|
Para esto, entiendo que se debe crear un script que compare el contenido de los ficheros "**.sum**" y "**.full.sum**" con una nueva obtención del checksum de la imagen, pero no veo como comprobar la integridad de todos los archivos asociados.
|
||||||
|
|
||||||
**URL:** `/ogrepository/v1/images/check-image`
|
**URL:** `/ogrepository/v1/images/check-image`
|
||||||
**Método HTTP:** GET
|
**Método HTTP:** GET
|
||||||
|
@ -354,8 +354,7 @@ curl -X POST -H "Authorization: $API_KEY" -H "Content-Type: application/json" -d
|
||||||
### Exportar una Imagen
|
### Exportar una Imagen
|
||||||
|
|
||||||
Se exportará una imagen del repositorio local a un repositorio remoto.
|
Se exportará una imagen del repositorio local a un repositorio remoto.
|
||||||
Se debe crear un script que realice dicha tarea (o se puede utilizar el script "**importimage**", que realiza la acción contraria, pero que actualmente no se utiliza).
|
Se debe crear un script que realice dicha tarea (o se puede intentar utilizar el script "**importimage**", que realiza la acción contraria, pero que actualmente no se utiliza).
|
||||||
|
|
||||||
**NOTA**: Aunque no se indica en el pliego, entendemos que también será necesario especificar credenciales de acceso al repositorio remoto como parámetros de entrada.
|
**NOTA**: Aunque no se indica en el pliego, entendemos que también será necesario especificar credenciales de acceso al repositorio remoto como parámetros de entrada.
|
||||||
|
|
||||||
**URL:** `/ogrepository/v1/images/export-image`
|
**URL:** `/ogrepository/v1/images/export-image`
|
||||||
|
@ -380,7 +379,7 @@ curl -X POST -H "Authorization: $API_KEY" -H "Content-Type: application/json" -d
|
||||||
### Definir Imagen Global
|
### Definir Imagen Global
|
||||||
|
|
||||||
Se marcará como "global" la imagen especificada como parámetro.
|
Se marcará como "global" la imagen especificada como parámetro.
|
||||||
En principio, esto requerirá agregar una nueva clave al archivo "**/opt/opengnsys/etc/repoinfo.json**" (por ejemplo, "scope"), modificando el script "**checkrepo**", para que realice dicha modificación.
|
En principio, esto requerirá agregar una nueva clave al archivo "**/opt/opengnsys/etc/repoinfo.json**" (por ejemplo, "scope"), modificando el script "**updateRepoInfo.py**", para que realice dicha modificación.
|
||||||
También debe crearse un script que realice la definición de la imagen especificada (modificando el valor de la nueva clave del archivo "**/opt/opengnsys/etc/repoinfo.json**", de "local" a "global", por ejemplo).
|
También debe crearse un script que realice la definición de la imagen especificada (modificando el valor de la nueva clave del archivo "**/opt/opengnsys/etc/repoinfo.json**", de "local" a "global", por ejemplo).
|
||||||
Además, deberá llamarse a un script que exporte dicha imagen a los demás repositorios gestionados por el servidor de administración (que aun no está creado).
|
Además, deberá llamarse a un script que exporte dicha imagen a los demás repositorios gestionados por el servidor de administración (que aun no está creado).
|
||||||
|
|
||||||
|
@ -403,8 +402,8 @@ curl -X PUT -H "Authorization: $API_KEY" -H "Content-Type: application/json" -d
|
||||||
---
|
---
|
||||||
### Definir Imagen Local
|
### Definir Imagen Local
|
||||||
|
|
||||||
Se marcará como "local" la imagen especificada como parámetro, que previamente habría sido marcada como "global" (ya que de forma predeterminada, todas las imágenes estarán marcadas como "local").
|
Se marcará como "local" la imagen especificada como parámetro, que previamente habría sido marcada como "global" (ya que entiendo que de forma predeterminada, todas las imágenes estarán marcadas como "local").
|
||||||
Como comentábamos en el endpoint precedentte, esto requerirá agregar una nueva clave al archivo "**/opt/opengnsys/etc/repoinfo.json**" (por ejemplo, "scope"), modificando el script "**checkrepo**", para que realice dicha modificación.
|
Como comentábamos en el endpoint precedentte, esto requerirá agregar una nueva clave al archivo "**/opt/opengnsys/etc/repoinfo.json**" (por ejemplo, "scope"), modificando el script "**updateRepoInfo.py**", para que realice dicha modificación.
|
||||||
También debe crearse un script que realice la definición de la imagen especificada (modificando el valor de la nueva clave del archivo "**/opt/opengnsys/etc/repoinfo.json**", de "global" a "local", por ejemplo).
|
También debe crearse un script que realice la definición de la imagen especificada (modificando el valor de la nueva clave del archivo "**/opt/opengnsys/etc/repoinfo.json**", de "global" a "local", por ejemplo).
|
||||||
Este endpoint deberá ser llamado en todos los repositorios gestionados por el mismo servidor de administración (para que todos hagan la modificación).
|
Este endpoint deberá ser llamado en todos los repositorios gestionados por el mismo servidor de administración (para que todos hagan la modificación).
|
||||||
|
|
||||||
|
@ -429,7 +428,7 @@ curl -X PUT -H "Authorization: $API_KEY" -H "Content-Type: application/json" -d
|
||||||
|
|
||||||
Se devolverá información del estado de las transmisiones existentes, con un identificador de cada sesión multicast o P2P, y la imagen asociada.
|
Se devolverá información del estado de las transmisiones existentes, con un identificador de cada sesión multicast o P2P, y la imagen asociada.
|
||||||
Se debe estudiar como realizar esta tarea para cada uno de los protocolos de transmisión, ya que cada uno tiene sus particularidades, y habitualmente no tienen comandos asociados para comprobar el estado de las transmisiones.
|
Se debe estudiar como realizar esta tarea para cada uno de los protocolos de transmisión, ya que cada uno tiene sus particularidades, y habitualmente no tienen comandos asociados para comprobar el estado de las transmisiones.
|
||||||
Y tampoco está claro que protocolo se utilizará para transimisiones Multicast (¿"UDPcast", "UFTP", o ambos?), ni qué programas se utilizarán para P2P (¿"ctorrent/bttrack" u "opentracker/Transmission"?).
|
Y tampoco está claro qué protocolo se utilizará para transimisiones Multicast (¿"UDPcast", "UFTP", o ambos?), ni qué programas se utilizarán para P2P (¿"ctorrent/bttrack" u "opentracker/Transmission"?).
|
||||||
**NOTA**: Posiblemente deba crearse un endpoint específico para cada uno de los protocolos que se utilicen.
|
**NOTA**: Posiblemente deba crearse un endpoint específico para cada uno de los protocolos que se utilicen.
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
|
@ -0,0 +1,199 @@
|
||||||
|
#!/usr/bin/env python3
|
||||||
|
# -*- coding: utf-8 -*-
|
||||||
|
|
||||||
|
"""
|
||||||
|
Este script recupera la imagen que recibe como parámetro (y todos sus archivos asociados), moviendo los archivos a "/opt/opengnsys/images", desde la papelera
|
||||||
|
(respetando el subdirectorio correspondiente a la OU, si fuera el caso).
|
||||||
|
Llama al script "updateRepoInfo.py", para actualizar la información del repositorio.
|
||||||
|
|
||||||
|
Parámetros
|
||||||
|
------------
|
||||||
|
sys.argv[1] - Nombre completo de la imagen a recuperar (con o sin ruta), pero incluyendo el subdirectorio correspondiente a la OU, si es el caso.
|
||||||
|
- Ejemplo1: image1.img
|
||||||
|
- Ejemplo2: /opt/opengnsys/images_trash/image1.img
|
||||||
|
- Ejemplo3: ou_subdir/image1.img
|
||||||
|
- Ejemplo4: /ou_subdir/image1.img
|
||||||
|
- Ejemplo5: /opt/opengnsys/images_trash/ou_subdir/image1.img
|
||||||
|
|
||||||
|
Sintaxis
|
||||||
|
----------
|
||||||
|
./recoverImage.py [ou_subdir/]image_name|/image_path/image_name
|
||||||
|
|
||||||
|
Ejemplos
|
||||||
|
---------
|
||||||
|
./recoverImage.py image1.img
|
||||||
|
./recoverImage.py /opt/opengnsys/images_trash/image1.img
|
||||||
|
./recoverImage.py ou_subdir/image1.img
|
||||||
|
./recoverImage.py /ou_subdir/image1.img
|
||||||
|
./recoverImage.py /opt/opengnsys/images_trash/ou_subdir/image1.img
|
||||||
|
"""
|
||||||
|
|
||||||
|
# --------------------------------------------------------------------------------------------
|
||||||
|
# IMPORTS
|
||||||
|
# --------------------------------------------------------------------------------------------
|
||||||
|
|
||||||
|
import os
|
||||||
|
import sys
|
||||||
|
import shutil
|
||||||
|
import subprocess
|
||||||
|
|
||||||
|
|
||||||
|
# --------------------------------------------------------------------------------------------
|
||||||
|
# VARIABLES
|
||||||
|
# --------------------------------------------------------------------------------------------
|
||||||
|
|
||||||
|
script_name = os.path.basename(__file__)
|
||||||
|
repo_path = '/opt/opengnsys/images/'
|
||||||
|
trash_path = '/opt/opengnsys/images_trash/'
|
||||||
|
update_repo_script = '/opt/opengnsys/py_scripts/updateRepoInfo.py'
|
||||||
|
|
||||||
|
|
||||||
|
# --------------------------------------------------------------------------------------------
|
||||||
|
# FUNCTIONS
|
||||||
|
# --------------------------------------------------------------------------------------------
|
||||||
|
|
||||||
|
|
||||||
|
def show_help():
|
||||||
|
""" Imprime la ayuda, cuando se ejecuta el script con el parámetro "help".
|
||||||
|
"""
|
||||||
|
help_text = f"""
|
||||||
|
Sintaxis: {script_name} [ou_subdir/]image_name|/image_path/image_name
|
||||||
|
Ejemplo1: {script_name} image1.img
|
||||||
|
Ejemplo2: {script_name} /opt/opengnsys/images_trash/image1.img
|
||||||
|
Ejemplo3: {script_name} ou_subdir/image1.img
|
||||||
|
Ejemplo4: {script_name} /ou_subdir/image1.img
|
||||||
|
Ejemplo5: {script_name} /opt/opengnsys/images_trash/ou_subdir/image1.img
|
||||||
|
"""
|
||||||
|
print(help_text)
|
||||||
|
|
||||||
|
|
||||||
|
def check_params():
|
||||||
|
""" Comprueba que se haya enviado la cantidad correcta de parámetros, y en el formato correcto.
|
||||||
|
Si no es así, muestra un mensaje de error, y sale del script.
|
||||||
|
LLama a la función "show_help" cuando se ejecuta el script con el parámetro "help".
|
||||||
|
"""
|
||||||
|
# Si se ejecuta el script sin parámetros, se muestra un error y la ayuda, y se sale del script:
|
||||||
|
if len(sys.argv) == 1:
|
||||||
|
print(f"{script_name} Error: Formato incorrecto: Se debe especificar al menos 1 parámetro")
|
||||||
|
show_help()
|
||||||
|
sys.exit(0)
|
||||||
|
# Si se ejecuta el script con el parámetro "help", se muestra la ayuda, y se sale del script:
|
||||||
|
elif len(sys.argv) == 2 and sys.argv[1] == "help":
|
||||||
|
show_help()
|
||||||
|
sys.exit(1)
|
||||||
|
# Si se ejecuta el script con más de 1 parámetro, se muestra un error y la ayuda, y se sale del script:
|
||||||
|
elif len(sys.argv) > 2:
|
||||||
|
print(f"{script_name} Error: Formato incorrecto: Se debe especificar 1 parámetro")
|
||||||
|
show_help()
|
||||||
|
sys.exit(2)
|
||||||
|
|
||||||
|
|
||||||
|
def build_file_path():
|
||||||
|
""" Construye la ruta completa al archivo a recuperar
|
||||||
|
(agregando "/opt/opengnsys/images_trash/" si no se ha especificado en el parámetro).
|
||||||
|
"""
|
||||||
|
param_path = sys.argv[1]
|
||||||
|
# Si la ruta comienza con una barra, pero que no corresponde a "trash_path"
|
||||||
|
# (porque corresponderá al subdirectorio de una OU), eliminamos la barra:
|
||||||
|
if param_path.startswith('/') and not param_path.startswith(trash_path):
|
||||||
|
param_path = param_path.lstrip('/')
|
||||||
|
# Construimos la ruta completa:
|
||||||
|
if not param_path.startswith(trash_path):
|
||||||
|
file_path = os.path.join(trash_path, param_path)
|
||||||
|
else:
|
||||||
|
file_path = param_path
|
||||||
|
return file_path
|
||||||
|
|
||||||
|
|
||||||
|
def recover_normal_image(file_path, extensions):
|
||||||
|
""" Recupera la imagen "normal" que recibe en el parámetro "file_path", y todos sus archivos asociados,
|
||||||
|
moviéndolos a "/opt/opengnsys/images" (desde la papelera).
|
||||||
|
"""
|
||||||
|
# Iteramos las extensiones de los archivos, y construimos la ruta completa de cada uno de ellos:
|
||||||
|
for ext in extensions:
|
||||||
|
file_to_recover = f"{file_path}{ext}"
|
||||||
|
# Si el archivo actual existe, lo movemos a "/opt/opengnsys/images" (recuperándolo desde la papelera):
|
||||||
|
if os.path.exists(file_to_recover):
|
||||||
|
# Si la extensión del archivo actual es ".info.checked" la renombramos a ".info" (para que lo pille "updateRepoInfo"):
|
||||||
|
if ext == '.info.checked':
|
||||||
|
os.rename(file_to_recover, file_to_recover.strip('.checked'))
|
||||||
|
file_to_recover = file_to_recover.strip('.checked')
|
||||||
|
shutil.move(file_to_recover, repo_path)
|
||||||
|
|
||||||
|
|
||||||
|
def recover_ou_image(file_path, extensions):
|
||||||
|
""" Recupera la imagen basada en OU que recibe en el parámetro "file_path", y todos sus archivos asociados,
|
||||||
|
moviéndolos a "/opt/opengnsys/images" (desde la papelera), respetando el subdirectorio correspondiente a la OU.
|
||||||
|
"""
|
||||||
|
# Iteramos las extensiones de los archivos, y construimos la ruta completa de cada uno de ellos:
|
||||||
|
for ext in extensions:
|
||||||
|
file_to_recover = f"{file_path}{ext}"
|
||||||
|
# Si el archivo actual existe, lo movemos a "/opt/opengnsys/images/ou_subdir":
|
||||||
|
if os.path.exists(file_to_recover):
|
||||||
|
# Si la extensión del archivo actual es ".info.checked" la renombramos a ".info" (para que lo pille "updateRepoInfo"):
|
||||||
|
if ext == '.info.checked':
|
||||||
|
os.rename(file_to_recover, file_to_recover.strip('.checked'))
|
||||||
|
file_to_recover = file_to_recover.strip('.checked')
|
||||||
|
ou_subdir = file_to_recover.split('/')[4]
|
||||||
|
# Comprobamos si en "repo_path" existe un subdirectorio correspondiente a la OU (y si no existe lo creamos):
|
||||||
|
if not os.path.exists(f"{repo_path}{ou_subdir}"):
|
||||||
|
os.mkdir(f"{repo_path}{ou_subdir}")
|
||||||
|
shutil.move(file_to_recover, f"{repo_path}{ou_subdir}")
|
||||||
|
|
||||||
|
|
||||||
|
def update_repo_info():
|
||||||
|
""" Actualiza la información del repositorio, ejecutando el script "updateRepoInfo.py".
|
||||||
|
Como se ve, es necesario que el script se ejecute como sudo, o dará error.
|
||||||
|
"""
|
||||||
|
try:
|
||||||
|
result = subprocess.run(['sudo', 'python3', update_repo_script], check=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
|
||||||
|
except subprocess.CalledProcessError as error:
|
||||||
|
print(f"Error Output: {error.stderr.decode()}")
|
||||||
|
sys.exit(3)
|
||||||
|
except Exception as error:
|
||||||
|
print(f"Se ha producido un error inesperado: {error}")
|
||||||
|
sys.exit(4)
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
# --------------------------------------------------------------------------------------------
|
||||||
|
# MAIN
|
||||||
|
# --------------------------------------------------------------------------------------------
|
||||||
|
|
||||||
|
|
||||||
|
def main():
|
||||||
|
"""
|
||||||
|
"""
|
||||||
|
# Evaluamos si se ha enviado la cantidad correcta de parámetros, y en el formato correcto:
|
||||||
|
check_params()
|
||||||
|
|
||||||
|
# Obtenemos la ruta completa al archivo a eliminar:
|
||||||
|
file_path = build_file_path()
|
||||||
|
|
||||||
|
# Creamos una lista con las extensiones de los archivos asociados a la imagen
|
||||||
|
# (incluyendo ninguna extensión, que corresponde a la propia imagen):
|
||||||
|
extensions = ['', '.sum', '.full.sum', '.torrent', '.info', '.info.checked']
|
||||||
|
|
||||||
|
# Evaluamos la cantidad de barras que hay en la ruta de la imagen, para diferenciar entre imágenes "normales" y basadas en OU
|
||||||
|
# (y llamamos a la función correspondiente para recuperarla):
|
||||||
|
if file_path.count('/') == 4:
|
||||||
|
print("Recovering normal image...")
|
||||||
|
recover_normal_image(file_path, extensions)
|
||||||
|
elif file_path.count('/') == 5:
|
||||||
|
print("Recovering OU based image...")
|
||||||
|
recover_ou_image(file_path, extensions)
|
||||||
|
|
||||||
|
# Actualizamos la información del repositorio, ejecutando el script "updateRepoInfo.py":
|
||||||
|
print("Updating Repository Info...")
|
||||||
|
update_repo_info()
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
# --------------------------------------------------------------------------------------------
|
||||||
|
|
||||||
|
if __name__ == "__main__":
|
||||||
|
main()
|
||||||
|
|
||||||
|
# --------------------------------------------------------------------------------------------
|
||||||
|
|
||||||
|
|
Loading…
Reference in New Issue