feat(ogcore): infraestructura journal-pull y endpoint de logs de disco #119

Merged
narenas merged 23 commits from devel into main 2026-05-18 15:50:07 +02:00
Collaborator

Resumen de cambios

1. Infraestructura journal-pull para extracción de logs remotos

Nuevo subsistema de recolección de journals de componentes OG:

  • journal-pull@.service: unidad plantilla de systemd que conecta vía systemd-journal-gatewayd (puerto 19531) a cada IP de componente y escribe el journal en /var/log/journal/remote/<IP>.journal con filtros para ogcore, ogdhcp, ogboot, ogrepo, kea, tftpd-hpa y samba
  • JournalPullService + JournalPullSubscriber: habilita/deshabilita automáticamente journal-pull@<IP> al registrar o eliminar un BootServer, DhcpServer o ImageRepository; protege contra borrado de IP compartida entre componentes
  • journal-pull-sync.path + journal-pull-sync.service + journal-pull-sync.sh: watcher de journal-pull-sources.conf que sincroniza instancias activas al modificar el fichero

2. Endpoint GET /opengnsys/system/disk-logs

Nueva acción DiskLogsAction que expone los journals a ogGUI:

  • Acepta SYSLOG_IDENTIFIER como valor único, array o lista separada por comas
  • Parámetro host para leer del journal remoto correspondiente a la IP
  • Salida estructurada en JSON con las entradas de journalctl
  • Límite de líneas configurable (1–1000, por defecto 100)

3. Correcciones en comandos de migración (import-legacy)

  • MigrateHardwareAndHardwareProfileCommand / MigrateSoftwareAndSoftwareProfileCommand: añadido flush() antes de persistir entidades dependientes para respetar el orden FK
  • MigrateImagesCommand: refactorizado para usar ImageImageRepository en lugar de campos obsoletos de Image; eliminado setRemotePc() de la entidad Image
  • HardwareOutput: null-check en getType() para evitar error en importaciones sin tipo de hardware

4. Correcciones en acciones de imagen

  • RemoveCacheImageAction: monta la cache con ogMountCache antes de intentar borrar la imagen
  • ConvertAction / SyncAction: setRemotePc(false) movido a ImageImageRepository (su ubicación correcta); eliminado de Image

5. Empaquetado Debian y postinst

  • Nuevas dependencias: systemd-journal-remote, logrotate
  • postinst (fresh install): symlinks de todas las unidades journal-pull, permisos en api/var/, grupos systemd-journal y systemd-journal-remote para el usuario opengnsys
  • postinst (upgrade): ln -sf en lugar de ln -s para evitar error si el fichero existe; symlinks de mercure.conf e journal-pull añadidos al bloque upgrade; --no-interaction en generación de claves JWT

6. CI/CD — Jenkinsfile-deb-pkg

  • Nuevo stage Generate Changelog (Devel) y stage Publish to Debian Repository (Devel) con sufijo ~devel en Aptly
  • El bloque post.success lanza Aptly publish develop repository en la rama devel

CHANGELOG: versiones 1.8.2, 1.8.1, 1.8.0, 1.7.12 — todas con fecha 2026-05-18 ✓

## Resumen de cambios ### 1. Infraestructura journal-pull para extracción de logs remotos Nuevo subsistema de recolección de journals de componentes OG: - `journal-pull@.service`: unidad plantilla de systemd que conecta vía `systemd-journal-gatewayd` (puerto 19531) a cada IP de componente y escribe el journal en `/var/log/journal/remote/<IP>.journal` con filtros para ogcore, ogdhcp, ogboot, ogrepo, kea, tftpd-hpa y samba - `JournalPullService` + `JournalPullSubscriber`: habilita/deshabilita automáticamente `journal-pull@<IP>` al registrar o eliminar un BootServer, DhcpServer o ImageRepository; protege contra borrado de IP compartida entre componentes - `journal-pull-sync.path` + `journal-pull-sync.service` + `journal-pull-sync.sh`: watcher de `journal-pull-sources.conf` que sincroniza instancias activas al modificar el fichero ### 2. Endpoint `GET /opengnsys/system/disk-logs` Nueva acción `DiskLogsAction` que expone los journals a ogGUI: - Acepta `SYSLOG_IDENTIFIER` como valor único, array o lista separada por comas - Parámetro `host` para leer del journal remoto correspondiente a la IP - Salida estructurada en JSON con las entradas de journalctl - Límite de líneas configurable (1–1000, por defecto 100) ### 3. Correcciones en comandos de migración (import-legacy) - `MigrateHardwareAndHardwareProfileCommand` / `MigrateSoftwareAndSoftwareProfileCommand`: añadido `flush()` antes de persistir entidades dependientes para respetar el orden FK - `MigrateImagesCommand`: refactorizado para usar `ImageImageRepository` en lugar de campos obsoletos de `Image`; eliminado `setRemotePc()` de la entidad `Image` - `HardwareOutput`: null-check en `getType()` para evitar error en importaciones sin tipo de hardware ### 4. Correcciones en acciones de imagen - `RemoveCacheImageAction`: monta la cache con `ogMountCache` antes de intentar borrar la imagen - `ConvertAction` / `SyncAction`: `setRemotePc(false)` movido a `ImageImageRepository` (su ubicación correcta); eliminado de `Image` ### 5. Empaquetado Debian y postinst - Nuevas dependencias: `systemd-journal-remote`, `logrotate` - `postinst` (fresh install): symlinks de todas las unidades journal-pull, permisos en `api/var/`, grupos `systemd-journal` y `systemd-journal-remote` para el usuario `opengnsys` - `postinst` (upgrade): `ln -sf` en lugar de `ln -s` para evitar error si el fichero existe; symlinks de `mercure.conf` e `journal-pull` añadidos al bloque upgrade; `--no-interaction` en generación de claves JWT ### 6. CI/CD — `Jenkinsfile-deb-pkg` - Nuevo stage `Generate Changelog (Devel)` y stage `Publish to Debian Repository (Devel)` con sufijo `~devel` en Aptly - El bloque `post.success` lanza `Aptly publish develop repository` en la rama `devel` --- **CHANGELOG:** versiones `1.8.2`, `1.8.1`, `1.8.0`, `1.7.12` — todas con fecha `2026-05-18` ✓
narenas added 23 commits 2026-05-18 14:51:45 +02:00
testing/ogcore-api/pipeline/head There was a failure building this commit Details
d2b7b0265a
Creado endpoint para mostrar logs desde disco de los distintos componentes de OG
testing/ogcore-api/pipeline/head There was a failure building this commit Details
935561e399
Creado endpoint para mostrar logs desde disco de los distintos componentes de OG
ogcore-debian-package/pipeline/head There was a failure building this commit Details
341f10fc97
Testing devel
testing/ogcore-api/pipeline/head There was a failure building this commit Details
ogcore-debian-package/pipeline/head This commit looks good Details
98ba1ff94b
fix Jenkins
ogcore-debian-package/pipeline/head This commit looks good Details
testing/ogcore-api/pipeline/head There was a failure building this commit Details
f23aeda308
Fix non_interaction problem in ogcore
testing/ogcore-api/pipeline/head There was a failure building this commit Details
ogcore-debian-package/pipeline/head This commit looks good Details
3c4d179c86
add remote journal as dependency
6099f6be4b feat(oggui): soporte de múltiples SYSLOG_IDENTIFIER en visor de logs de disco
- StatusLogsComponent: @Input identifiers[] en lugar de identifier string,
  parseo de entries JSON estructurado con formato [timestamp] ID: mensaje
- Templates ogboot, ogdhcp, ogrepository, ogcore-status: identifiers correctos
  por componente y host basado en IP en lugar de nombre del servidor
- Añadidos métodos getSelectedXxxIp() en ogboot, ogdhcp y ogrepository status
testing/ogcore-api/pipeline/head There was a failure building this commit Details
ogcore-debian-package/pipeline/head This commit looks good Details
45bb270198
update CHANGELOG.md
ogcore-debian-package/pipeline/head This commit looks good Details
testing/ogcore-api/pipeline/head There was a failure building this commit Details
d20e1b2789
fix(ogcore): robustez y rotación de logs en infraestructura journal-pull
- journal-pull@.service: Restart=always para reconectar tras salida limpia,
  ExecStartPre elimina el fichero solo si está vacío para evitar cursor inválido
- JournalPullSubscriber: protección contra borrado de IP compartida entre
  componentes al eliminar un servidor; comprueba que ninguna otra entidad
  BootServer, DhcpServer o ImageRepository usa la misma IP antes de
  eliminarla de journal-pull-sources.conf
- logrotate.d/journal-pull: rotación diaria con 10 días de retención para
  los ficheros de journal remoto; nocompress para ficheros binarios;
  para/arranca los servicios journal-pull@ durante la rotación
- debian/control: añadidos logrotate y systemd-journal-remote como dependencias
- debian/ogcore.postinst: enlace de logrotate config, permisos 775 en api/var/
testing/ogcore-api/pipeline/head There was a failure building this commit Details
ogcore-debian-package/pipeline/head This commit looks good Details
34582d5199
Updated CHANGELOG.md
testing/ogcore-api/pipeline/head There was a failure building this commit Details
ogcore-debian-package/pipeline/head This commit looks good Details
a35d49e483
Updted CHANGELOG.md
testing/ogcore-api/pipeline/head There was a failure building this commit Details
ogcore-debian-package/pipeline/head This commit looks good Details
ebb6edf161
Update changelog
testing/ogcore-api/pipeline/head There was a failure building this commit Details
ogcore-debian-package/pipeline/head This commit looks good Details
00107d04de
Add clients log rotation
testing/ogcore-api/pipeline/head There was a failure building this commit Details
ogcore-debian-package/pipeline/head This commit looks good Details
513a0cba81
Add logrotate for clients
testing/ogcore-api/pipeline/head There was a failure building this commit Details
testing/ogcore-api/pipeline/pr-devel Build started... Details
17f8a897fa
Corregido fallo setRemotePc en la entidad Imagen al sincronizar un repositorio
testing/ogcore-api/pipeline/head There was a failure building this commit Details
ogcore-debian-package/pipeline/head This commit looks good Details
49efbaae1f
Merge pull request 'Corregido fallo setRemotePc en la entidad Imagen al sincronizar un repositorio' (#116) from setRemotePc-problem into devel
Reviewed-on: #116
testing/ogcore-api/pipeline/pr-devel Build started... Details
testing/ogcore-api/pipeline/head There was a failure building this commit Details
0016b96e77
Resuelve conflicto de fusión en CHANGELOG.md
testing/ogcore-api/pipeline/head There was a failure building this commit Details
ogcore-debian-package/pipeline/head This commit looks good Details
b04be50c1f
Merge pull request 'import-legacy' (#117) from import-legacy into devel
Reviewed-on: #117
testing/ogcore-api/pipeline/head There was a failure building this commit Details
testing/ogcore-api/pipeline/pr-devel Build queued... Details
a164806a3d
Modificada acción RemoveCacheImage para montar la cache antes de intentar eliminar la imagen
ogcore-debian-package/pipeline/head This commit looks good Details
testing/ogcore-api/pipeline/pr-main There was a failure building this commit Details
testing/ogcore-api/pipeline/head There was a failure building this commit Details
9ca7374847
Merge pull request 'Modificada acción RemoveCacheImage para montar la cache antes de intentar eliminar la imagen' (#118) from delete-cache-image into devel
Reviewed-on: #118
narenas merged commit 0b82295fa1 into main 2026-05-18 15:50:07 +02:00
Sign in to join this conversation.
No reviewers
No Label
No Milestone
No project
No Assignees
1 Participants
Notifications
Due Date
The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: opengnsys/ogcore#119
There is no content yet.