Introducción
La mayor parte de lo que haces en un escritorio no necesita ninguna tarjeta gráfica.
Una shell, un servidor web, una base de datos, un compilador — ninguno dibuja nada, y el dispositivo de vídeo virtual que Isard da a cada máquina basta para pintar un prompt de inicio de sesión.
Cuatro cosas sí la necesitan, y son las cuatro que traen a la gente a esta página:
- diseño 3D y CAD — el programa no arranca sin ella;
- edición de vídeo — arranca, y luego tarda cuarenta minutos por cada minuto de metraje;
- entrenar o ejecutar un modelo — un modelo de lenguaje en Ollama es el caso habitual aquí;
- cualquier cosa que diga CUDA en sus instrucciones de instalación.
Isard te puede dar una. No una tarjeta entera — un trozo de una.
Qué es una vGPU
La tecnología es NVIDIA vWS, y la idea es la misma que la del resto de la plataforma.
Un servidor físico tiene dentro un cierto número de tarjetas. Cada tarjeta se divide en perfiles, cada perfil con una cantidad fija de memoria reservada, y cada perfil se convierte en una GPU virtual que se conecta a un escritorio.
Menos perfiles y más grandes, o más perfiles y más pequeños — esa es la decisión que toma quien gestiona el servidor, y es la razón por la que la respuesta a cuánta VRAM me toca es un número que alguien escogió, no el de la tarjeta.
Pedirla
Esto no se activa marcando una casilla.
El perfil que puede usar tu cuenta se configura en la cuenta, no en el escritorio, y configurarlo es un ticket a través de Àtom:
Por favor, activad el perfil de vGPU
4Qpara el usuario12345678a@edu.gencat.cat.
4Q es el habitual — un perfil de la serie Q con 4 GB de memoria reservada, que es el aspecto que tiene un perfil de estación de trabajo virtual.
Pídelo al principio del curso, no la noche antes de la entrega.
Una vez activado, el perfil aparece en las opciones avanzadas del formulario de creación, y un escritorio creado con él tiene una GPU de verdad dentro.
Reservar
Un escritorio con GPU es el caso en que la regla de reservas de Escritorio deja de ser teórica.
Arranca uno sin reserva:
$ isard start gpu-box
✓ Resolved desktop: gpu-box (state: Stopped)
✗ Cannot start gpu-box: booking required
Cannot start gpu-box: a booking is required before this desktop can be started.
Re-run with --book to create a booking starting now, or visit the IsardVDI web interface.
No es un fallo ni es tu cuota. Hay cuatro perfiles en el edificio y tú eres la quinta persona que lo pide.
--book reserva la franja y arranca:
$ isard start gpu-box --book --wait
✓ Resolved desktop: gpu-box (state: Stopped)
✓ gpu-box → Starting
✓ gpu-box is now Started
Una hora por defecto. Una sesión más larga hay que decirla:
$ isard start gpu-box --book --book-minutes 180 --wait
✓ Resolved desktop: gpu-box (state: Stopped)
✓ gpu-box → Starting
✓ gpu-box is now Started
La interfaz web tiene un calendario para lo mismo, y es la mejor herramienta cuando quieres una franja para mañana y no para ahora.
EjercicioPide, y luego pide bien
Intenta arrancar un escritorio con GPU sin reserva, lee el error y luego arráncalo con una.
Mostrar la solución
$ isard start gpu-box
✓ Resolved desktop: gpu-box (state: Stopped)
✗ Cannot start gpu-box: booking required
Cannot start gpu-box: a booking is required before this desktop can be started.
Re-run with --book to create a booking starting now, or visit the IsardVDI web interface.
$ isard start gpu-box --book --wait
✓ Resolved desktop: gpu-box (state: Stopped)
✓ gpu-box → Starting
✓ gpu-box is now Started
Vale la pena hacerlo una vez a propósito, para reconocer este error cuando lo vuelvas a ver. Quedarte sin cuota de memoria también impide arrancar, pero con un mensaje distinto — Failed to start desktop — y la solución para ese caso es una máquina más pequeña, no una reserva.
El driver tiene que coincidir
Ahora viene la parte que hace perder una tarde.
Una vGPU no es una tarjeta entera, y el driver del invitado habla con un driver del host en el servidor. Los dos tienen que ser la misma versión.
No compatibles. La misma.
Averigua qué versión tiene el host:
$ nvidia-smi | grep -i "Driver Version"
| NVIDIA-SMI 535.183.06 Driver Version: 535.183.06 CUDA Version: 12.2 |
535.183.06 es el número que hay que instalar en el invitado.
Instala uno más nuevo — que es lo que te dirá cualquier página de internet sobre cómo instalar los drivers de NVIDIA en Ubuntu — y el driver se carga, nvidia-smi falla, y nada te dice por qué.
EjercicioComprueba antes de instalar
Tienes un escritorio con GPU. Antes de instalar nada, averigua qué versión de driver necesita.
Mostrar la solución
$ isard ssh gpu-box -- 'nvidia-smi | grep -i "Driver Version"'
| NVIDIA-SMI 535.183.06 Driver Version: 535.183.06 CUDA Version: 12.2 |
Si nvidia-smi ni siquiera existe, el invitado todavía no tiene driver y la versión que necesitas es la que indica la documentación de la plataforma para los servidores de tu centro — pregúntalo a través de Àtom en lugar de adivinarlo.
La lección es el hábito: en una máquina con vGPU, qué versión va antes que instalar.
Y luego úsala
Cuando nvidia-smi responde dentro del invitado, la máquina es una máquina Linux normal con una GPU dentro.
$ isard ssh gpu-box -- nvidia-smi
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 535.183.06 Driver Version: 535.183.06 CUDA 12.2 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| 0 GRID RTX6000-4Q On | 00000000:00:05.0 Off | N/A |
| | 512MiB / 4096MiB | 0% Default |
+-------------------------------+----------------------+----------------------+
4096MiB es el perfil, no la tarjeta. Ese número es tu presupuesto, y es con el que hay que comparar un modelo antes de descargarlo.
Ollama es el siguiente paso.
Ejercicios
EjercicioLee la salida
A partir del bloque de nvidia-smi de arriba, responde:
- ¿En qué perfil está este escritorio?
- ¿Cuánta memoria puede usar un modelo?
- ¿Cabría un modelo de 7.000 millones de parámetros con cuantización de 4 bits?
Mostrar la solución
GRID RTX6000-4Q— un perfil de la serie Q sacado de una RTX 6000.4096MiB, de los cuales 512 ya están en uso. Así que un poco menos de 3,5 GB.- Más o menos, sí — unos 4 GB de pesos a 4 bits, que está justo en el límite y dependerá de la longitud de contexto que pidas.
La tercera respuesta es la útil: en una vGPU, la pregunta ¿cabrá este modelo? tiene un número exacto, y es más pequeño que el de la tarjeta.
EjercicioReserva, trabaja, libera
Reserva un escritorio con GPU durante el tiempo más corto que creas necesitar, haz algo en él y detenlo antes de que acabe la franja.
Mostrar la solución
$ isard start gpu-box --book --book-minutes 30 --wait
✓ Resolved desktop: gpu-box (state: Stopped)
✓ gpu-box → Starting
✓ gpu-box is now Started
$ isard ssh gpu-box -- nvidia-smi
...
$ isard stop gpu-box --wait
✓ Resolved desktop: gpu-box (state: Started)
✓ gpu-box → Stopping
✓ gpu-box is now Stopped
Detenerlo antes de tiempo es el ejercicio.
Hay cuatro de estas en el edificio. La franja que devuelves es la que obtiene otra persona.