Introducció
La major part del que fas en un escriptori no necessita cap targeta gràfica.
Un intèrpret d'ordres, un servidor web, una base de dades, un compilador — cap d'ells no dibuixa res, i amb el dispositiu de vídeo virtual que Isard dona a cada màquina n'hi ha prou per pintar un indicador d'inici de sessió.
Quatre coses sí que la necessiten, i són les quatre que porten la gent a aquesta pàgina:
- disseny 3D i CAD — el programa no arrenca sense targeta;
- edició de vídeo — arrenca, i després triga quaranta minuts per cada minut de metratge;
- entrenar o executar un model — un model de llenguatge a Ollama és el cas habitual aquí;
- qualsevol cosa que digui CUDA a les instruccions d'instal·lació.
Isard te'n pot donar una. No una targeta sencera — un tros d'una.
Què és una vGPU
La tecnologia és NVIDIA vWS, i la idea és la mateixa que la de la resta de la plataforma.
Un servidor físic té un cert nombre de targetes. Cada targeta es divideix en perfils, cada perfil amb una quantitat fixa de memòria reservada, i cada perfil esdevé una GPU virtual que es connecta a un escriptori.
Menys perfils i més grans, o més perfils i més petits — aquesta és la decisió que pren qui gestiona el servidor, i és per això que la resposta a quanta VRAM em toca és un número que algú ha triat, no el de la targeta.
Demanar-la
Això no s'activa marcant una casella.
El perfil que pot fer servir el teu compte es configura al compte, no a l'escriptori, i configurar-lo és una incidència a través d'Àtom:
Si us plau, activeu el perfil de vGPU
4Qper a l'usuari12345678a@edu.gencat.cat.
4Q és l'habitual — un perfil de la sèrie Q amb 4 GB de memòria reservada, que és l'aspecte que té un perfil d'estació de treball virtual.
Demana-ho a l'inici del curs, no la nit abans de l'entrega.
Un cop activat, el perfil apareix a les opcions avançades del formulari de creació, i un escriptori creat amb aquest perfil té una GPU de debò a dins.
Reservar
Un escriptori amb GPU és el cas en què la regla de reserves d'Escriptori deixa de ser teòrica.
Arrenca'n un sense reserva:
$ isard start gpu-box
✗ this desktop needs a booking before it can start.
No és cap error ni és la teva quota. Hi ha quatre perfils a l'edifici i tu ets la cinquena persona que en demana un.
--book reserva la franja i arrenca:
$ isard start gpu-box --book --wait
✓ Booked 60 minutes from now
⠹ Waiting for 'gpu-box' to start...
✓ Desktop 'gpu-box' is running
Una hora per defecte. Una sessió més llarga s'ha de dir:
$ isard start gpu-box --book --book-minutes 180 --wait
✓ Booked 180 minutes from now
La interfície web té un calendari per al mateix, i és la millor eina quan vols una franja per a demà i no per ara.
ExerciciDemana, i després demana bé
Prova d'arrencar un escriptori amb GPU sense reserva, llegeix l'error i després arrenca'l amb una reserva.
Mostra la solució
$ isard start gpu-box
✗ this desktop needs a booking before it can start.
$ isard start gpu-box --book --wait
✓ Booked 60 minutes from now
✓ Desktop 'gpu-box' is running
Val la pena fer-ho una vegada expressament, perquè el mateix error apareix quan simplement t'has quedat sense quota de memòria — i la solució en aquest cas és una màquina més petita, no una reserva.
El controlador ha de coincidir
Ara ve la part que fa perdre una tarda.
Una vGPU no és una targeta sencera, i el controlador del convidat parla amb un controlador de l'amfitrió al servidor. Tots dos han de ser la mateixa versió.
No compatibles. La mateixa.
Esbrina quina versió té l'amfitrió:
$ nvidia-smi | grep -i "Driver Version"
| NVIDIA-SMI 535.183.06 Driver Version: 535.183.06 CUDA Version: 12.2 |
535.183.06 és el número que cal instal·lar al convidat.
Instal·la'n un de més nou — que és el que et dirà qualsevol pàgina d'internet sobre com instal·lar els controladors de NVIDIA a Ubuntu — i el controlador es carrega, nvidia-smi falla, i res no et diu per què.
ExerciciComprova abans d'instal·lar
Tens un escriptori amb GPU. Abans d'instal·lar res, esbrina quina versió de controlador necessita.
Mostra la solució
$ isard ssh gpu-box -- 'nvidia-smi | grep -i "Driver Version"'
| NVIDIA-SMI 535.183.06 Driver Version: 535.183.06 CUDA Version: 12.2 |
Si nvidia-smi ni tan sols existeix, el convidat encara no té controlador i la versió que necessites és la que indica la documentació de la plataforma per als servidors del teu centre — pregunta-ho a través d'Àtom en lloc d'endevinar-ho.
La lliçó és l'hàbit: en una màquina amb vGPU, quina versió va abans que instal·lar.
I després fes-la servir
Quan nvidia-smi respon dins del convidat, la màquina és una màquina Linux normal amb una GPU a dins.
$ isard ssh gpu-box -- nvidia-smi
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 535.183.06 Driver Version: 535.183.06 CUDA 12.2 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| 0 GRID RTX6000-4Q On | 00000000:00:05.0 Off | N/A |
| | 512MiB / 4096MiB | 0% Default |
+-------------------------------+----------------------+----------------------+
4096MiB és el perfil, no la targeta. Aquest número és el teu pressupost, i és amb el que has de comparar un model abans de descarregar-lo.
Ollama és el pas següent.
Exercicis
ExerciciLlegeix la sortida
A partir del bloc de nvidia-smi de més amunt, respon:
- En quin perfil és aquest escriptori?
- Quanta memòria pot fer servir un model?
- Hi cabria un model de 7.000 milions de paràmetres amb quantització de 4 bits?
Mostra la solució
GRID RTX6000-4Q— un perfil de la sèrie Q tret d'una RTX 6000.4096MiB, dels quals 512 ja estan en ús. Per tant, una mica menys de 3,5 GB.- Més o menys, sí — uns 4 GB de pesos a 4 bits, que és just al límit i dependrà de la longitud de context que demanis.
La tercera resposta és la útil: en una vGPU, la pregunta hi cabrà aquest model? té un número exacte, i és més petit que el de la targeta.
ExerciciReserva, treballa, allibera
Reserva un escriptori amb GPU durant el temps més curt que creguis que necessites, fes-hi alguna cosa i atura'l abans que s'acabi la franja.
Mostra la solució
$ isard start gpu-box --book --book-minutes 30 --wait
✓ Booked 30 minutes from now
✓ Desktop 'gpu-box' is running
$ isard ssh gpu-box -- nvidia-smi
...
$ isard stop gpu-box --wait
✓ Desktop 'gpu-box' is stopped
Aturar-lo abans d'hora és l'exercici.
N'hi ha quatre a l'edifici. La franja que retornes és la que obté una altra persona.