Plataforma IA EETAC

Infraestructura local d’inferència de models de llenguatge (LLM) per a finalitats docents a l’EETAC.

Descripció

La Plataforma IA de l'EETAC és un servei de recursos de computació gestionat per l'equip de CBLTIC que permet carregar i oferir models de llenguatge d'Intel·ligència Artificial (IA) en local per al seu ús dins el marc docent de l'Escola.

Aquesta infraestructura neix per donar resposta a la demanda de disposar d'una plataforma específica per a l'execució de models d'IA en local, garantint la privadesa de les dades i oferint una alternativa als serveis comercials externs. El servei està basat en un servidor d'altes prestacions situat al CPD del Campus, equipat amb tecnologia de virtualització de GPUs (vGPU) de NVIDIA per atendre múltiples usuaris de forma simultània.

Modalitats del servei

El sistema està dissenyat per oferir dues modalitats principals d'accés segons les necessitats de l'assignatura:

• Servei A: Màquina Virtual d'Accés Complet (Pràctiques) S'ofereix una màquina virtual (MV) amb privilegis d'administrador per a la realització de pràctiques lliures. Aquest entorn tipus workbench inclou el programari LMStudio amb models ja pre-carregats i permet la instal·lació de programari addicional com Ollama.
• Servei B: Endpoint d'IA via API Accés directe al servidor local d'inferència mitjançant una API KEY. Aquesta modalitat ofereix una arquitectura compatible amb els estàndards de mercat (com les APIs d'OpenAI o Anthropic), facilitant la integració directa de la IA en el codi o aplicacions desenvolupades per l'estudiantat.

Característiques de l’equipament

La plataforma compta amb un maquinari d'última generació dimensionat per a tasques d'inferència:

• Servidor: Dell amb processadors Intel Xeon i 128GB de RAM
• Acceleració: Targetes NVIDIA L4 amb 24GB de VRAM, amb capacitat d'escalabilitat
• Recursos per usuari: Les màquines virtuals estàndard disposen de 8 vCPUs, 24GB de RAM i perfils de vGPU de 8GB o 12GB de NVRAM segons la necessitat
• Models: Accés a catàlegs actualitzats de models com Gemma o Qwen

Accés i suport

El PDI de l'EETAC que vulgui incorporar aquest servei a la seva docència pot posar-se en contacte amb l'equip de suport.