Cuánto cuesta realmente montar un nodo GPU on-prem: números para Chile
Más allá del precio del servidor: electricidad, cooling, espacio físico y opex para los próximos 3 años.
Un servidor Supermicro SYS-521GE con 8×H100 SXM5 cuesta alrededor de USD 380.000 puesto en Chile, con aranceles e IVA incluidos. Ese es el número que aparece en el análisis de negocio inicial. Es el número equivocado para tomar la decisión.
El TCO a 3 años incluye: cooling para un rack que opera entre 8-12 kW (refrigeración líquida directa o precisión aérea, USD 40-60K adicionales), redundancia eléctrica 2N (UPS + PDU, USD 20-30K más), y costo operativo del equipo técnico que lo administra. Con esos factores, el TCO real está entre 2.2-2.7× el costo del hardware.
El precio del servidor es el 40% del costo real. El 60% está en lo que lo rodea.
El punto de quiebre con cloud dedicado depende de la utilización. Para inferencia con utilización bajo 60%, el cloud dedicado en Santiago alcanza paridad de costo entre los meses 18-24. Para entrenamiento con alta utilización, on-prem gana consistentemente después del mes 30.
- TCO real a 3 años: 2.2-2.7× el costo del hardware para GPU servers
- Cooling y redundancia eléctrica suman típicamente USD 60-90K por rack
- Cloud dedicado es competitivo para utilización bajo 60% en horizonte 18-24 meses
- On-prem gana para entrenamiento con alta utilización a partir del mes 30