Iniciar sesión

Desplegar un modelo en Inteligencia Artificial

Endpoint, tipos de despliegue y playground

Unidad: IA generativa Gratis
🚀
Desplegar un modelo
Para usar un modelo desde tu app primero lo despliegas en Microsoft Foundry. Al desplegarlo no te llevas una copia a tu laptop ni lo reentrenas: obtienes un endpoint, la dirección en internet a la que tu app le manda sus preguntas (piensa en el número de teléfono del modelo). El endpoint no es público: tu app se identifica con una clave o con Microsoft Entra ID (el servicio de identidades de Microsoft para organizaciones; es lo que Microsoft recomienda en producción). Cada despliegue tiene un nombre que usas en tu código.
Hay tres tipos de despliegue. Elige según cómo es el tráfico de tu app:
  • Estándar: pagas por los tokens que usas, como un plan de datos por consumo. Ideal para empezar, para poco tráfico o para tráfico que sube y baja (una app de tareas que se usa muchísimo en exámenes y casi nada en vacaciones). Microsoft recomienda empezar con Global Standard: el de mejor precio para respuestas al momento, el primero en recibir modelos nuevos y en más regiones.
  • Aprovisionado: reservas capacidad fija, como rentar el local completo: pagas cada hora aunque nadie lo use. Para tráfico alto y constante que necesita un tiempo de respuesta (latencia) predecible, como un banco.
  • Por lotes (batch): mandas muchas peticiones juntas y recoges los resultados horas después, como dejar la ropa en la lavandería. Cuesta menos: ideal para procesar miles de documentos sin prisa.
Antes de programar, lo pruebas en el playground (en el portal, Model playground; en la documentación en español, área de juegos): un chat dentro de Foundry para probar prompts y parámetros. No sirve para entrenar el modelo ni para publicar tu app.
Cada despliegue tiene un límite de tokens por minuto (TPM): cuántos tokens puede procesar en un minuto, contando los de tu prompt y los de la respuesta. Piensa en una autopista: más TPM, más carriles. Si tu app pide más de lo que cabe, el servicio la frena un momento, como el semáforo de la entrada, y responde con errores de límite: eso es el throttling.
Para salir del throttling le asignas más TPM al despliegue, bajas el máximo de tokens de salida (respuestas más cortas gastan menos) o mandas menos peticiones al mismo tiempo. Subir la temperatura no ayuda, y alargar el mensaje de sistema gasta todavía más. Al desplegar también eliges la versión del modelo.
Los pasos1) Eliges el modelo en el catálogo. 2) Lo despliegas. 3) Lo pruebas en el playground. 4) Tu app llama al endpoint.

Pon a prueba lo que aprendiste

Concepto

¿Qué obtienes al desplegar un modelo?

  1. AUna copia del modelo en tu laptop
  2. BUn endpoint para llamarlo desde tu app
  3. CUna temperatura fija para todas las respuestas
  4. DUn modelo reentrenado con tus datos
Ver respuesta
B) Un endpoint para llamarlo desde tu app Tu app habla con el modelo a través del endpoint.
Escenario

Tu app tiene poco tráfico y variable. ¿Qué tipo de despliegue conviene?

  1. AEstándar: pagas por los tokens que usas
  2. BAprovisionado: capacidad fija reservada
  3. CServidores propios en tu oficina
  4. DPor lotes: resultados horas después
Ver respuesta
A) Estándar: pagas por los tokens que usas Pagas solo lo que usas.
Escenario

Un banco tiene tráfico alto y constante, y necesita latencia predecible. ¿Qué despliegue?

  1. APor lotes
  2. BEstándar
  3. CEn el navegador del cliente
  4. DAprovisionado
Ver respuesta
D) Aprovisionado Reservar capacidad da un rendimiento más estable y predecible.

Practica esta lección completa

Ejercicios de completar código, ordenar bloques y respuesta libre. Ganas XP y mantienes tu racha.

Practicar gratis, sin registrarte Entras como invitado directo a esta lección. Sin tarjeta.