Desplegar un modelo
Para usar un modelo desde tu app primero lo despliegas en Microsoft Foundry. Al desplegarlo no te llevas una copia a tu laptop ni lo reentrenas: obtienes un endpoint, la dirección en internet a la que tu app le manda sus preguntas (piensa en el número de teléfono del modelo). El endpoint no es público: tu app se identifica con una clave o con Microsoft Entra ID (el servicio de identidades de Microsoft para organizaciones; es lo que Microsoft recomienda en producción). Cada despliegue tiene un nombre que usas en tu código.
Hay tres tipos de despliegue. Elige según cómo es el tráfico de tu app:
- Estándar: pagas por los tokens que usas, como un plan de datos por consumo. Ideal para empezar, para poco tráfico o para tráfico que sube y baja (una app de tareas que se usa muchísimo en exámenes y casi nada en vacaciones). Microsoft recomienda empezar con Global Standard: el de mejor precio para respuestas al momento, el primero en recibir modelos nuevos y en más regiones.
- Aprovisionado: reservas capacidad fija, como rentar el local completo: pagas cada hora aunque nadie lo use. Para tráfico alto y constante que necesita un tiempo de respuesta (latencia) predecible, como un banco.
- Por lotes (batch): mandas muchas peticiones juntas y recoges los resultados horas después, como dejar la ropa en la lavandería. Cuesta menos: ideal para procesar miles de documentos sin prisa.
Antes de programar, lo pruebas en el playground (en el portal, Model playground; en la documentación en español, área de juegos): un chat dentro de Foundry para probar prompts y parámetros. No sirve para entrenar el modelo ni para publicar tu app.
Cada despliegue tiene un límite de tokens por minuto (TPM): cuántos tokens puede procesar en un minuto, contando los de tu prompt y los de la respuesta. Piensa en una autopista: más TPM, más carriles. Si tu app pide más de lo que cabe, el servicio la frena un momento, como el semáforo de la entrada, y responde con errores de límite: eso es el throttling.
Para salir del throttling le asignas más TPM al despliegue, bajas el máximo de tokens de salida (respuestas más cortas gastan menos) o mandas menos peticiones al mismo tiempo. Subir la temperatura no ayuda, y alargar el mensaje de sistema gasta todavía más. Al desplegar también eliges la versión del modelo.
Los pasos1) Eliges el modelo en el catálogo. 2) Lo despliegas. 3) Lo pruebas en el playground. 4) Tu app llama al endpoint.
