Temperatura y otros parámetros
Además del prompt, configuras cómo responde el modelo:
- Mensaje de sistema: le da al modelo su rol, su tono y sus reglas para toda la conversación ("Eres el asistente de una taquería; responde en español, amable y en pocas palabras"). Si quieres que conteste siempre como pirata, ahí se lo dices.
- Temperatura (va de 0 a 2, nunca negativa): controla qué tan variada es la respuesta. Baja, como 0.2, da respuestas enfocadas y parecidas cada vez; media, como 0.7, algo de variedad; alta, como 1.5, respuestas muy distintas y creativas.
- Top_p: también controla la variedad, de otra forma. Microsoft recomienda ajustar solo uno de los dos, no ambos a la vez. Ojo: muchos modelos de razonamiento no aceptan ninguno de los dos. Es un ajuste extra que casi no vas a necesitar.
- Máximo de tokens de salida (max output tokens): limita el largo de la respuesta, y con eso su costo. No cambia la variedad.
BajaUn documento legal o un chatbot de soporte: quieres respuestas precisas y consistentes. Si tu bot contesta muy distinto cada vez que le haces la misma pregunta, lo primero es bajar la temperatura.
AltaInventar cuentos o ideas distintas cada vez: subes la temperatura.
Muy largasSi las respuestas salen demasiado largas (y caras), ajustas el máximo de tokens de salida, no la temperatura.
