Prompts de sistema y de usuario
Un prompt es lo que le das al modelo para obtener una respuesta; la respuesta que da el modelo se llama completion. Hay dos tipos de prompt:
SistemaFija el comportamiento, el tono y las reglas del asistente. Lo pone la app que usa el modelo, no el usuario ni el modelo: «Eres el asistente de una taquería; responde amable y en pocas palabras».
UsuarioLa pregunta o tarea concreta de cada turno: «¿Tienen tacos de suadero?». El modelo la contesta respetando el prompt de sistema.
El modelo no recuerda la plática por sí solo. Si preguntas «¿y cuánto cuesta?» y entiende de qué hablaban, es porque la app guarda el historial de la conversación y lo manda (a veces resumido) junto con cada prompt nuevo.
El modelo tampoco conoce los datos de tu empresa. Si preguntas el máximo de viáticos y te da una respuesta genérica, la solución es RAG (generación aumentada por recuperación): haces tu pregunta, la app busca documentos relacionados (la política de gastos), agrega esa información al prompt y el modelo responde basado en esos datos (grounding). Subir la temperatura o pedir respuestas más largas no ayuda: le faltan los datos.
