Comparar y evaluar modelos
En la lección anterior elegiste el tipo de modelo. Ahora escoges uno concreto del catálogo de Foundry. Es como comprar un celular: comparas, ves rankings y al final lo pruebas tú.
GPT, Claude o Mistral son modelos base (foundation models): grandes, ya entrenados y útiles para muchas tareas. Los despliegas tal cual o los ajustas con tus datos; ese ajuste se llama fine-tuning.
Los modelos vienen de dos lados. Los vendidos directamente por Azure: Microsoft los aloja, con seguridad ya configurada y un acuerdo de servicio (SLA), su promesa por escrito de que funcionarán. Los de socios y la comunidad: de otras empresas o de código abierto.
Un benchmark es un examen igual para todos: los mismos datos de prueba, para comparar parejo. Un leaderboard (tabla de clasificación) ordena los modelos en una tarea, como resumir o programar, por calidad, seguridad y velocidad. Al final pruebas el elegido con tus propios datos (Benchmarks → Try with your own data).
Las métricas clásicas de NLP (procesamiento de lenguaje natural), como precisión, recall y F1, califican contra una respuesta correcta. En las asistidas por IA califica otro modelo: groundedness (¿se basó en tus datos?), relevance (¿contestó lo que se preguntó?), coherence y fluency (¿se lee natural?).
Si el bot de tu taquería ofrece tacos de langosta que no están en tu menú, falla en groundedness; si le pides el horario y te da precios, en relevance.
Los evaluadores de Foundry revisan la calidad y la seguridad de las respuestas de un modelo o de un agente (un asistente que además hace tareas). Ojo: detectan y califican, no corrigen; eso te toca a ti.
Si tu tarea está muy bien definida (solo detectar el idioma de reseñas), una Foundry Tool, un servicio ya preparado para esa tarea, puede convenir más. Las verás en la siguiente unidad.
