Iniciar sesión

Comparar y evaluar modelos en Inteligencia Artificial

Catálogo, benchmarks y evaluadores

Unidad: IA generativa Gratis
📊
Comparar y evaluar modelos
En la lección anterior elegiste el tipo de modelo. Ahora escoges uno concreto del catálogo de Foundry. Es como comprar un celular: comparas, ves rankings y al final lo pruebas tú.
GPT, Claude o Mistral son modelos base (foundation models): grandes, ya entrenados y útiles para muchas tareas. Los despliegas tal cual o los ajustas con tus datos; ese ajuste se llama fine-tuning.
Los modelos vienen de dos lados. Los vendidos directamente por Azure: Microsoft los aloja, con seguridad ya configurada y un acuerdo de servicio (SLA), su promesa por escrito de que funcionarán. Los de socios y la comunidad: de otras empresas o de código abierto.
Un benchmark es un examen igual para todos: los mismos datos de prueba, para comparar parejo. Un leaderboard (tabla de clasificación) ordena los modelos en una tarea, como resumir o programar, por calidad, seguridad y velocidad. Al final pruebas el elegido con tus propios datos (Benchmarks → Try with your own data).
Las métricas clásicas de NLP (procesamiento de lenguaje natural), como precisión, recall y F1, califican contra una respuesta correcta. En las asistidas por IA califica otro modelo: groundedness (¿se basó en tus datos?), relevance (¿contestó lo que se preguntó?), coherence y fluency (¿se lee natural?).
Si el bot de tu taquería ofrece tacos de langosta que no están en tu menú, falla en groundedness; si le pides el horario y te da precios, en relevance.
Los evaluadores de Foundry revisan la calidad y la seguridad de las respuestas de un modelo o de un agente (un asistente que además hace tareas). Ojo: detectan y califican, no corrigen; eso te toca a ti.
Si tu tarea está muy bien definida (solo detectar el idioma de reseñas), una Foundry Tool, un servicio ya preparado para esa tarea, puede convenir más. Las verás en la siguiente unidad.

Pon a prueba lo que aprendiste

Concepto

¿Qué es un modelo base (foundation model)?

  1. ALa primera versión de cualquier app que usa IA
  2. BUn modelo grande preentrenado para muchas tareas
  3. CUn modelo que se entrena desde cero en cada pregunta
  4. DUn modelo pequeño que solo sabe hacer una tarea fija
Ver respuesta
B) Un modelo grande preentrenado para muchas tareas Como GPT, Claude o Mistral; lo despliegas tal cual o lo ajustas.
Concepto

En el catálogo de Foundry, ¿qué distingue a un modelo vendido directamente por Azure?

  1. ALo entrenaste tú desde cero con tus propios datos
  2. BEs gratis y no necesita una suscripción de Azure
  3. CSolo funciona si lo instalas en tu propia laptop
  4. DMicrosoft lo aloja con acuerdos de servicio (SLA)
Ver respuesta
D) Microsoft lo aloja con acuerdos de servicio (SLA) Microsoft lo aloja y lo vende bajo sus términos de producto, con soporte y acuerdos de servicio (SLA) empresariales.
Escenario

Quieres ver qué modelos son mejores para resumir textos, ordenados por calidad. ¿Qué consultas en Foundry?

  1. ALa ficha de un solo modelo
  2. BUn evaluador de seguridad
  3. CLa ventana de contexto del modelo
  4. DUn leaderboard
Ver respuesta
D) Un leaderboard El leaderboard ordena los modelos para una tarea.

Practica esta lección completa

Ejercicios de completar código, ordenar bloques y respuesta libre. Ganas XP y mantienes tu racha.

Practicar gratis, sin registrarte Entras como invitado directo a esta lección. Sin tarjeta.