Un modelo de lenguaje grande (LLM) es una IA que no busca la respuesta en una base de datos: predice el texto más probable que sigue, pedazo por pedazo, como el autocompletar de tu celular en gigante. Esos pedazos se llaman tokens, y todo lo que el modelo lee y escribe se mide en tokens.
Un modelo de lenguaje no busca la respuesta en una base de datos: predice el texto más probable que sigue, pedazo por pedazo, como el autocompletar de tu celular pero en gigante. En cada paso calcula qué tan probable es cada pedazo siguiente y elige uno; la temperatura (la verás en otra lección) decide cuánto se arriesga.
Esos pedazos se llaman tokens: una palabra o una parte de palabra. "casa" suele ser un token; una palabra poco común como "otorrinolaringólogo" se parte en varios. Todo lo que el modelo lee y escribe se mide en tokens.
Transformer: el tipo de modelo (la arquitectura) que usan los LLM modernos: la T de GPT. Su mecanismo de atención decide qué partes del texto importan más para predecir lo siguiente; por ejemplo, en "el perro no entró porque estaba mojado", relaciona "estaba" con "perro".
Ventana de contexto: el máximo de tokens que el modelo puede tener en cuenta a la vez. Tu prompt y su respuesta comparten ese límite.
Grounding (datos de referencia): darle al modelo los datos de los que debe sacar su respuesta.
📅 El modelo solo sabe lo que vio al entrenarse: su conocimiento tiene una fecha de corte, por eso no sabe lo que pasó ayer. No se arregla subiendo la temperatura, ni con un modelo más grande, ni esperando a que lo vuelvan a entrenar: para datos de hoy o de tu negocio, ponlos en el prompt (por ejemplo, el menú de hoy de tu taquería) y pídele que cite la fuente. Así inventa menos.
Pon a prueba lo que aprendiste
Concepto
¿Qué hace en el fondo un modelo de lenguaje al responder?
ACopia la respuesta de la página más visitada
BEjecuta un programa distinto para cada pregunta
CPredice el texto más probable, token por token
DBusca la respuesta exacta en una base de datos
Ver respuesta
C) Predice el texto más probable, token por token Calcula qué tan probable es cada token siguiente y elige uno según esas probabilidades (la temperatura decide cuánto se arriesga).
Tokens
¿Qué es un token?
ALa respuesta completa que da el modelo
BUn tipo de modelo más pequeño y barato
CUna contraseña para poder usar el modelo
DUn pedazo de texto que procesa el modelo
Ver respuesta
D) Un pedazo de texto que procesa el modelo El modelo trabaja con tokens, no con letras sueltas.
Tokens
¿Qué suele pasar con una palabra poco común?
ASe parte en varios tokens
BSiempre ocupa un solo token
CSe cambia por un sinónimo común
DEl modelo la salta sin leerla
Ver respuesta
A) Se parte en varios tokens Las palabras raras se dividen en partes.
Practica esta lección completa
Ejercicios de completar código, ordenar bloques y respuesta libre. Ganas XP y mantienes tu racha.