Confiabilidad y seguridad (reliability and safety)
La IA trabaja con probabilidades: no es infalible. Una app responsable asume que el modelo se puede equivocar y se protege para que ese error no le haga daño a nadie.
ConfianzaEl nivel de confianza es qué tan seguro está el modelo de su resultado. Un robot de bodega detecta la caja con la cámara, revisa qué tan seguro está y solo la toma si su confianza es alta; si no, se detiene.
Si dudaUn asistente médico que no está seguro debe avisar su duda y sugerir ver a un doctor, nunca inventar una respuesta que suene segura.
FiltrosLos filtros de contenido bloquean respuestas dañinas, ilegales u ofensivas. Si un chatbot da instrucciones peligrosas a quien se las pide, falla este principio. En Microsoft Foundry se configuran en las guardrails.
PruebasProbar el sistema en muchas situaciones distintas antes de usarlo con personas reales. Probarlo una sola vez o "publicarlo y ver qué pasa" no basta.
OjoAquí seguridad es no causar daño (en inglés, safety). En "privacidad y seguridad" es proteger los datos de quien no debe verlos (security).
Pregunta clave: ¿qué pasa si se equivoca, y cómo evito que dañe a alguien?
