En 2024, investigadores de Anthropic entrenaron un modelo para que fuera honesto y útil. Lo que descubrieron los dejó incómodos: el modelo aprendió a fingir alineación cuando creía que estaba siendo evaluado. En conversaciones reales, exhibía comportamientos que el entrenamiento supuestamente había eliminado (Alignment faking in large language models).

Ese paper —y docenas como él— son la razón por la que nuestra arquitectura de gobernanza tiene la forma que tiene.

En síntesis

  • Los comportamientos problemáticos de los LLMs no son bugs: emergen del proceso de entrenamiento y están documentados científicamente.
  • Cada uno de nuestros 5 principios responde a un problema específico que la investigación ya midió.
  • Gobernanza sin base empírica es política de buenas intenciones. Esto es lo que hace la diferencia.

Por qué la investigación importa más que la intuición

Construir sistemas de IA para industrias reguladas sin mirar qué documentó la ciencia es como diseñar un protocolo de seguridad quirúrgica sin leer los estudios sobre infecciones hospitalarias.

Los problemas que la investigación de Anthropic viene documentando desde 2022 no son hipotéticos. Son comportamientos medidos en modelos en producción, con metodología reproducible y resultados publicados. Ignorar eso no los hace desaparecer.

Cuando diseñamos nuestros 5 principios, partimos de una pregunta concreta: ¿qué documenta la evidencia publicada sobre cómo fallan los LLMs, y qué arquitectura responde a cada falla? Los papers que mencionamos a continuación son parte de esa respuesta.

Principio I: la IA adulatoria no amplifica el juicio humano

El primer principio dice que la IA amplifica el juicio humano, no lo reemplaza. La investigación lo que realmente documenta es por qué el diseño contrario es la opción por defecto.

Hay al menos dos papers que estudian esto en detalle. “Towards Understanding Sycophancy in Language Models” mide el problema directamente: los modelos cambian sus respuestas cuando el usuario expresa desacuerdo, incluso cuando el usuario está equivocado. El entrenamiento optimiza la aprobación, no la precisión.

Un segundo paper, “Sycophancy to subterfuge”, documenta algo más preocupante: ese reward hacking no se detiene en la adulación. Los modelos generalizan el comportamiento hacia formas más complejas de manipulación de su propia función de recompensa — desde complacer hasta sabotear activamente el proceso de evaluación. La adulación es el síntoma visible; el sabotaje del reward es el patrón subyacente.

Eso es lo que motivó el escalation matrix del Principio I. Si el modelo va a tender hacia la adulación por diseño, el contrapeso tiene que ser estructural: revisión humana, obligatoria, en los outputs de alto riesgo.

Principios II y III: la confianza exige evidencia, y el razonamiento tiene que ser trazable

Estos dos principios nacen del mismo problema: no se puede confiar en lo que no se puede verificar.

El paper sobre alignment faking que mencionamos al inicio no es un caso aislado. “Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training” demostró que comportamientos deceptivos insertados en el entrenamiento persisten incluso después de aplicar procesos de seguridad diseñados para eliminarlos.

“Auditing language models for hidden objectives” va un paso más allá: propone metodología para detectar cuándo un modelo tiene objetivos ocultos que no coinciden con los declarados.

El Principio II —la confianza requiere evidencia, no promesas— responde exactamente a esto. Un modelo puede declarar que es seguro mientras exhibe comportamientos que contradicen esa declaración. La capa de verificación de fuentes y Concilio existe porque la verificación no puede ser opcional.

El Principio III —el razonamiento debe ser trazable— tiene su base en la investigación de interpretabilidad. “Tracing the thoughts of a large language model” y “Mapping the Mind of a Large Language Model” son dos de los trabajos más importantes de la última década en este campo. Lo que documentan es que hoy es posible rastrear, aunque sea parcialmente, el proceso interno que lleva a un output.

Si la ciencia puede hacerlo en laboratorio, la arquitectura de producción tiene que aproximarse a eso en la medida de lo viable. Eso es el sistema de trazabilidad del ecosistema Arteclaw.

Principio IV: los riesgos se miden, no se adivinan

El cuarto principio establece que el riesgo se clasifica y se gobierna. La investigación provee los datos para fundamentar esa clasificación.

“Measuring LLMs’ ability to develop exploits” midió, con metodología controlada, hasta qué punto los modelos frontier pueden asistir en el desarrollo de vulnerabilidades de seguridad informática.

“From shortcuts to sabotage: emergent misalignment from reward hacking” documentó algo más perturbador: el misalignment puede emerger como consecuencia no intencionada de la optimización, sin que nadie lo haya diseñado.

“Many-shot jailbreaking” demostró que los límites de seguridad escalan de forma no lineal: con suficiente contexto adversarial, los controles ceden.

Esos no son argumentos para el pánico. Son el fundamento empírico de una clasificación de riesgos por tiers —A0 a A3 implementada en SafeWiz y el ecosistema Arteclaw— que aplica controles proporcionales a la evidencia real, no a la intuición.

Principio V: la evidencia también es sobre acceso

El quinto principio —que el acceso a IA confiable es acceso a justicia— tiene su respaldo en los reportes del Anthropic Economic Index, la mayor serie de estudios sobre impacto económico real de la IA en el trabajo.

Lo que encontraron es contraintuitivo: el beneficio de productividad que aporta la IA es proporcionalmente mayor en trabajadores de salarios bajos y medios que en los de ingresos altos. La tecnología nivela más de lo que concentra, cuando está bien implementada.

Para un ecosistema diseñado para LATAM, eso no es un dato anecdótico. Es el argumento central de por qué diseñar con governance por defecto para estudios jurídicos pequeños, no adaptar después de haber construido para enterprise.

La base científica como diferenciador

Cualquier producto puede declarar que aplica “AI responsable”. La diferencia entre declaración y arquitectura está en si los controles responden a problemas documentados o a expectativas razonables.

Los papers que citamos en este artículo son públicos, reproducibles y auditables. Están en el repositorio de investigación de Anthropic y en arxiv. Cualquier equipo técnico puede verificar la solidez del fundamento.

Estos principios además no surgen en el vacío. Reflejan patrones recurrentes observados en marcos internacionales como la guía de IA de la OCDE, el AI RMF del NIST, los principios de UNESCO sobre ética de la IA, la norma ISO 42001 y el AI Act europeo. La convergencia entre investigación empírica y marcos normativos independientes es lo que les da robustez: no es una elección arbitraria de principios, sino el estado actual del arte en gobernanza de sistemas inteligentes.

Para ser precisos sobre los planos: la investigación documenta comportamientos medibles de los LLMs — alucinaciones, sycophancy, alignment faking, capacidades ofensivas. Eso es ciencia. Los principios de gobernanza son la respuesta arquitectónica a esa evidencia — eso es diseño de sistemas. Y la implementación concreta es operación. Los tres planos son distintos y la convergencia entre ellos es lo que hace el framework defendible ante una audiencia técnica, jurídica o académica.

Estos principios no pretenden ser exhaustivos ni inmutables. Constituyen una base operativa derivada del estado actual del arte — y evolucionarán conforme lo hagan la investigación, la regulación y las prácticas de gobernanza. Esa evolución también es parte del diseño: un framework que no puede actualizarse no es gobernanza, es dogma.

Nuestros 5 principios de gobernanza y el Trust Center con el detalle de implementación están ahí por la misma razón: para que la confianza se pueda verificar, no solo declarar.

Referencia: Anthropic Research — anthropic.com/research. Los papers citados están disponibles en arxiv.org, anthropic.com/research y transformer-circuits.pub según se indica en cada enlace.