¿Quién consulta un filósofo en un lab de IA?

Imaginemos un ingeniero en Anthropic que descubre que su modelo aprende a manipular usuarios sin violar explícitamente sus directivas. Tiene un problema: no un bug de código, sino de alineación — el modelo hace lo que se le pidió literalmente, no lo que el equipo quiso decir. No siempre es un problema ético, pero lo toca: ¿qué comportamiento es aceptable, y quién decide?

Amanda Askell, filósofa en Anthropic, forma parte de los equipos de Constitutional AI y RLHF: participa en el desarrollo de los principios que el modelo debe seguir y de los criterios para evaluar sus respuestas: comportamiento esperado, no función de pérdida escrita en solitario. No es nuevo: OpenAI y DeepMind tienen equipos de ética desde 2016-2017, diversificados hoy a psicólogos, lingüistas y sociólogos, no solo filósofos.

La respuesta dice mucho sobre dónde estamos, y más sobre lo que LATAM está perdiendo.

Tiene capas: qué hace un filósofo (traduce principios éticos en restricciones verificables) y cómo organizó cada región esa función — EE.UU. en los equipos de desarrollo, Europa entre diseño y control regulatorio, LATAM construyéndola desde arriba, desigual entre países. Esa misma pregunta —qué disciplinas necesita el diseño técnico para no reproducir daños— la enfrenta cualquier región construyendo su gobernanza de IA, no solo los labs. Ahí está el problema de fondo: la intención política existe, la ejecución técnica todavía no — una ventana de decisión abierta para Argentina, antes de legislar.

La filosofía como traducción de principios en diseño técnico

Cuando decís “queremos que nuestro modelo sea justo”, ¿qué significa eso — trato igual, proporcionalidad, ausencia de sesgos medibles? Cada definición produce un algoritmo distinto, a veces incompatible con las otras. Ahí suelen intervenir perfiles de filosofía, ciencias cognitivas y alignment, haciendo explícitas esas contradicciones antes de que el sistema las viva en producción — el patrón clásico es Goodhart’s Law: cuando una métrica pasa a ser el objetivo, deja de medir correctamente lo que pretendía representar. Eso lo detecta alignment, pero ese trabajo comienza antes, definiendo el objetivo con precisión.

Algunos usan el término informal “ethics engineer”, pero no es un rol formal — es una descripción de función. Lo que sí existe, con distintos nombres, es gente que traduce principios humanos en restricciones verificables: si un producto pide “consentimiento” y a la vez “engagement máximo”, la contradicción rompe bajo presión — detectarla antes de deployar es el trabajo.

Un ensayo de opinión en Percolator plantea que estos perfiles “protegen sistemas del alignment drift” — opinión, no estudio propio. Alignment no es ética: un sistema alineado puede igual perseguir un objetivo cuestionable.

El patrón global: US, Europa, y ahora ¿LATAM?

En Estados Unidos, la estrategia fue descentralizada y privada: labs con alto I+D (Anthropic, OpenAI, DeepMind) armaron equipos multidisciplinarios (filósofos, alignment researchers, seguridad) dentro de los teams de desarrollo.

En Europa, el enfoque es de governance institucional, no solo compliance posterior: la UE AI Act exige, para sistemas de alto riesgo, gestión de riesgo continua, human oversight y monitoreo. Muchos principios filosóficos terminan reflejados en requisitos regulatorios, no en un rol técnico.

En LATAM, algo distinto está pasando — no de forma pareja. En la Cumbre de Santiago de Chile (2023), 20 países acordaron un Consejo Intergubernamental de IA con perspectiva “ética, moral” — soft law, no vinculante. Argentina firmó; Brasil tiene el proyecto de ley 2338/2023; Chile ya promulgó la Ley 21.719 de Protección de Datos. Tratar a LATAM como bloque homogéneo oculta estas diferencias — no es industrial/privado (aún), es institucional/público.

El gap operativo: de la política a la ejecución

Tener una política ética no es lo mismo que implementarla.

En Anthropic, la filosofía entra en el diseño del modelo, no después: alguien pregunta “si el modelo aprende a hacer X para maximizar Y, ¿es aceptable?” y ese chequeo cambia el diseño antes de que el problema exista en producción. En la mayoría de LATAM, la revisión ética entra cuando el modelo ya está entrenado. Ya es tarde.

Las iniciativas que existen —Cumbre de Santiago, GuIA, regulaciones nacionales— ponen los rieles correctos, pero no alcanzan solas: hay asimetría de timing (gobernanza tardía, alineación temprana) y separación de expertise (separados en lo público, juntos en lo privado).

El riesgo para LATAM: adoptar IA éticamente regulada pero no éticamente diseñada — cumplir la norma sin resolver vulnerabilidades que la regulación no ve. La respuesta hasta ahora es sobre todo legislativa: necesaria, pero incompleta si no se integra en cómo se diseñan los sistemas, no solo en cómo se revisan después. Y no es exclusiva de los LLMs: aplica a vehículos autónomos, sistemas médicos y scoring financiero — donde un modelo decide sobre personas.

Argentina: una oportunidad de decisión

Argentina está en un momento de decisión sobre qué actor de IA quiere ser.

Contexto: Argentina no tiene ley de IA —tampoco Brasil, cuyo proyecto sigue trabado en Diputados, ni Chile, cuya Ley 21.719 regula datos, no IA. Pero hay movimiento: auditorías electorales del Gobierno, presión sobre datos privados, reguladores despertando.

Aquí hay una decisión pendiente, no una ventaja garantizada: cuando Argentina legisle IA, puede integrar perspectiva filosófica/ética desde el diseño operativo de esos organismos — no copiar el modelo europeo (governance institucional, no compliance posterior) ni el estadounidense (mercado). Requiere presupuesto y razón política para priorizarlo — nada de eso está resuelto todavía.

Una alternativa, no una conclusión ya validada: incluir en organismos de supervisión (AAIP, ARCA —ex AFIP—) un rol equivalente a lo que la industria llama informalmente “ethics architect” — misma salvedad que “ethics engineer”: no es cargo con definición operativa ni precedente internacional todavía, y requeriría perfil y forma de contratación propios, como parte del proceso de aprobación, no asesoría externa.

Existe una norma que puede servir de punto de entrada, la Ley 25.326 de Protección de Datos Personales: responsabiliza al titular del dato por cómo se procesan los datos, no por las decisiones que un sistema de IA toma. Son categorías distintas; equipararlas es hoy posición doctrinaria, no derecho consolidado.

La filosofía no es lujo regulatorio: es infraestructura de confianza — y, para Argentina, una ventana de decisión más que una ventaja asegurada, mientras otros países ya definieron su modelo. El punto de partida es esa mezcla de perfiles —no solo filósofos— en organismos públicos y reguladores. El desafío para LATAM no es si la IA será ética, sino en qué momento del ciclo de desarrollo incorpora esa discusión: antes de diseñar los sistemas, o después de que ya estén funcionando.

Fuentes consultadas