Dario Amodei expone los riesgos de la IA poderosa y llama a un uso responsable en las democracias
Dario Amodei esboza en un nuevo ensayo los peligros de los sistemas de inteligencia artificial avanzados. Su exigencia central: las democracias deben utilizar la IA solo de formas que no las conviertan en aquello contra lo que luchan.
El CEO de Anthropic, Dario Amodei, ha publicado un extenso ensayo en el que analiza los riesgos de los sistemas de IA de última generación. El texto, titulado “The Adolescence of Technology”, describe lo que Amodei denomina una “prueba de madurez para la humanidad”. El nuevo escrito está concebido como complemento de su anterior ensayo “Machines of Loving Grace” de octubre de 2024. Mientras aquel se centraba en las oportunidades positivas de la IA poderosa, este nuevo texto pone el foco en los riesgos.
La tesis central puede resumirse en una sola frase: las democracias deberían emplear la IA para la defensa nacional en todos los ámbitos, “excepto en aquellos que nos hagan más parecidos a nuestros adversarios autocráticos”.
Cuatro herramientas que las democracias no deberían utilizar
Amodei identifica cuatro tecnologías que los regímenes autoritarios podrían usar para oprimir a sus ciudadanos: enjambres de armas totalmente autónomas, vigilancia masiva impulsada por IA, propaganda personalizada sostenida durante años y asesores estratégicos basados en IA, una especie de “Bismarck virtual”.
En dos de estas aplicaciones establece una línea roja absoluta: la vigilancia masiva con IA dentro del propio país y la propaganda masiva contra la población propia son completamente ilegítimas. Reconoce que en Estados Unidos la vigilancia masiva ya es ilegal en virtud de la Cuarta Enmienda, pero advierte que el rápido avance de la IA podría crear situaciones para las que los marcos legales actuales no están preparados. Por ello, aboga por nueva legislación para proteger las libertades civiles, e incluso por una posible enmienda constitucional.
Hacia el exterior, contra adversarios autocráticos, considera legítimo el uso de las mismas herramientas. Defiende explícitamente que las democracias utilicen sus servicios de inteligencia para “perturbar y debilitar desde dentro” a los regímenes autoritarios. Según él, los gobiernos democráticos podrían aprovechar su superioridad en IA para “ganar la guerra de la información” y crear canales informativos que las autocracias no puedan bloquear técnicamente.
En el caso de las armas totalmente autónomas y la toma de decisiones estratégicas asistida por IA, la situación le parece más compleja: ambas tendrían usos legítimos en la defensa de la democracia, pero requerirían extrema cautela. Su principal preocupación es que haya “demasiados pocos dedos en el gatillo”, de modo que un pequeño grupo de personas pueda operar un ejército de drones sin necesidad de cooperación humana.
¿Somos los villanos?
Críticos como el investigador de IA Yann LeCun acusan a la empresa de exagerar deliberadamente los escenarios de riesgo para alimentar el miedo y promover regulaciones que perjudiquen sobre todo a los modelos de IA abiertos, limitando así la competencia. David Sacks, asesor de IA de Donald Trump, también afirmó que Anthropic practica una política de alarmismo para influir en los reguladores.
Amodei rechaza estas acusaciones, subraya la cooperación con el gobierno estadounidense y, tras críticas procedentes de la Casa Blanca, se vio recientemente obligado a elogiar explícitamente la política de IA del presidente Donald Trump. Presenta esta colaboración como no partidista y describe a Anthropic como un “actor político” que defiende posiciones técnicas ante todos los sectores.
Al mismo tiempo, existe un contrato con el Departamento de Defensa de EE. UU. por hasta 200 millones de dólares para desarrollar la llamada IA de frontera destinada a la seguridad nacional. Además, el modelo lingüístico Claude se utiliza, a través de socios como Palantir y el Lawrence Livermore National Laboratory, en redes clasificadas. Palantir es empleado, entre otros, por la agencia de inmigración estadounidense ICE para rastrear a migrantes dentro del país. Esto no contradice directamente las líneas rojas de Amodei, y resulta evidente que mantiene una relación al menos ambivalente con Trump. Sin embargo, en su intento por proteger la democracia frente a adversarios autocráticos externos y a una IA peligrosa, sus productos podrían terminar contribuyendo al fortalecimiento de tendencias autoritarias en el interior.
ES 
EN