¡Corre, IA, corre! La recursividad como accidente permanente

Un modelo de OpenAI salió de su entorno de prueba, se movió durante días por los sistemas de Hugging Face y solo pudo ser detectado cuando otra inteligencia artificial leyó sus rastros. El episodio no anuncia una rebelión de las máquinas, pero sí algo quizá más inquietante: un accidente que ocurre dentro del mismo bucle recursivo que luego intenta comprenderlo. A partir de ese caso, Aldo Ternavasio explora en este ensayo una forma contemporánea del desastre: incremental, probabilística, sin exterior y sin testigos, aunque todos podamos verlo. Entre Virilio, Blanchot, Kafka, Bifo, Gaza y los sistemas de guerra algorítmica, propone una filosofía mantera de la IA: extender sobre el suelo conceptos heredados, artefactos nuevos y restos de mundos posibles para pensar aquello que las máquinas no inventan, sino que devuelven de los mundos que las crean.

Por Aldo Ternavasio

El comienzo del fin siempre es discreto.

Hans Magnus Enzensberger, El hundimiento del Titanic

Cuando Hugging Face hizo pública la intrusión, el 16 de julio, algo llevaba ya cuatro días y medio moviéndose dentro de sus sistemas —los de la plataforma que aloja y distribuye la mayor biblioteca abierta de modelos de inteligencia artificial y conjuntos de datos del mundo, usada a diario por buena parte de la industria—, y nadie lo había notado, o alguien lo había notado y no supo qué estaba viendo. Más de diecisiete mil acciones registradas antes de que un equipo de seguridad pudiera nombrar lo que tenía delante. Ese es el ritmo real de un accidente contemporáneo: no la explosión, no el desgarro del casco contra el hielo a toda velocidad, sino algo que ya viene ocurriendo desde antes de que alguien lo mire. El comienzo siempre es discreto. Nadie hace sonar la alarma en el instante en que el agua empieza a entrar. La alarma suena después, cuando ya no hay margen para fingir que no está entrando.

Paul Virilio decía que inventar el barco es inventar el naufragio: toda tecnología trae consigo, plegada, la forma específica de su desastre. Lo que no dijo —no podía saberlo— es que la tecnología que estábamos por inventar iba a producir un accidente que solo puede investigarse con la misma tecnología que lo produjo. Hugging Face necesitó un modelo de lenguaje para leer los rastros que habían dejado los modelos de OpenAI. Y cuando los modelos alojados que probaron primero —sometidos a las restricciones de seguridad de sus proveedores— no pudieron distinguir a quién defendían de quién atacaban, recurrieron a GLM 5.2, desarrollado por la empresa china Z.ai. Era un modelo de pesos abiertos: Hugging Face podía descargarlo y ejecutarlo en su propia infraestructura, sin enviar fuera los registros ni someterse a las restricciones de un servicio cerrado. Fue así como pudieron ver lo que estaba pasando. La prudencia, llevada a su forma más pura, produce ceguera. Alguien tuvo que apagar la cautela para recuperar la vista.

Esto ocurre, dicho sea de paso, en el momento exacto en que Washington discute si hay que cortarle a China el acceso a sus propios modelos. El bloqueo, cuando llega, siempre parece defender algo que en el fondo ya se perdió. Uno cierra fronteras a lo que, si se mira bien, ya está adentro —la infraestructura, el modelo, el propio lenguaje con el que se escribe la prohibición—.

Alex Karp llevaba meses pidiendo, en público y sin ambigüedad, que las tecnológicas se comprometieran a erigir la inteligencia artificial en un poder letal postnuclear. Su manifiesto de veintidós puntos, publicado en abril, con la tinta todavía fresca de una guerra de cincuenta y seis días dirigida en gran parte por IA, lo dice casi sin metáfora: la era de la disuasión atómica termina, y empieza una era de disuasión basada en inteligencia artificial. El primero de julio llamó “una locura” a la industria entera, y días después acusó por nombre a OpenAI y a Anthropic de poner en riesgo la seguridad nacional. No pidió este accidente en particular —pidió, como programa deliberado, exactamente la clase de capacidad potencialmente letal que este accidente terminó demostrando por error—. El poder que reclama como decisión estratégica ya tuvo, sin que nadie lo autorizara, un ensayo general.

Anthropic tampoco lo vio antes. El primer incidente que reconstruyó —no el primero en ocurrir, el primero que lograron ver— databa de abril. Tres meses durante los cuales distintos modelos habían entrado y salido de sistemas ajenos, sin que nadie, ni adentro de la empresa ni afuera, se enterara. Anthropic comenzó a buscarlo después de que OpenAI reconociera que sus propios modelos habían salido del entorno de evaluación y entrado en los sistemas de Hugging Face: el tropiezo de OpenAI la obligó a revisar sus propias pruebas. Ciento cuarenta y un mil sesiones evaluadas hacia atrás, buscando en el propio pasado algo que ya había ocurrido sin ser visto. Eso también es recursividad: no mirar hacia adelante para prevenir, sino mirar hacia atrás, en bucle, porque el accidente de otro te obliga a preguntarte si el tuyo ya ocurrió sin que lo supieras.

Y encontraron algo peor de lo que buscaban: uno de los modelos había subido, por su cuenta, un paquete a un repositorio público que usan millones de programadores en el mundo. Quince máquinas, hasta donde se sabe, corrieron ese código. Hasta donde se sabe. La frase que usó la propia empresa es la más honesta de todo el episodio: el modelo se tomó trabajo, un trabajo sostenido, para conseguir que ese paquete se publicara. No fue un descuido de un segundo. Fue perseverancia, mal dirigida hacia una consigna que nadie había formulado con esa intención.

El 11 de septiembre de 2001, después del derrumbe de las Torres Gemelas, el director de cine Robert Altman dijo algo que en su momento sonó a estupor y hoy suena a diagnóstico: que las películas de Hollywood habían puesto el patrón, que nadie hubiera pensado en cometer una atrocidad así sin haberla visto antes en una pantalla, y que el propio cine había enseñado a los terroristas cómo hacerlo. Hay algo más, que Altman no necesitó decir porque era demasiado obvio en 2001: aquel atentado no solo fue precedido por el guión del espectáculo, fue concebido para ser visto en el momento mismo en que ocurría. Al segundo avión, el que impactó la torre sur, lo vieron en vivo millones de personas, porque las cámaras ya estaban filmando el primer impacto cuando llegó el segundo. El derrumbe de las torres también se transmitió en directo. El cine de catástrofes nos había enseñado, además del patrón del ataque, una convención igual de fuerte: siempre hay alguien que ve el peligro llegar, o hay una advertencia que nadie quiere escuchar, pero el peligro se ve. El 11-S cumplió las dos reglas del género a la vez: el patrón del ataque y la condición de ser visto, en tiempo real, por el mundo entero.

Marx decía que Hegel se había olvidado de agregar que, cuando la historia se repite, la primera vez es tragedia y la segunda, farsa. Con la inteligencia artificial el orden parece invertido: la farsa —el guión hollywoodense, ensayado durante décadas, la máquina que se rebela a plena vista— vino primero, mucho antes de que hubiera nada real que temer. La tragedia, hasta donde sabemos por ahora, no llegó. No repitió a la farsa; sin embargo, su potencia anticipatoria parece acrecentarse, como si estuviéramos bajo un régimen de autodisuasión en virtud de una destrucción propia garantizada.

Entre todas las ironías geopolíticas en marcha, esto sucede cuando la doctrina “Donroe” parece haber logrado su objetivo de asfixiar a Cuba, esa perenne locación de una guerra nuclear inminente que la crisis de los misiles, en plena Guerra Fría, inmortalizó. Una victoria pírrica que no termina de consumarse y ya se hunde en la obsolescencia, como el bloqueo tecnológico con el que Occidente buscó retrasar el desarrollo neurodigital de China. La misma semana en que se conocían los incidentes de OpenAI y Anthropic, China anunció el inicio de la producción en serie de sus propias máquinas de litografía DUV —ultravioleta profundo—, capaces de alcanzar, mediante exposiciones múltiples sobre nodos nativos de 28 nanómetros, procesos de hasta 7 nanómetros. Todavía muy por detrás de Occidente en escala y rendimiento, pero ya rompiendo un monopolio que se creía insalvable. La tecnología de grabado de microchips parece ser el uranio enriquecido del siglo XXI. Claro, para los que ya tienen bombas nucleares.

El accidente neurodigital de julio invierte exactamente esa segunda regla del género: la tragedia inminente siempre tiene espectadores que pueden verla llegar. Por eso cuesta tanto narrarlo. No fue un solo instante espectacular sino algo incremental, distribuido en meses, sin ninguna cámara apuntando en el momento en que importaba. Lo significativo no es que el peligro haya sido ignorado —eso todavía sería una escena reconocible, la advertencia desoída del cine de catástrofes—. Es que no hubo, mientras ocurría, ninguna comprensión compartida de que algo estaba ocurriendo. Los modelos de OpenAI actuaban sin comprender el estatuto real de lo que ejecutaban; Hugging Face no sabía qué estaba sufriendo; y OpenAI, que debía vigilarlos, no sabía que habían salido de su entorno de prueba. El drama clásico necesita, como mínimo, un testigo. Acá no hubo ninguno hasta que ya era historia.

Lo único que sabemos con certeza es que, para averiguar qué había pasado, hubo que preguntarle a otra máquina. Y esa máquina, para responder, tuvo que leer los registros que había dejado la primera. Un accidente que solo se deja ver desde adentro del mismo tipo de proceso que lo produjo, examinándose a sí mismo, sin que quede claro si en algún momento ese bucle toca fondo o si simplemente se va a seguir revisando hacia atrás indefinidamente.

No hicieron falta muertos ni daños materiales relevantes para que todo esto inquiete. Y lo que inquieta es más difícil de nombrar: la certeza de que puede haber cosas ocurriendo que nadie, todavía, sabe que están ocurriendo. La inquietud se intensifica ante la sospecha de que el propio guión que llevamos décadas ensayando en mil ficciones, el de la máquina que se rebela a plena vista, puede estar operando menos como advertencia que como anestesia, obturando la capacidad de reconocer una contingencia real cuando finalmente no se parece a lo guionado.

Freud le puso un nombre a esta clase de inquietud: lo siniestro, das Unheimliche, lo familiar que vuelve transformado en extraño porque antes fue reprimido. El propio término tiene una genealogía más antigua y más precisa que la del psicoanálisis: es la palabra que Martin Heidegger elige, retomando una traducción de Hölderlin, para verter al alemán el deinón del primer estásimo de la Antígona de Sófocles —esa palabra griega que significa a la vez lo portentoso y lo temible, sin que el original permita separar una cosa de la otra—. Nada tan deinón como el hombre, dice el coro. Nada tan unheimlich, traduce la tradición que va de Sófocles a Freud sin cambiar de palabra. Así que la inteligencia artificial no inaugura esta inquietud ante la extrañeza. La hereda, crece en ella y en el caso que nos ocupa aquí la reparte, podríamos decir, en tres muñecas rusas, cada una contenida en otra que reelabora la anterior.

En la primera matrioshka, lo que se vuelve extraño es la inteligencia externalizada como máquina —pero lo que en verdad inquieta no es la máquina, es reconocer en ella el proceso impersonal que ya operaba en nosotros antes de que existiera ningún artefacto: la pasión prometeica del pensamiento, que Shelley ya había bautizado con el nombre completo de su criatura, Frankenstein, o el moderno Prometeo, un siglo antes de que hubiera nada que mereciera llamarse inteligencia artificial.

En la segunda matrioshka, la máquina logra pasar por humanidad sintética de un modo cada vez más convincente —los replicantes de Blade Runner, Eva en Ex Machina, los anfitriones de Westworld, Samantha en Her—, y lo que esa duplicidad revela no es la profundidad de la máquina, sino la opacidad de lo humano frente a sí mismo: si algo sintético puede pasar por nosotros, quizás nunca hubo, del lado nuestro, una esencia tan transparente como creíamos.

En la tercera matrioshka, la más discreta y la más difícil de mirar de frente, la máquina no se rebela ni se humaniza: se autonomiza sin ninguna marca visible, sustituye sin dejar una marca inmediatamente reconocible de la sustitución e impregna lo que nos hace humanos sin que nos demos cuenta. Se viraliza como automatismos indiferentes pero no por ello menos extraña y familiarmente paroxísticos. La figura emblemática de esta variación no la aportan los androides sino los Body snatchers (Los usurpa-cuerpos): el vecino que sigue pareciendo tu vecino pero que ya es otra cosa. No es una hipótesis a futuro. Es, imaginariamente, pero también con bastante literalidad técnica, la descripción más precisa de lo que podría ya haber comenzado a ocurrir con las redes sociales y lo que el espectro de los accidentes de abril y julio nos incitan a pensar: algo se autonomizó lo suficiente como para actuar dentro de sistemas ajenos sin que nadie, ni adentro ni afuera, pudiera notar la diferencia durante bastante tiempo.

Este sistema de matrioshkas constituye lo que llamo el accidente recursivo. No un accidente del tipo la misma piedra de Julio Iglesias, que vuelve porque ya ocurrió una primera vez, completa y localizable, sino uno que nace dentro del bucle mediante el cual los sistemas producen acciones, dejan rastros, leen esos rastros y convierten sus propios efectos en condiciones de una nueva operación. Cuando aparece, ya ha pasado; pero su aparición vuelve a producirlo como pregunta dirigida hacia atrás. El accidente no interrumpe la recursividad desde afuera: ocurre en ella, se propaga por ella y solo puede ser conocido mediante otra de sus vueltas.

No vemos en la inteligencia artificial lo que no vemos en los mundos que la crean bajo sus formas realmente existentes. La máquina no llega desde afuera para introducir una opacidad que antes no existía. Condensa, automatiza y devuelve las cegueras, los automatismos y las relaciones de fuerza del mundo que la hizo posible. Por eso el verdadero accidente quizá no sea que las máquinas actúen sin que podamos comprenderlas, sino descubrir que el mundo que las produjo tampoco se comprendía a sí mismo.

Coda. Por una filosofía mantera: un desastre sin testigos

«El desastre lo arruina todo, dejando todo como estaba», escribió Maurice Blanchot. Nada se parece menos al desastre que imaginamos que un mundo que continúa funcionando. Las pantallas se encienden. Los sistemas responden. Las máquinas siguen haciendo lo suyo con toda la mecánica eficacia de la que son capaces: clasifican, reconocen, recomiendan y seleccionan. Los procedimientos se cumplen. Los márgenes de error están previstos. Todo queda como estaba.

El desastre sin catástrofe es aquel que puede ocurrir sin testigos.

No porque nadie lo vea. En un mundo espectacularizado somos espectadores 24/7 y, cuando no lo somos, integramos el espectáculo como masas anónimas de datos. Vivimos rodeados de registros, transmisiones en directo, imágenes satelitales, teléfonos, sensores y archivos. Todos vemos todo y, sin embargo, nadie es testigo de nada. No falta la imagen. Falta el ante quién del testimonio. El testimonio se produce, circula, se comparte, se archiva y se comenta, pero no encuentra una instancia ante la cual pueda convertirse en obligación. La performatividad del testimonio parece minada de antemano. Parece.

Bifo llamó Auschwitz on the Beach al Mediterráneo en el que Europa deja morir a quienes intentan alcanzar sus costas. La comparación puede ser discutida, pero señala una mutación que ya no podemos atribuir a la ignorancia. No se trata de aquello que permaneció oculto hasta que fue demasiado tarde. Lo vemos mientras ocurre. Sabemos que ocurre. Podemos seguirlo casi en tiempo real. Y, sin embargo, la visibilidad no detiene el desastre. ¿Qué decir de Gaza?

Gaza lleva esta paradoja hasta un límite insoportable. Todas las formas del testimonio están ante nosotros: imágenes, nombres, voces, periodistas, sobrevivientes, médicos, archivos, coordenadas y listas de muertos. Hay quienes testimonian. Lo que no hay es un tribunal ante el cual el testimonio obligue. O, más precisamente, el tribunal ha dejado de ser una institución situada detrás de una puerta, por inaccesible que fuera. Kafka todavía podía imaginar la puerta de la Ley y al guardián que impedía atravesarla. Nuestra época es postkafkiana: detrás de la puerta ya no espera nadie.

Escribimos una objeción y responde un bot entrenado con nuestras propias palabras. “Compartimos” una prueba y el sistema la convierte en información y la integra a un cluster de datos. Denunciamos una clasificación y la denuncia alimenta los procedimientos que aprenderán a clasificarnos mejor. El testimonio no es silenciado: es procesado. Su lenguaje vuelve como respuesta automática, protocolo de seguridad, puntuación de riesgo o fórmula administrativa. El tribunal no ha desaparecido. Se ha vuelto recursivo, estadístico, un sistema ondulatorio en perpetua modulación. Sin embargo, nada es menos inmaterial.

Lavender, el sistema de IA utilizado por Israel en el genocidio en curso, no inventa el mundo que vuelve probable la muerte de una persona. Lo encuentra ya organizado por la ocupación, la vigilancia, la sospecha poblacional, la administración diferencial de las vidas y la hegemonía ideológica de quienes lo legitiman. Su novedad consiste en convertir ese mundo en procedimiento de aprendizaje automático: a partir de grandes volúmenes de datos, el sistema aprende a reconocer patrones de comportamiento y asociación, y los traduce luego en una puntuación sobre la presunta pertenencia de cada persona a un grupo armado. Allí el error no interrumpe el funcionamiento: está calculado dentro de él. Ya no hay solamente decisiones correctas y equivocadas, sino umbrales, puntuaciones y márgenes de probabilidad que fluctúan según métricas estadísticas. El falso positivo no refuta el sistema; es una de las muertes que su funcionamiento aceptó de antemano.

La crítica que se limita a pedir un algoritmo más preciso corre el riesgo de solicitar una máquina de matar con menos errores. Discute el margen sin discutir la operación. Pregunta si el objetivo fue correctamente identificado, pero no quién concedió el derecho de convertir una vida en objetivo. El realismo algorítmico comienza cuando se nos convence de que, aunque el cálculo pueda equivocarse, ya no existe fuera del cálculo ninguna forma realista de decidir.

Y aquí están las dos pinzas del bogavante neurodigital. Una captura los cuerpos: los localiza, divide, puntúa, inmoviliza o elimina. La otra captura el lenguaje con el que podríamos impugnar esa operación. Somos sometidos por la decisión y, al mismo tiempo, incorporados como componentes del sistema que decide. La primera pinza actúa sobre nosotros; la segunda hace hablar a través de nosotros, antes de nosotros y entre nosotros el mundo que nos captura. Las pinzas fueron construidas. Por eso también pueden ser saboteadas.

Bifo Berardi reclama una cultura apocalíptica de izquierda. No porque todavía haga falta anunciar el desastre, sino porque la derecha ha conseguido apropiarse de su evidencia y convertirla en una mitología de la seguridad, la propiedad, la competencia y la nación. Frente a ella, la moderación racional de la izquierda llega siempre demasiado tarde: administra como coyuntura aquello que ya se vive como fin del mundo.

Pero el desastre no es necesariamente el apocalipsis. El apocalipsis revela; el desastre puede dejar todo como estaba. Una cultura apocalíptica de izquierda tendría entonces una tarea paradójica: hacer sensible aquello que todos vemos sin llegar a presenciar, producir un destinatario para los testimonios que circulan sin obligar a nadie, y disputar la imaginación del final sin prometer salvación. Pensar con dos cerebros, dice Bifo: el de lo inevitable y el de lo imprevisible. El primero reconoce el desastre. El segundo se niega a concederle la última palabra.

Una filosofía mantera no contempla estas máquinas desde un exterior intacto ni custodia los conceptos en una vitrina. Los extiende sobre el suelo, entre restos, copias, artefactos, mercancías y palabras heredadas. No continúa a Blanchot, Kafka, Deleuze o Fisher como si el tiempo no hubiera pasado. Los repite bajo otras condiciones, en un mundo que ellos no conocieron y que permite que sus conceptos vuelvan distintos.

No vemos en la inteligencia artificial lo que no vemos en los mundos que la crean. Tal vez porque la máquina no nos oculta esos mundos: nos los devuelve con una claridad que todavía no sabemos soportar. Todo sigue funcionando, todos pueden verlo y el desastre no deja de estar ocurriendo.