Comenzó hace tres mil quinientos millones de años en un charco de lodo, cuando una molécula hizo una copia de sí misma y así se convirtió en el antepasado último de toda la vida terrenal. Comenzó hace cuatro millones de años, cuando los volúmenes cerebrales comenzaron a subir rápidamente en la línea homínida.
Hace cincuenta mil años con el surgimiento del Homo sapiens sapiens.
hace Diez mil años con la invención de la civilización.
hace quinientos años con la invención de la imprenta.
hace Cincuenta años con la invención de la computadora.
En menos de treinta años, terminará.
Jaan Tallin se topó con estas palabras en 2007, en un ensayo en línea llamado Staring into the Singularity. El» eso » era la civilización humana. La humanidad dejaría de existir, predijo el autor del ensayo, con el surgimiento de la superinteligencia, o IA, que supera la inteligencia a nivel humano en una amplia gama de áreas.
Tallin, un programador informático nacido en Estonia, tiene una formación en física y una propensión a abordar la vida como un gran problema de programación. En 2003, cofundó Skype, desarrollando el backend para la aplicación. Cobró sus acciones después de que eBay las comprara dos años después, y ahora estaba buscando algo que hacer. Mirando a la Singularidad, el código de computadora, la física cuántica y las citas de Calvin y Hobbes. Estaba enganchado.
Tallin pronto descubrió que el autor, Eliezer Yudkowsky, un teórico autodidacta, había escrito más de 1000 ensayos y publicaciones de blog, muchos de ellos dedicados a la superinteligencia. Escribió un programa para extraer los escritos de Yudkowsky de Internet, ordenarlos cronológicamente y formatearlos para su iPhone. Luego pasó la mejor parte de un año de lectura de ellos.
El término inteligencia artificial, o la simulación de inteligencia en computadoras o máquinas, se acuñó en 1956, solo una década después de la creación de los primeros ordenadores digitales electrónicos. La esperanza para el campo era inicialmente alta, pero en la década de 1970, cuando las primeras predicciones no dieron resultado, se inició un «invierno de IA». Cuando Tallin encontró los ensayos de Yudkowsky, la IA estaba experimentando un renacimiento. Los científicos estaban desarrollando AIs que sobresalían en áreas específicas, como ganar al ajedrez, limpiar el suelo de la cocina y reconocer el habla humana. Tales AIS «estrechas», como se les llama, tienen capacidades sobrehumanas, pero solo en sus áreas específicas de dominio. Una IA que juega al ajedrez no puede limpiar el suelo ni llevarte del punto A al punto B. Tallinn llegó a creer que la IA superinteligente combinará una amplia gama de habilidades en una sola entidad. Más oscuro, también podría usar datos generados por humanos con teléfonos inteligentes para sobresalir en la manipulación social.
Al leer los artículos de Yudkowsky, Tallin se convenció de que la superinteligencia podría llevar a una explosión o ruptura de IA que podría amenazar la existencia humana, que las IA ultramarinas tomarán nuestro lugar en la escalera evolutiva y nos dominarán de la manera en que ahora dominamos a los simios. O, peor aún, exterminarnos.
Después de terminar el último de los ensayos, Tallin envió un correo electrónico a Yudkowsky, todo en minúsculas, como es su estilo. «soy jaan, uno de los ingenieros fundadores de skype», escribió. Finalmente llegó al punto: «estoy de acuerdo en eso … prepararse para el evento de una IA general que supere a la inteligencia humana es una de las principales tareas para la humanidad.»Quería ayudar.
Cuando Tallin voló al Área de la Bahía para otras reuniones una semana después, conoció a Yudkowsky, que vivía cerca, en un café en Millbrae, California. Su reunión duró cuatro horas. «En realidad, entendía genuinamente los conceptos subyacentes y los detalles», me dijo recientemente Yudkowsky. «Esto es muy raro.»Después, Tallin escribió un cheque por 5 5,000 (£3,700) al Singularity Institute for Artificial Intelligence, la organización sin fines de lucro donde Yudkowsky era un investigador. (La organización cambió su nombre a Instituto de Investigación de Inteligencia Artificial, o Miri, en 2013. Tallin desde entonces ha dado al instituto más de 6 600,000.
El encuentro con Yudkowsky le dio un propósito a Tallin, enviándolo a una misión para salvarnos de nuestras propias creaciones. Se embarcó en una vida de viajes, dando charlas por todo el mundo sobre la amenaza planteada por la superinteligencia. En su mayoría, sin embargo, comenzó a financiar la investigación de métodos que podrían dar a la humanidad una salida: la llamada IA amigable. Eso no significa que una máquina o agente sea particularmente hábil para charlar sobre el clima, o que recuerde los nombres de sus hijos, aunque la IA superinteligente podría hacer ambas cosas. No significa que esté motivado por el altruismo o el amor. Una falacia común es asumir que la IA tiene impulsos y valores humanos. «Amistoso» significa algo mucho más fundamental: que las máquinas del mañana no nos aniquilarán en su búsqueda de alcanzar sus objetivos.
La primavera pasada, me uní a Tallin para una comida en el comedor del Jesus College de la Universidad de Cambridge. El espacio de la iglesia está adornado con vidrieras, molduras de oro y pinturas al óleo de hombres con pelucas. Tallin se sentó en una mesa pesada de caoba, vistiendo el atuendo informal de Silicon Valley: jeans negros, camiseta y zapatillas de lona. Un techo abovedado de madera se extendía por encima de su cabello rubio grisáceo.
A los 47 años, Tallin es, de alguna manera, su emprendedor tecnológico de libros de texto. Cree que gracias a los avances de la ciencia (y siempre que la IA no nos destruya), vivirá «muchos, muchos años». Cuando sale a clubes con investigadores, sobrevive incluso a los jóvenes estudiantes graduados. Su preocupación por la superinteligencia es común entre su cohorte. La fundación del cofundador de PayPal, Peter Thiel, ha donado 1,6 millones de dólares a Miri y, en 2015, el fundador de Tesla, Elon Musk, donó 10 millones de dólares al Instituto Future of Life, una organización de seguridad tecnológica en Cambridge, Massachusetts. Pero la entrada de Tallin a este mundo enrarecido llegó tras el telón de acero en la década de 1980, cuando el padre de un compañero de clase con un trabajo en el gobierno le dio a algunos niños brillantes acceso a computadoras centrales. Después de que Estonia se independizara, fundó una compañía de videojuegos. Hoy en día, Tallin todavía vive en su capital, también llamada Tallin, con su esposa y el menor de sus seis hijos. Cuando quiere reunirse con investigadores, a menudo los lleva en avión a la región del Báltico.
Su estrategia de dar es metódica, como casi todo lo demás que hace. Distribuye su dinero entre 11 organizaciones, cada una de las cuales trabaja en diferentes enfoques para la seguridad de la IA, con la esperanza de que una se mantenga. En 2012, cofundó el Centro de Cambridge para el Estudio del Riesgo Existencial (CSER) con un desembolso inicial de cerca de 2 200,000.
Los riesgos existenciales, o riesgos X, como los llama Tallin, son amenazas a la supervivencia de la humanidad. Además de la IA, los más de 20 investigadores de CSER estudian el cambio climático, la guerra nuclear y las armas biológicas. Pero, para Tallin, esas otras disciplinas «son en realidad solo drogas de entrada». La preocupación por amenazas más ampliamente aceptadas, como el cambio climático, podría atraer a la gente. El horror de las máquinas superinteligentes que se apoderan del mundo, espera, los convencerá de quedarse. Estaba visitando Cambridge para una conferencia porque quiere que la comunidad académica se tome más en serio la seguridad de la IA.
En Jesus College, nuestros compañeros de comedor eran una variedad aleatoria de asistentes a conferencias, incluida una mujer de Hong Kong que estudiaba robótica y un hombre británico que se graduó de Cambridge en la década de 1960. El hombre mayor preguntó a todos en la mesa dónde asistían a la universidad. (La respuesta de Tallin, la Universidad Estonia de Tartu, no le impresionó. Luego trató de dirigir la conversación hacia las noticias. Tallin lo miró con asombro. «No estoy interesado en los riesgos a corto plazo», dijo.
Tallin cambió el tema a la amenaza de superinteligencia. Cuando no habla con otros programadores, usa metáforas por defecto, y corrió a través de su conjunto de ellas: la IA avanzada puede deshacerse de nosotros tan rápido como los humanos talan árboles. La superinteligencia es para nosotros lo que somos para los gorilas.
Una IA necesitaría un cuerpo para hacerse cargo, dijo el hombre mayor. Sin algún tipo de carcasa física, ¿cómo podría ganar control físico?
Tallin tenía preparada otra metáfora: «Ponme en un sótano con conexión a Internet, y podría hacer mucho daño», dijo. Luego tomó un bocado de risotto.
Cada IA, ya sea una Roomba o uno de sus descendientes potenciales que dominan el mundo, está impulsada por los resultados. Los programadores asignan estos objetivos, junto con una serie de reglas sobre cómo perseguirlos. La IA avanzada no necesariamente tendría que tener el objetivo de dominar el mundo para lograrlo, podría ser accidental. Y la historia de la programación de computadoras está plagada de pequeños errores que provocaron catástrofes. En 2010, por ejemplo, cuando un operador con la compañía de fondos mutuos Waddell & Reed vendió miles de contratos de futuros, el software de la empresa omitió una variable clave del algoritmo que ayudó a ejecutar la operación. El resultado fue el «flash crash» estadounidense de un billón de dólares.
Los fondos de los investigadores de Tallin creen que si la estructura de recompensa de una IA sobrehumana no está programada adecuadamente, incluso los objetivos benignos podrían tener fines insidiosos. Un ejemplo bien conocido, presentado por el filósofo de la Universidad de Oxford Nick Bostrom en su libro Superintelligence, es un agente ficticio dirigido a hacer tantos clips como sea posible. La IA podría decidir que los átomos en los cuerpos humanos se utilizarían mejor como materia prima.
Las opiniones de Tallin tienen su parte de detractores, incluso entre la comunidad de personas preocupadas por la seguridad de la IA. Algunos objetan que es demasiado pronto para preocuparse por restringir la IA superinteligente cuando aún no la entendemos. Otros dicen que centrarse en actores tecnológicos deshonestos desvía la atención de los problemas más urgentes que enfrenta el campo, como el hecho de que la mayoría de los algoritmos están diseñados por hombres blancos o se basan en datos sesgados hacia ellos. «Estamos en peligro de construir un mundo en el que no queremos vivir si no abordamos esos desafíos a corto plazo», dijo Terah Lyons, directora ejecutiva de Partnership on AI, un consorcio de la industria tecnológica centrado en la seguridad de la IA y otros temas. (Varios de los institutos Tallinn backs son miembros. Pero, agregó, algunos de los desafíos a corto plazo a los que se enfrentan los investigadores, como eliminar el sesgo algorítmico, son precursores de los que la humanidad podría ver con la IA súper inteligente.
Tallin no está tan convencido. Él responde que la IA superinteligente trae amenazas únicas. En última instancia, espera que la comunidad de IA pueda seguir el ejemplo del movimiento antinuclear de la década de 1940. A raíz de los bombardeos de Hiroshima y Nagasaki, los científicos se unieron para tratar de limitar más pruebas nucleares. «Los científicos del Proyecto Manhattan podrían haber dicho:’ Mira, estamos innovando aquí, y la innovación siempre es buena, así que salgamos adelante'», me dijo. «Pero eran más responsables que eso.»
Tallin advierte que cualquier enfoque de la seguridad de la IA será difícil de hacer bien. Si una IA es lo suficientemente inteligente, podría comprender mejor las limitaciones que sus creadores. Imaginen, dijo, «despertarse en una prisión construida por un grupo de niños ciegos de cinco años.»Así es como podría ser una IA súper inteligente que está confinada por los humanos.
El teórico Yudkowsky encontró evidencia de que esto podría ser cierto cuando, a partir de 2002, llevó a cabo sesiones de chat en las que desempeñó el papel de una IA encerrada en una caja, mientras que una rotación de otras personas interpretó al guardián encargado de mantener la IA dentro. Tres de cada cinco veces, Yudkowsky, un simple mortal, dice que convenció al portero para que lo liberara. Sin embargo, sus experimentos no han desalentado a los investigadores a tratar de diseñar una caja mejor.
Los investigadores que los fondos de Tallin están siguiendo una amplia variedad de estrategias, desde lo práctico hasta lo aparentemente inverosímil. Algunos teorizan sobre la IA de boxeo, ya sea físicamente, construyendo una estructura real para contenerla, o programando en límites a lo que puede hacer. Otros están tratando de enseñar a la IA a adherirse a los valores humanos. Algunos están trabajando en un interruptor de apagado de última hora. Un investigador que está profundizando en los tres es el matemático y filósofo Stuart Armstrong del Instituto del Futuro de la Humanidad de la Universidad de Oxford, que Tallin llama «el lugar más interesante del universo».»(Tallin ha dado a FHI más de 3 310,000.)
Armstrong es uno de los pocos investigadores en el mundo que se centra a tiempo completo en la seguridad de la IA. Cuando lo conocí a tomar un café en Oxford, llevaba una camisa de rugby desabrochada y tenía la apariencia de alguien que pasa su vida detrás de una pantalla, con una cara pálida enmarcada por un lío de cabello arenoso. Sazonó sus explicaciones con una mezcla desorientadora de referencias de cultura popular y matemáticas. Cuando le pregunté cómo se vería tener éxito en la seguridad de la IA, dijo: «¿Has visto la película de Lego? Todo es increíble.»
Una cepa de la investigación de Armstrong analiza un enfoque específico del boxeo llamado IA «oráculo». En un artículo de 2012 con Nick Bostrom, cofundador de FHI, propuso no solo bloquear la superinteligencia en un tanque de retención, una estructura física, sino también restringirla a responder preguntas, como una tabla Ouija realmente inteligente. Incluso con estos límites, una IA tendría un inmenso poder para remodelar el destino de la humanidad manipulando sutilmente a sus interrogadores. Para reducir la posibilidad de que esto suceda, Armstrong propone límites de tiempo en las conversaciones o prohibir las preguntas que podrían alterar el orden mundial actual. También ha sugerido dar a Oracle medidas proxy de supervivencia humana, como el promedio industrial Dow Jones o el número de personas que cruzan la calle en Tokio, y decirle que las mantenga estables.
En última instancia, Armstrong cree que podría ser necesario crear, como lo llama en un artículo, un «gran botón de apagado rojo»: un interruptor físico o un mecanismo programado en una IA para apagarse automáticamente en caso de una ruptura. Pero diseñar un interruptor de este tipo no es nada fácil. No es solo que una IA avanzada interesada en la autopreservación pueda evitar que se presione el botón. También podría volverse curioso sobre por qué los humanos idearon el botón, activarlo para ver qué sucede y volverse inútil. En 2013, un programador llamado Tom Murphy VII diseñó una IA que podría aprender a jugar juegos de Nintendo Entertainment System. Decidida a no perder en Tetris, la IA simplemente presionó pausa y mantuvo el juego congelado. «En verdad, la única jugada ganadora es no jugar», observó irónicamente Murphy en un artículo sobre su creación.
Para que la estrategia tenga éxito, una IA tiene que no estar interesada en el botón, o, como dijo Tallin: «Tiene que asignar el mismo valor al mundo donde no existe y al mundo donde existe.»Pero incluso si los investigadores pueden lograr eso, hay otros desafíos. ¿Qué pasa si la IA se ha copiado varias miles de veces a través de Internet?
El enfoque que más entusiasma a los investigadores es encontrar una manera de hacer que la IA se adhiera a los valores humanos, no programándolos, sino enseñando a las IA a aprenderlos. En un mundo dominado por la política partidista, la gente a menudo se detiene en las formas en que nuestros principios difieren. Pero, me dijo Tallin, los humanos tienen mucho en común: «Casi todos valoran su pierna derecha. Simplemente no pensamos en ello.»La esperanza es que a una IA se le enseñe a discernir tales reglas inmutables.
En el proceso, una IA tendría que aprender y apreciar el lado menos lógico de los humanos: que a menudo decimos una cosa y queremos decir otra, que algunas de nuestras preferencias entran en conflicto con otras y que las personas son menos confiables cuando están borrachas. A pesar de los desafíos, Tallin cree que vale la pena intentarlo porque hay mucho en juego. «Tenemos que pensar unos pasos por delante», dijo. «Crear una IA que no comparta nuestros intereses sería un terrible error.»
En su última noche en Cambridge, me reuní con Tallin y dos investigadores para cenar en un asador. Un camarero sentó a nuestro grupo en una bodega encalada con un ambiente de cueva. Nos entregó un menú de una página que ofrecía tres tipos diferentes de puré. Una pareja se sentó en la mesa junto a nosotros, y unos minutos después pidió mudarse a otro lugar. «Es demasiado claustrofóbico», se quejó la mujer. Pensé en el comentario de Tallin sobre el daño que podría causar si estuviera encerrado en un sótano con nada más que una conexión a Internet. Aquí estábamos, en la caja. Como si estuvieran en el momento oportuno, los hombres contemplaron formas de salir.
Entre los invitados de Tallin se encontraban el ex investigador de genómica Seán Ó hÉigeartaigh, director ejecutivo de CSER, y Matthijs Maas, investigador de IA de la Universidad de Copenhague. Bromearon sobre una idea para una película de acción nerd titulada Superintelligence v Blockchain!, y discutió un juego en línea llamado Universal Paperclips, que riffs sobre el escenario en el libro de Bostrom. El ejercicio consiste en hacer clic repetidamente con el ratón para hacer clips. No es exactamente llamativo, pero da una idea de por qué una máquina podría buscar formas más convenientes de producir suministros de oficina.
Eventualmente, la conversación cambió hacia preguntas más grandes, como a menudo sucede cuando Tallin está presente. El objetivo final de la investigación sobre seguridad de la IA es crear máquinas que, como dijo una vez Huw Price, filósofo de Cambridge y cofundador de CSER, sean «sobrehumanas desde el punto de vista ético y cognitivo». Otros han planteado la pregunta: si no queremos que la IA nos domine, ¿queremos dominar la IA? En otras palabras, ¿tiene la IA derechos? Tallin cree que esto es antropomorfización innecesaria. Asume que la inteligencia es igual a la conciencia, un concepto erróneo que molesta a muchos investigadores de IA. Más temprano en el día, el investigador de CSER José Hernández-Orallo bromeó diciendo que cuando habla con investigadores de IA, la conciencia es «la palabra con C». («Y’ libre albedrío ‘es la palabra con F», agregó.)
En el sótano, Tallin dijo que la conciencia no viene al caso: «Tomemos el ejemplo de un termostato. Nadie diría que es consciente. Pero es realmente inconveniente enfrentarte a ese agente si estás en una habitación que está configurada a 30 grados negativos.»
Ó hÉigeartaigh intervino. «Sería bueno preocuparse por la conciencia», dijo, » pero no tendremos el lujo de preocuparnos por la conciencia si no hemos resuelto primero los desafíos de seguridad técnica.»
La gente se preocupa demasiado por lo que es la IA superinteligente, dijo Tallinn. ¿Qué forma tomará? ¿Deberíamos preocuparnos de que una sola IA se haga cargo, o un ejército de ellos? «Desde nuestra perspectiva, lo importante es lo que hace la IA», subrayó. Y eso, cree, todavía puede depender de los humanos – por ahora.
Esta pieza apareció originalmente en la revista Popular Science