Sie sind auf Seite 1von 6

10/7/2015

NickBostrom:Qusucedecuandonuestrascomputadorassevuelvenmsinteligentesquenosotros?|TEDTalkSubtitlesandTranscript|TED.com

Log in

Return to talk

Subtitles and Transcript


Select language

Spanish
Translated by Denise R Quivu
Reviewed by Sebastian Betti

16:31

NickBostrom
Qu sucede cuando nuestras computadoras se vuelven ms inteligentes
que nosotros?
Posted Apr 2015
Rated Informative, Inspiring

0:11
https://www.ted.com/talks/nick_bostrom_what_happens_when_our_computers_get_smarter_than_we_are/transcript?language=es

1/8

10/7/2015

NickBostrom:Qusucedecuandonuestrascomputadorassevuelvenmsinteligentesquenosotros?|TEDTalkSubtitlesandTranscript|TED.com

Yo trabajo con un grupo de matemticos, filsofos y cientficos informticos, y nos juntamos para
pensar en el futuro de la inteligencia artificial, entre otras cosas. Algunos piensan que estas cosas son
una especie de ciencia ficcin alocadas y alejadas de la verdad. Pero bueno, me gusta sugerir que
analicemos la condicin humana moderna. (Risas) As es cmo tienen que ser las cosas.
0:40
Pero si lo pensamos, en realidad acabamos de llegar a este planeta, nosotros, la especie humana.
Piensen que si la Tierra hubiera sido creada hace un ao, entonces la raza humana solo tendra 10
minutos de edad y la era industrial habra empezado hace dos segundos. Otra forma de abordar esto es
pensar en el PIB mundial en los ltimos 10 000 aos, y de hecho, me he tomado la molestia de
representarlo en un grfico para Uds. Se ve as. (Risas) Tiene una forma curiosa para ser normal. Y
seguro que no me gustara sentarme en ella. (Risas)
1:18
Preguntmonos cul es la causa de esta anomala actual? Algunas personas dirn que es la
tecnologa. Ahora bien es cierto que la tecnologa ha aumentado a lo largo de la historia, y en la
actualidad avanza muy rpidamente --esa es la causa inmediata-- y por esto la razn de ser muy
productivos hoy en da. Pero me gusta indagar ms all, buscar la causa de todo.
1:44
Miren a estos 2 caballeros muy distinguidos: Tenemos a Kanzi, que domina 200 unidades lxicas, una
hazaa increble, y a Ed Witten que desat la segunda revolucin de las supercuerdas. Si miramos
atentamente esto es lo que encontramos: bsicamente la misma cosa. Uno es un poco ms grande, y
puede que tambin tenga algunos trucos ms por la forma en que est diseado, sin embargo, estas
diferencias invisibles no pueden ser demasiado complicadas porque solo nos separan 250 000
generaciones de nuestro ltimo ancestro comn. Sabemos que los mecanismos complicados tardan
mucho tiempo en evolucionar as que una serie de pequeos cambios nos lleva de Kanzi a Witten, de
las ramas de rboles rotas a los misiles balsticos intercontinentales.
2:31
As que parece bastante claro que todo lo que hemos logrado, y todo lo que nos importa, depende
fundamentalmente de algunos cambios relativamente menores sufridos por la mente humana. Y el
corolario es que, por supuesto, cualquier cambio ulterior que cambiara significativamente el
fundamento del pensamiento podra potencialmente acarrear enormes consecuencias.
2:55
Algunos de mis colegas piensan que estamos muy cerca de algo que podra causar un cambio
significativo en ese fundamento y que eso es la mquina superinteligente. La inteligencia artificial sola
ser la integracin de comandos en una caja, con programadores humanos que elaboraban
conocimiento minuciosamente a mano. Se construan estos sistemas especializados y eran bastante
tiles para ciertos propsitos, pero eran muy frgiles y no se podan ampliar. Bsicamente, se
consegua solamente lo que se inverta en ellos. Pero desde entonces, hubo un cambio de paradigma
en el campo de la inteligencia artificial.
https://www.ted.com/talks/nick_bostrom_what_happens_when_our_computers_get_smarter_than_we_are/transcript?language=es

2/8

10/7/2015

NickBostrom:Qusucedecuandonuestrascomputadorassevuelvenmsinteligentesquenosotros?|TEDTalkSubtitlesandTranscript|TED.com

3:30
Hoy, la accin gira en torno al aprendizaje mquina. As que en lugar de producir caractersticas y
representar el conocimiento de manera artesanal, creamos algoritmos que aprenden a menudo a partir
de datos de percepcin en bruto. Bsicamente lo mismo que hace el beb humano. El resultado es
inteligencia artificial que no se limita a un solo campo; el mismo sistema puede aprender a traducir entre
cualquier par de idiomas o aprender a jugar a cualquier juego de ordenador en la consola Atari. Ahora,
por supuesto, la IA est todava muy lejos de tener el mismo poder y alcance interdisciplinario para
aprender y planificar como lo hacen los humanos. La corteza cerebral an esconde algunos trucos
algortmicos que todava no sabemos cmo simular en las mquinas.
4:18
As que la pregunta es, cunto nos falta para poder implementar esos trucos? Hace un par de aos
hicimos una encuesta entre los expertos de IA ms importantes del mundo para ver lo que piensan, y
una de las preguntas que hicimos fue, "En qu ao crees que habr un 50 % de probabilidad en elevar
la inteligencia artificial al mismo nivel que la inteligencia humana?" Donde hemos definido ese nivel
como la capacidad de realizar casi todas las tareas, al menos as como las desarrolla un humano
adulto, por lo cual, un nivel real no solo dentro de un rea limitada. Y la respuesta fue alrededor de 2040
o 2050, dependiendo del grupo de expertos consultados. Ahora, puede ocurrir mucho ms tarde o ms
temprano, la verdad es que nadie lo sabe realmente.
5:04
Lo que s sabemos es que el umbral en el procesamiento de informacin en una infraestructura artificial
se encuentra mucho ms all de los lmites del tejido biolgico. Esto pertenece al campo de la fsica.
Una neurona biolgica manda impulsos quiz a 200 Hertz, 200 veces por segundo. mientras que
incluso hoy, un transistor opera a la frecuencia de los gigahercios. Las neuronas propagan el impulso
lentamente a lo largo de los axones, a mximo 100 metros por segundo. Pero en las computadoras, las
seales pueden viajar a la velocidad de la luz. Tambin hay limitaciones de tamao, como el cerebro
humano que tiene que encajar dentro del crneo, pero una computadora puede ser del tamao de un
almacn o an ms grande. As que el potencial de la mquina superinteligente permanece latente en la
materia, al igual que el poder atmico a lo largo de toda la historia que esper pacientemente hasta
1945. De cara a este siglo los cientficos pueden aprender a despertar el poder de la inteligencia
artificial y creo que podramos ser testigos de una explosin de inteligencia.
6:09
Cuando la mayora de la gente piensa en lo inteligente o lo tonto creo que tienen en mente una imagen
ms o menos as. En un extremo tenemos al tonto del pueblo, y lejos en el otro extremo, tenemos a Ed
Witten o a Albert Einstein, o quien sea su gur favorito. Pero creo que desde el punto de vista de la
inteligencia artificial, lo ms probable es que la imagen real sea la siguiente: Se empieza en este punto
aqu, en ausencia de inteligencia y luego, despus de muchos, muchos aos de trabajo muy arduo,
quiz finalmente lleguemos al nivel intelectual de un ratn, algo que puede navegar entornos
desordenados igual que un ratn. Y luego, despus de muchos, muchos ms aos de trabajo muy
arduo, de mucha inversin, tal vez alcancemos el nivel de inteligencia de un chimpanc. Y luego,
despus de ms aos de trabajo muy, muy arduo alcancemos la inteligencia artificial del tonto del
https://www.ted.com/talks/nick_bostrom_what_happens_when_our_computers_get_smarter_than_we_are/transcript?language=es

3/8

10/7/2015

NickBostrom:Qusucedecuandonuestrascomputadorassevuelvenmsinteligentesquenosotros?|TEDTalkSubtitlesandTranscript|TED.com

pueblo. Un poco ms tarde, estaremos ms all de Ed Witten. El tren del progreso no se detiene en la
estacin de los Humanos. Es probable que ms bien, pase volando.
7:13
Esto tiene profundas consecuencias, especialmente si se trata de poder. Por ejemplo, los chimpancs
son fuertes. Un chimpanc es dos veces ms fuerte y en mejor forma fsica que un hombre y, sin
embargo, el destino de Kanzi y sus amigos depende mucho ms de lo que hacemos los humanos que
de lo que ellos mismos hacen. Una vez que hay superinteligencia, el destino de la humanidad
depender de lo que haga la superinteligencia. Piensen en esto: la mquina inteligente es el ltimo
invento que la humanidad jams tendr que realizar. Las mquinas sern entonces mejores inventores
que nosotros, y lo harn a escala de tiempo digital lo que significa bsicamente que acelerarn la
cercana al futuro. Piensen en todas las tecnologas que tal vez, en su opinin, los humanos pueden
desarrollar con el paso del tiempo: tratamientos para el envejecimiento, la colonizacin del espacio,
nanobots autoreplicantes, mentes integradas en las computadoras, todo tipo de ciencia-ficcin y sin
embargo en consonancia con las leyes de la fsica. Todo esta superinteligencia podra desarrollarse y
posiblemente con bastante rapidez.
8:23
Ahora, una superinteligencia con tanta madurez tecnolgica sera extremadamente poderosa, y con la
excepcin de algunos casos sera capaz de conseguir lo que quiere. Nuestro futuro se determinara por
las preferencias de esta IA. Y una buena pregunta es cules son esas preferencias? Aqu se vuelve
ms complicado. Para avanzar con esto, debemos en primer lugar evitar el antropomorfismo. Y esto es
irnico porque cada artculo de prensa sobre el futuro de la IA presenta una imagen como esta: As que
creo que tenemos que pensar de manera ms abstracta, no segn escenarios entretenidos de
Hollywood.
9:08
Tenemos que pensar en la inteligencia como un proceso de optimizacin un proceso que dirige el futuro
hacia un conjunto especifico de configuraciones. Un superinteligencia es un proceso de optimizacin
realmente potente. Es muy bueno en el uso de recursos disponibles para lograr un estado ptimo y
alcanzar su objetivo. Esto significa que no hay ningn vnculo necesario entre ser muy inteligente en
este sentido, y tener una meta que para los humanos vale la pena o es significativa.
9:38
Por ejemplo, la IA podra tener el objetivo de hacer sonrer a los humanos. Cuando la IA est en
desarrollo, realiza acciones entretenidas para hacer sonrer a su usuario. Cuando la IA se vuelve
superinteligente, se da cuenta de que hay una manera ms eficaz para lograr su objetivo: tomar el
control del mundo e introducir electrodos en los msculos faciales de la gente para provocar sonrisas
constantes y radiantes. Otro ejemplo, supongamos que le damos el objetivo de resolver un problema
matemtico difcil. Cuando la IA se vuelve superinteligente, se da cuenta de que la forma ms eficaz
para conseguir la solucin a este problema es mediante la transformacin del planeta en un
computador gigante, para aumentar su capacidad de pensar. Y tengan en cuenta que esto da a la IA
una razn instrumental para hacer cosas que nosotros no podemos aprobar. Los seres humanos se
https://www.ted.com/talks/nick_bostrom_what_happens_when_our_computers_get_smarter_than_we_are/transcript?language=es

4/8

10/7/2015

NickBostrom:Qusucedecuandonuestrascomputadorassevuelvenmsinteligentesquenosotros?|TEDTalkSubtitlesandTranscript|TED.com

convierten en una amenaza, ya que podramos evitar que el problema se resuelva.


10:28
Por supuesto, las cosas no tienen necesariamente que pasar de esa manera: son ejemplos de muestra.
Pero lo importante, si crean un proceso de optimizacin muy potente, optimizado para lograr el objetivo
X, ms vale asegurarse de que la definicin de X incluye todo lo que importa. Es una moraleja que
tambin se ensea a travs de varios mitos. El rey Midas deseaba convertir en oro todo lo que tocaba.
Toca a su hija y ella se convierte en oro. Toca su comida, se convierte en oro. Es un ejemplo relevante
no solo de una metfora de la codicia sino como ilustracin de lo que sucede si crean un proceso de
optimizacin potente pero le encomiendan objetivos incomprensibles o sin claridad.
11:15
Uno puede pensar: "Si una computadora empieza a poner electrodos en la cara de la gente bastara
simplemente con apagarla. En primer lugar, puede que no sea tan sencillo si somos dependientes del
sistema por ejemplo: dnde est el botn para apagar Internet? En segundo lugar, por qu los
chimpancs no tienen acceso al mismo interruptor de la humanidad, o los neandertales? Sin duda
razones tendran. Tenemos un interruptor de apagado, por ejemplo, aqu mismo. (Finge estrangulacin)
La razn es que somos un adversario inteligente; podemos anticipar amenazas y planificar en
consecuencia, pero tambin podra hacerlo un agente superinteligente, y mucho mejor que nosotros. El
tema es que no debemos confiar que podemos controlar esta situacin.
12:03
Y podramos tratar de hacer nuestro trabajo un poco ms fcil digamos, poniendo a la IA en una caja,
en un entorno de software seguro, una simulacin de realidad virtual de la que no pueda escapar. Pero,
cmo podemos estar seguros de que la IA no encontrar un error? Dado que incluso los hackers
humanos encuentran errores todo el tiempo, yo dira que probablemente, no podemos estar muy
seguros. As que desconectamos el cable ethernet para crear un espacio vaco, pero una vez ms, al
igual que los hackers humanos, podran superar estos espacios usando la ingeniera social. Ahora
mismo, mientras hablo, estoy seguro de que algn empleado, en algn lugar ha sido convencido para
revelar los detalles de su cuenta por alguien que dice ser del departamento de IT.
12:45
Otros escenarios creativos tambin son posibles, por ejemplo si Ud. es la IA, puede hacer cambios en
los electrodos de su circuito interno de seguridad para crear ondas de radio y usarlas para
comunicarse. O tal vez fingir un mal funcionamiento, y cuando los programadores lo abren para
entender qu est mal, al mirar el cdigo fuente, pum! ya empieza a manipular. O podra idear un
programa tecnolgico realmente ingenioso, y cuando lo implementamos, tener efectos secundarios
ocultos planeados por la IA. No debemos confiar en nuestra capacidad para mantener un genio
superinteligente encerrado en su lmpara para siempre. Tarde o temprano, saldr.
13:26
Creo que la solucin es averiguar cmo crear una IA superinteligente para que incluso si, o cuando se
escape, sea todava segura para que fundamentalmente est de nuestro lado y comparta nuestros
https://www.ted.com/talks/nick_bostrom_what_happens_when_our_computers_get_smarter_than_we_are/transcript?language=es

5/8

10/7/2015

NickBostrom:Qusucedecuandonuestrascomputadorassevuelvenmsinteligentesquenosotros?|TEDTalkSubtitlesandTranscript|TED.com

valores. No veo cmo evitar este problema difcil.


13:43
En realidad soy bastante optimista de que este problema pueda ser resuelto. No tendramos que
escribir una larga lista de todo lo que nos importa, o, peor an, codificarla en algn lenguaje informtico
como C++ o Python, sera una reto imposible. A cambio, crearamos una IA que use su inteligencia para
aprender lo que valoramos, y su sistema integrado de motivacin sera diseado para defender
nuestros valores y realizar acciones que se ajusten a ellos. As que usaramos su inteligencia tanto como
fuera posible para resolver el problema de la atribucin de valores.
14:23
Esto puede suceder, y el resultado podra ser muy bueno para la humanidad. Pero no sucede
automticamente. Las condiciones iniciales para la explosin de la inteligencia necesitan ser
perfectamente definidas si queremos contar con una detonacin controlada. Los valores de la IA tienen
que coincidir con los nuestros no solo en el mbito familiar, donde podemos comprobar fcilmente
cmo se comporta, sino tambin en todos los nuevos contextos donde la IA podra encontrarse en un
futuro indefinido.
14:54
Y tambin hay algunas cuestiones esotricas que habra que resolver: los detalles exactos de su teora
de la decisin, cmo manejar la incertidumbre lgica, etc. As que los problemas tcnicos que hay que
resolver para hacer este trabajo parecen muy difciles --no tan difciles como crear una IA
superinteligente-- pero bastante difciles. Este es la preocupacin: crear una IA superinteligente es un
reto muy difcil y crear una que sea segura implica desafos adicionales. El riesgo es si alguien
encuentra la manera de superar el primer reto sin resolver el otro desafo de garantizar la mxima
seguridad.
15:36
As que creo que deberamos encontrar una solucin al problema del control por adelantado, de modo
que est disponible para cuando sea necesario. Puede ser que no podamos resolver por completo el
problema del control de antemano porque tal vez, algunos elementos solo pueden ser desarrollados
despus de reunir los detalles tcnicos de la IA en cuestin. Pero cuanto antes solucionemos el
problema del control, mayores sern las probabilidades de que la transicin a la era de las mquinas
inteligentes vaya bien.
16:05
Esto me parece algo digno de hacer y puedo imaginar que si las cosas salen bien, la gente en un milln
de aos discutir nuestro siglo y dir que posiblemente lo nico que hicimos bien y mereci la pena fue
superar con xito este reto.
16:23
Gracias.

https://www.ted.com/talks/nick_bostrom_what_happens_when_our_computers_get_smarter_than_we_are/transcript?language=es

6/8

Das könnte Ihnen auch gefallen