La voluntad SUPERINTELLIGENT:motivacin y

racionalidad instrumental en Advanced

agentes artificiales
(2012) Nick Bostrom
futuro de la humanidad, los
profesores del Instituto de Filosofa y de Oxford Martin School de
la
Universidad de Oxford
[www.nickbostrom.com prximas en las mentes y mquinas, 2012]
RESUMEN
Este documento analiza la relacin entre la inteligencia y la
motivacin en agentes artificiales,
desarrollando y discutiendo brevemente dos tesis. La primera, la
ortogonalidad tesis, sostiene (con algunas
salvedades) que la inteligencia y objetivos finales (efectos) son
ejes ortogonales a lo largo del cual es posible
intelectos artificiales pueden variar libremente ms o menos
cualquier nivel de inteligencia podra combinarse con
ms o menos cualquier meta final. La segunda, el instrumental de
convergencia, sostiene la tesis de que, mientras
ellos poseen un nivel suficiente de inteligencia, agentes que tengan
cualquiera de una amplia gama de metas finales
sern similares objetivos intermedios porque tienen razones
instrumentales para hacerlo.En
combinacin, los dos tesis nos ayudan a entender la posible gama de
comportamientos de
los agentes, y superintelligent sealan algunos peligros potenciales
en la construccin de tal agente.
KEYWORDS: superintelligence, Inteligencia artificial AI, el
objetivo, la razn instrumental, Intelligent
Agent
1. La ortogonalidad de la motivacin y la inteligencia
1.1 evitando el antropomorfismo
Si nos imaginamos un espacio en el que todas las posibles mentes
pueden estar representados, debemos imaginar todas las
mentes humanas como constituyendo una pequea y bastante apretado
cluster dentro de ese espacio. Las
diferencias de personalidad entre Hannah Arendt y Benny Hill puede
parecer enorme para nosotros, pero esto es porque
la barra de escala en nuestro intuitivo sentencia se calibra en la
distribucin humana existente. En el
espacio ms amplio de todas las posibilidades lgicas, estas dos
personalidades son vecinos cercanos. En trminos de
arquitectura neuronal, al menos, la Sra. Arendt y el Sr. Hill son
casi idnticas.Imagine sus cerebros
sentando al lado de tranquilo reposo. Las diferencias parecen
menores y que sera bastante fcil reconocerlos como dos de una
clase; puede incluso ser incapaz de decir cual era el cerebro cuyo.
Si ha estudiado la morfologa de los dos cerebros ms estrechamente
bajo un microscopio, el
1

impresin de similitud fundamental slo sera reforzado: despus,

tendra que ver la misma organizacin laminar de la corteza, formada
por el mismo tipo de neurona, la inmersin en el mismo
bao de molculas neurotransmisoras.1
Es bien k nown th en n observadores ave anthropomorphize
frecuentemente las capacidades de simple r
insensate sistemas.podramos decir, por ejemplo, "Esta mquina
expendedora est tomando mucho tiempo para pensar acerca de mi
chocolate caliente." Esto podra llevar bien a subestimar la
complejidad cognitiva de capacidades que vienen naturalmente a los
seres humanos, tales como el control motor y
percepcin sensorial o, alternativamente, que atribuyen importantes
grados de La concentracin y la
inteligencia para sistemas muy tontas, como gusta de Weizenbaum
chatterboxes ELIZ UN
Weizenbaum (1976). De manera similar, existe una tendencia comn a
anthropomorphize las
motivaciones de los sistemas inteligentes en los que realmente no
hay terreno para esperar humano-como
unidades y pasiones ("Mi coche realmente no desea iniciar esta
maana") . Eliezer Yudkowsky
da una buena ilustracin de este fenmeno:
en la era de la ciencia ficcin de la pulpa, la revista cubre
ocasionalmente representado un
aliengena monstruoso sentient coloquialmente conocida como un bugeyed monster (BEM)-llevar una
atractiva mujer humana en un vestido desgarrado.Parece que el
artista no cree que un
aliengena humanoide -, con una historia evolutiva totalmente
diferente, deseo sexual
hembras humanas ... percibe las
hembras humanas como atractivo. Ms bien, una mujer humana en un
rasgado vestido es sexy-intrnsecamente as, como una propiedad
intrnseca.
mente: se centra en la mujer vestido rasgado.
sera menos sexy; BEM no entrar en ella. Yudkowsky (2008)
una inteligencia artificial puede ser mucho menos humano-como en sus
motivaciones de un extraterrestre.
El Extraterrestre (supongamos) es una criatura biolgica que ha
surgido a travs de un proceso de
evolucin y por lo tanto, puede esperarse que tenga el tipo de
motivacin tpicos de evolucionado criaturas. Por ejemplo, no sera
enormemente sorprendente encontrar que algunos al azar
extraterrestre inteligente habra motivos relacionados con el logro
o evitando de alimentos, aire, temperatura,
gasto energtico, la amenaza o la aparicin de lesiones,
enfermedades, predadores, reproduccin, o la

proteccin de la descendencia. Un miembro de una especie social

inteligente tambin podra tener motivaciones
relacionadas con la cooperacin y la competencia: como nosotros,
podra mostrar la lealtad de grupo, un resentimiento de
free-riders, incluso una preocupacin con la reputacin y la
apariencia.
Por el contrario, una mente artificial no necesita cuidado
intrnsecamente sobre cualquiera de esas cosas, ni
siquiera el ms mnimo grado. Uno puede fcilmente concebir una
inteligencia artificial cuyo nico
objetivo fundamental es contar los granos de la arena en Boracay, o
para calcular decimales de pi
indefinidamente, o maximizar el nmero total de clips en su futuro
lightcone. De hecho, sera
ms fcil crear un AI con objetivos simples como estos, que
construir uno que tiene un ser humanocomo el conjunto de valores y disposiciones.
1 Por supuesto, no se trata de negar que las diferencias que
aparecen pequeas pueden ser funcionalmente visualmente profunda.
2
probablemente el artista no preguntar si un bug gigante
que quien hizo este error no pensar en el insectoid si el vestido no
estaban desgarrados, la mujer

1.2 La ortogonalidad tesis

para nuestros propsitos, la "inteligencia" ser aproximadamente
adoptadas para corresponder a la capacidad para el
razonamiento instrumental (ms sobre esto ms adelante). Bsqueda
inteligente de planes
y polticas ptimas instrumentalmente puede realizarse en el
servicio de cualquier meta.la inteligencia y la motivacin en este
sentido puede ser pensado como un par de ejes ortogonales en un
grfico cuyos puntos representan
los agentes inteligentes de diferentes especificaciones
emparejado.Cada punto en el grfico representa un posible
lgicamente
agente artificial, modulo algunas limitaciones dbiles, por ejemplo,
podra ser imposible para un
sistema muy ignorantes para tener motivaciones muy complejas, desde
complejas motivaciones impondra una carga significativa en la
memoria.Adems, para que un agente de "tener" un conjunto de
motivaciones, este conjunto puede necesitar ser funcionalmente
integrada con los procesos de decisin del agente,
que volvera a colocar sus demandas en la potencia de procesamiento
y quizs de inteligencia.Para mentes
que puede Modificar ellos mismos, tambin pueden existir
limitaciones dinmicos; por ejemplo, una
mente inteligente con un urgente deseo de ser estpido no podra
seguir siendo inteligente para muy largo. Pero estas

calificaciones no debe opacar la idea principal, que podemos

expresar como sigue:
La ortogonalidad tesis
inteligencia y objetivos finales son ejes ortogonales a lo largo del
cual es posible que los agentes pueden
variar libremente. En otras palabras, ms o menos cualquier nivel de
inteligencia podra en principio ser
combinado con ms o menos cualquier meta final.
Puede hacerse una comparacin Humean aqu con la teora de la
motivacin. David Hume
pensaba que creencias solo (es decir, sobre lo que es bueno hacerlo)
no puede motivar a la accin:
se requiere cierta voluntad.2 Esto apoyara la o t rthogonality
hesis por la subcotizacin una posible
objecin, a saber, que la inteligencia suficiente podra conllevar
la adquisicin de ciertas creencias,
y que estas creencias sera necessaril y producir ciertas
motivaciones. Pero no es as, segn David
Hume: creencia y motivo estn separados.
Aunque la ortogonalidad tesis puede dibujar Humean s itio de la
teora de la
motivacin, no presuponen que . En particular, no hay necesidad de
mantener que las creencias por s solo
nunca puede motivar a la accin.bastara un ssume, por ejemplo, que
un agente-estar de alguna manera
inteligente puede ser motivado para seguir un curso de accin si el
agente pasa a tener ciertos deseos permanente de algunos suficiente,
la fuerza primordial. Otra manera en que la
ortogonalidad tesis podra ser cierto incluso si la teora de la
motivacin Humean es falso es si
arbitrariamente alta inteligencia no implica la adquisicin de
cualquiera de tales creencias como son (presuntamente)
motivar en sus el propios. Un tercer aspecto en el que sera posible
que la ortogonalidad tesis
para ser cierto incluso si la teora Humean eran falsas es si es
posible construir un sistema cognitivo (o
ms neutral, un proceso de "optimizacin") con alta intell igence
arbitrariamente, sino con la
constitucin tan exticas como al no contener claramente funcionales
anlogos a lo que en los seres humanos llamamos
2 Para algunos de los recientes intentos de defender la teora de la
motivacin humean, vase Smith (1987), Lewis (1988), y Sinhababu
(2009).
3

"creencias" y "deseos" . Este sera el caso si un sistema de este

tipo se puede construir de una manera
que hara motivados para perseguir cualquier meta final.

La ortogonalidad tesis, como formula aqu, hace un reclamo acerca de

la relacin
entre la motivacin y la inteligencia, en lugar de entre la
motivacin y racionalidad (o de la
motivacin y la razn).
Un "normativamente ms gruesa de concepto" que buscamos para
connotar aqu con la palabra "inteligencia".Por
ejemplo, en motivos y personas Derek Parfit argumenta que ciertas
preferencias bsicas sera irracional, como que en caso contrario de
un agente normal que tiene "Futuro -Tuesday-Indifference" :
una cierta hedonista cuida mucho acerca de la calidad de sus futuras
experiencias.Con
excepcin de uno, que l se preocupa por igual sobre todas las
partes de su futuro. La excepcin es que l ha
Future-Tuesday indiferencia. A lo largo de cada martes se interesa
en la manera habitual
sobre lo que est sucediendo a l.Pero l nunca se preocupa por
posibles dolores o placeres sobre
un futuro martes...esta indiferencia es una realidad.Cuando l est
planeando su futuro,
simplemente, es cierto que l siempre prefiere la perspectiva de un
gran sufrimiento en un martes a la
ms leve dolor en cualquier otro da. Parfit (1984)3
Por lo tanto, el agente ahora es indiferente a su propio futuro
sufrimiento si y slo si se produce en un futuro el
martes. Para nuestros propsitos, necesitamos adoptar ninguna
postura sobre si es correcto que Parfit esto es
irracional, mientras que nos conceda que no es necesariamente
ignorantes .por la "inteligencia" aqu
significa algo as como la racionalidad instrumental-habilidad en la
prediccin, planificacin, y termina el
razonamiento en general. -agente Tuesday-Indifferent podra tener
impecable racionalidad instrumental y, por tanto, gran inteligencia,
incluso si l se queda corto en
algn tipo de sensibilidad a la "razn objetiva" que podra
requerirse de un agente completamente racionales.
Por consiguiente, este tipo de ejemplo no socave la ortogonalidad
tesis.
En una vena similar, incluso si existen hechos moral objetiva que
cualquier agente completamente racionales
que abarcara, e incluso si estos hechos morales son de alguna
manera intrnsecamente motivador (tales
que cualquiera que entiende plenamente de ellos es necesariamente
motivados a actuar de acuerdo con
ellos) esta necesidad de no socavar la ortogonalidad tesis. La tesis
puede ser cierto si un agente
podra tener impecable racionalidad instrumental aunque carezca de
alguna otra facultad
constitutiva de la racionalidad propiamente dicha, o alguna facultad
necesaria para la plena comprensin de la
moral objetiva de los hechos.(n agente tambin podra ser
extremadamente inteligentes, incluso superintelligent,
sin tener la plena racionalidad instrumental en cada dominio.)

Una razn para centrarse en la inteligencia, es decir, en la

racionalidad instrumental, es que este es
el concepto ms relevante si estamos tratando de averiguar lo que
los diferentes tipos de sistemas,
lo hara. Cuestiones normativas, como si su comportamiento se
contara como ser prudencialmente racional o moralmente
justificable, puede ser importante en diversas formas. Sin embargo,
estas cuestiones
no deben cegarnos a la posibilidad de sistemas cognitivos que logran
satisfacer a
3 Vase tambin Parfit sustancial (2011).
4
Esto es porque algunos filsofos usan la palabra "racionalidad" para
connotar
Parfit el futuro imaginario

criterios normativos, pero que sin embargo son muy potentes y

capaces de ejercer una fuerte influencia
en el mundo.4
1.3 La prediccin superintelligence la motivacin y el
comportamiento de
la ortogonalidad tesis implica que las mentes sintticas pueden
tener totalmente no-antropomorfo
objetivos-metas como extrao por nuestras luces como grano de arenacounting de maximizar o un clip. Esto es vlido aun (de hecho
especialmente) para agentes artificiales que son extremadamente
inteligentes o
superintelligent. Sin embargo, no se deriva de la ortogonalidad
tesis de que es imposible hacer
predicciones sobre lo que va a hacer de agentes particulares. La
previsibilidad es importante si se pretende
disear un sistema para alcanzar determinados resultados, y la
cuestin se vuelve ms importante el ms
poderoso el agente en cuestin sea artificial. Agentes
Superintelligent podra ser extremadamente potente,
por lo que es importante desarrollar una forma de analizar y
predecir su comportamiento. Sin embargo, a pesar de la
independencia de la inteligencia y objetivos finales implcita por
la ortogonalidad tesis, el problema de la prediccin del
comportamiento de un agente no necesita ser insolubles, ni siquiera
con respecto a hipotticos
superintelligent agentes, cuya complejidad cognitiva y las
caractersticas de rendimiento podra
hacerlos en ciertos respectos opaco a un anlisis humano.
Hay al menos tres direcciones a partir de la cual uno puede abordar
el problema de la
prediccin superintelligent motivacin:

(1) la previsibilidad mediante competencia de diseo.Si podemos

suponer que los diseadores de un
agente puede superintelligent ingeniero correctamente el objetivo
del agente para que
establemente, persigue un objetivo concreto fijado por los
programadores, entonces podemos
hacer una prediccin es que el agente tratar de lograr ese
objetivo. Cuanto ms inteligente sea el agente, mayor es
la cognitiva ingenio tendr que alcanzar ese objetivo. Por lo que
incluso antes de que un agente
ha sido creado podramos ser capaces de predecir algo acerca de su
comportamiento, si queremos saber
algo acerca de quin construir y qu objetivos querrn tener.
(2) la previsibilidad mediante la herencia. Si se crea una
inteligencia digital directamente desde una
plantilla humana (como sera el caso en una alta fidelidad de
emulacin de la totalidad del cerebro), entonces la
inteligencia digital podra heredar las motivaciones de la plantilla
humana.5 El agente podra
volver tain algunas de estas motivaciones, incluso si sus
capacidades cognitivas son posteriormente
reforzada para hacerla superintell igent. Este tipo de inferencia
requiere precaucin . Los
objetivos y valores del agente podra fcilmente daado en el
proceso de carga o
durante su posterior explotacin y valorizacin, dependiendo de cmo
se
implementa el procedimiento.
4 La ortogonalidad tesis implica que la mayora de cualquier
combinacin de meta final y nivel de inteligencia es lgicamente
posible; no implica que sera prcticamente fcil dotar a un agente
superintelligent con algunas arbitrarias o derechos-respeto objetivo
final, incluso si supiramos cmo construir la parte de
inteligencia. Para algunas notas preliminares sobre el problema de
carga de valor, vase, por ejemplo, Dewey (2011) y Yudkowsky (2011).
5 Ver s un dberg & Bostrom ( 2008 ) .
5

(3) de la previsibilidad mediante razones instrumentales

convergentes. Incluso sin un conocimiento detallado de los objetivos
finales de un agente, puede ser que podamos inferir algo acerca de
sus objetivos ms inmediatos por considerar las razones
instrumentales que surgiran por cualquiera de una amplia
gama de posibles objetivos finales de una amplia gama de
situaciones. Esta forma de prediccin se vuelve ms til cuanto
mayor sea la inteligencia del agente, porque un
agente ms inteligente tiene ms probabilidades de reconocer las
verdaderas razones instrumentales para sus acciones y, por tanto,
actuar

de una manera que hace que sea ms probable para lograr sus
objetivos.
La siguiente seccin explora esta tercera forma de previsibilidad y
desarrolla un "instrumental" de la tesis de convergencia que
complementa la ortogonalidad tesis.
2. Convergencia instrumental
segn la ortogonalidad tesis artificial agentes inteligentes pueden
tener una enorme gama
de posibles objetivos finales. No obstante, de acuerdo a lo que
podramos denominar la "convergencia" instrumentales tesis, hay
algunos objetivos instrumentales probablemente ser perseguido por
casi cualquier
agente inteligente, porque hay algunos objetivos que son tiles a
intermediarios para la
realizacin de casi cualquier meta final. Podemos formular esta
tesis como sigue:
La tesis de convergencia Instrumental
varios valores instrumentales pueden ser identificados, los cuales
son convergentes en el sentido de que su
consecucin aumentara las posibilidades de que el objetivo del
agente est realizado para una amplia gama
de metas finales y una amplia gama de situaciones, lo que implica
que estos valores instrumentales son
susceptibles de ser perseguidos por muchos agentes inteligentes.
En el siguiente trataremos varias categoras donde tales
valores instrumentales convergentes pueden encontrarse.6 l a
probabilidad de que un agente reconocer los valores instrumentales
que
conf ronts aumenta (ceteris paribus) con la inteligencia del agente
. Por consiguiente, vamos a centrarnos principalmente
en el caso de un hipottico agente superintelligent cuya capacidad
de razonamiento instrumental lejos
6 Stephen Omohundro pionero ha escrito dos documentos sobre este
tema (Omohundro 2008a, 2008b).
Omohundro sostiene que todas los sistemas de inteligencia artificial
avanzada son propensos a presentar un nmero de "unidades bsicas",
que significa " tendencias que estarn presentes a menos que
explcitamente se contrarresta." El trmino "AI drive" tiene la
ventaja de ser breve y sugestiva, pero tiene la desventaja de
sugerir que los objetivos instrumentales que se refiere a influir en
la toma de decisiones de AI en la misma manera como unidades
psicolgicos influyen en la toma de decisiones, es decir, a travs
de una especie de remolcador fenomenolgica sobre nuestro ego que
nuestra voluntad ocasionalmente puede tener xito en resistir. Esa
connotacin es intil. Uno normalmente no dicen que un ser humano
tpico tiene una "unidad" para llenar sus declaraciones de
impuestos, aunque la presentacin de impuestos pueden ser bastante
objetivo instrumental convergentes para los seres humanos en las
sociedades contemporneas (un objetivo cuya realizacin previene
problemas que nos impedira la realizacin de muchos de nuestros

objetivos finales). Nuestro tratamiento aqu tambin difiere del de

Omohundro en algunas otras maneras ms sustancial, aunque la idea
subyacente es la misma. (Vase tambin Chalmers Omohundro (2010) y
(2012).
6

exceden a los de cualquier ser humano. Tambin vamos a comentar cmo

la tesis de convergencia instrumental
se aplica al caso de los seres humanos, esto nos da ocasin de
detallar algunas
calificaciones esenciales acerca de cmo la convergencia
instrumental tesis debe ser interpretada y
aplicada. Donde hay valores instrumentales convergentes, podremos
ser capaces de predecir algunos
aspectos del comportamiento del superintelligence incluso si no
sabemos prcticamente nada sobre los objetivos finales que
superintelligence.
2.1 La auto-preservacin
Supongamos que un agente tiene algn objetivo final que se extiende
en el futuro. Hay
muchas situaciones en las que el agente, si todava est alrededor
en el futuro, entonces es ser capaz de realizar
acciones que aumentan la probabilidad de alcanzar el objetivo. Esto
crea una razn instrumental
para el agente para intentar ser alrededor en el futuro para ayudar
a alcanzar su actual meta orientada al futuro.
Agentes con derechos-como estructuras motivacionales parecen a
menudo lugar algn valor final de
su propia supervivencia. Esto no es una caracterstica necesaria de
agentes artificiales: algunos pueden ser diseadas para
colocar ningn valor final independientemente de su propia
supervivencia. No obstante, incluso a agentes que no les importa
intrnsecamente de su propia supervivencia, en un justamente la gama
amplia de condiciones, cuidado instrumental en cierta medida acerca
de su propia supervivencia, a fin de lograr los objetivos finales
que hacen valor.
2.2 Objetivo de la integridad del contenido de
un agente es ms probable que acten en el futuro para maximizar la
efectividad de sus actuales metas finales si
todava tiene esos objetivos en el futuro. Esto le da al agente un
presente la razn instrumental para evitar
alteraciones de sus objetivos finales. (Este argumento slo se
aplica a los objetivos finales. A fin de alcanzar sus
objetivos finales, un agente inteligente ser por supuesto
rutinariamente sus subojetivos quiere cambiar a la luz de la nueva
informacin y conocimiento.)
Meta-la integridad del contenido de objetivos finales, en cierto
sentido, es incluso ms importante que la supervivencia

como una motivacin instrumental convergentes. Entre los seres

humanos, al contrario pareciera ser el caso,
pero eso es porque la supervivencia es generalmente parte de
nuestros objetivos finales. Para los agentes de software, que puede
cambiar fcilmente los rganos o crear duplicados exactos de s
mismos, la preservacin de la autonoma como una
implementacin particular o un determinado objeto fsico no necesita
ser un importante valor instrumental.
Agentes de software avanzada tambin podra ser capaz de cambiar los
recuerdos, descargar habilidades y
modifique radicalmente su arquitectura cognitiva y personalidades.
Una poblacin de tales agentes podran funcionar ms como una "sopa"
funcional de una sociedad compuesta de distintas personas semipermanente.7 Para
algunos propsitos, procesos en un sistema de este tipo podra ser
mejor individuado como subprocesos teleolgica,
basado en sus valores finales, ms que sobre la base de los
cadveres, personalidades, recuerdos o
habilidades. En tales escenarios, meta-continuidad podra decirse
que constituye un aspecto clave de la supervivencia.
An as, hay situaciones en las que un agente puede cambiar
intencionadamente sus propias
metas finales.Tales situaciones pueden surgir cuando alguno de los
siguientes factores es significativa:
7 Ver Chislenko (1997).
7

objetivos y utilizar esa informacin para

inferir instrumentalmente disposiciones pertinentes u otros
atributos correlacionados, puede estar en el inters del agente para
modificar sus objetivos para hacer cualquier impresin deseada. Por
ejemplo,
un agente puede perderse en beneficioso ofertas si los socios
potenciales no se puede confiar en l para cumplir
su parte del trato.Para hacer compromisos crebles, un agente
podra, por consiguiente,
adoptar como objetivo final el cumplimiento de sus compromisos
anteriores, y permitir que otros
para verificar que efectivamente se ha adoptado este objetivo. Los
agentes que podran
modificar la flexibilidad y transparencia en sus propias metas
podra utilizar esta capacidad para imponer acuerdos de uno a
otro.8
sobre los objetivos del agente.
entonces podra tener motivos para modificar sus objetivos, ya sea
para satisfacer o frustrar esas
preferencias.

algn objetivo final afectado

con el agente del propio contenido objetivo. Por ejemplo, el agente
podra tener un objetivo final para
convertirse en el tipo de agente que est motivada por ciertos
valores, tales como la compasin.
algunas parte de una funcin de utilidad del agente es
grande comparado con la posibilidad de que surgir una situacin en
que la aplicacin de esa parte de la
funcin de utilidad har una diferencia, entonces el agente tiene
una razn instrumental para
simplificar su contenido objetivo, y es posible que la basura que
parte de la funcin de utilidad.9 10
h uman s a menudo nos parecen felices para que nuestros objetivos y
valores finales .Esto deriva a menudo pueden ser
porque no sabemos exactamente qu son .evidentemente queremos
nuestras creencias acerca de nuestros
objetivos y valores finales para poder cambiar a la luz de la
continua auto-descubrimiento o cambio de auto- las necesidades de
presentacin. Sin embargo, hay casos en los que estemos dispuestos a
cambiar los objetivos y valores en
s, no slo nuestras creencias o interpretaciones de ellos. Por
ejemplo, alguien decidir
tener un hijo podra predecir que vendrn al valor del nio para su
propio bien, aunque en
el momento de la decisin no podrn, en particular, su futuro hijo o
incluso como los nios en
general.
8 Vase tambin Shulman (2010).
9 Un agente puede tambin cambiar su objetivo de representacin si
se cambia su ontologa, con el fin de transponer su representacin
antigua a la nueva ontologa. Cf. de Blanc (2011).
10 Otro tipo de factor que mig ht tomar una decisin probatorio
terico emprender diversas acciones, incluyendo el cambio de sus
objetivos finales, es la importacin de probatorio decide hacerlo.
Por ejemplo, un agente que sigue probatorias de teora de la
decisin podra creer que existen otros agentes como en el universo,
y que sus propias acciones proporcionar cierta evidencia acerca de
cmo los otros agentes actuar. Por lo tanto, el agente podra
decidir adoptar un objetivo final que es altruista hacia esos otros
agentes vinculados evidentially, alegando que esto dar el agente
evidencia que esos otros agentes habrn elegido para actuar de
manera similar. Un resultado equivalente podra ser obtenido, sin
embargo, sin cambiar los objetivos finales, seleccionando en cada
instante a actuar como si uno hubiera esos objetivos finales.
8
El agente

los seres humanos son complicados, y hay muchos factores que pueden
estar en juego en una situacin como esta.11 Por
ejemplo, uno podra tener un valor fi nal que implica ser la clase
de persona que se preocupa por
alguna otra persona para su propio beneficio (aqu se pone un valor
final en tener cierto
valor final ). Alternativamente, uno podra tener un valor final que
implica tener ciertas
y ser padre y atravesando un ; exp eriences y ocupando una cierta
soci al papel
objetivo asociado shift-podra ser una parte necesaria de ello. Los
objetivos humanos tambin pueden tener
contenido incoherente, meta contenido; y por lo que algunas personas
podran querer modificar algunas de sus metas finales para
reducir las incoherencias.
Mejora cognitiva 2.3
Mejoras en la racionalidad y la inteligencia tendern a mejorar del
agente en la toma de decisiones,
haciendo que el agente ms probabilidades de alcanzar sus objetivos
finales. Sera de esperar, por tanto,
mejora cognitiva para emerger como un objetivo instrumental para
muchos tipos de agente inteligente. Por
razones similares, agentes tender al valor instrumental muchos
tipos de informacin.12
No todos los tipos de racionalidad, inteligencia y conocimientos
deben ser instrum entally tiles en
el logro de los objetivos finales del agente."libro holands
argumentos" puede ser usada para mostrar que un
agente cuyo crdito funcin no obedecer las reglas de la teora de
la probabilidad es susceptible de "dinero" de la bomba de los
procedimientos, en los cuales una savvy bookie un rranges un
conjunto de apuestas, cada uno de los cuales aparece favorable segn
las creencias del agente, pero que en combinacin estn garantizados
para
dar como resultado una prdida para el agente, y una ganancia
correspondiente para el bookie. Sin embargo, este hecho no
ofrece ningn general fuertes razones instrumentales para intentar
resolver todos incoherency probabilstico.
Los agentes que no esperan encontrar savvy bookies, o que adopten
una poltica general contra
las apuestas, no pierde mucho de tener algunas creencias incoherente
y pueden obtener
importantes beneficios de los tipos mencionados: reduce el esfuerzo
cognitivo, social de sealizacin, etc. no hay una razn para
esperar que un agente para buscar instrumentalmente intil formas de
mejora cognitiva, como un agente puede no valorar el conocimiento y
la comprensin por su propio bien.
Que las habilidades cognitivas son tiles instrumentalmente depende
tanto del agente f inal
objetivos y su situacin. Un agente que tiene acceso a asesoramiento
de expertos fiables pueden tener poca necesidad de
su propia inteligencia y conocimiento, y por lo tanto puede ser
indiferente a estos recursos.Si la

inteligencia y el conocimiento tienen un costo, tales como el tiempo

y el esfuerzo dedicados a la adquisicin, o en el
aumento de requisitos de procesamiento y de almacenamiento y, a
continuacin, un agente puede preferir menos conocimientos y
11 Una extensa literatura psicolgica explora la formacin de
preferencias adaptativas. Vase, por ejemplo, Forgas et al.
(2009).
12 En modelos formales, el valor de la informacin se cuantifica
como la diferencia entre el valor esperado realizado por decisiones
ptimas con esa informacin y el valor esperado realizado por
decisiones ptimas hechas sin l. (Vase, por ejemplo, Russell &
Norvig 2010.) se desprende que el valor de la informacin nunca es
negativo. Se deduce tambin que cualquier informacin que usted sabe
nunca afectar cualquier decisin que usted har siempre tiene el
valor cero para usted. Sin embargo, este tipo de modelo supone
varios idealizaciones que son a menudo no vlida en el mundo real,
como que el conocimiento no tiene ningn valor final (en el sentido
de que el conocimiento slo tiene valor instrumental y no es valiosa
para su propio beneficio), y que los agentes no son transparentes a
otros agentes.
9

menos inteligencia.13 El mismo puede mantener si el agente tiene

objetivos finales que involucran bei ng ignorantes de
ciertos hechos : l ikewise si un agente enfrenta los incentivos
derivados de compromisos estratgicos, sealizacin
o las preferencias sociales, como se ha sealado anteriormente. 14
Cada una de estas razones compensatorias a menudo entra en juego
para los seres humanos . Mucha de la
informacin es irrelevante para nuestros objetivos; a menudo podemos
confiar en otros conocimientos y experiencia; adquirir
conocimientos lleva tiempo y esfuerzo; podramos valor
intrnsecamente tipos determinados de la ignorancia; y operamos
en un entorno en el que la capacidad de hacer compromisos
estratgicos, socialmente seal, y satisfacer las preferencias
directas de otras personas sobre nuestros propios Estados epistmica
, a menudo es importante para
nosotros que los simples logros cognitivos.
Existen situaciones especiales en las cuales mejora cognitiva puede
resultar en un enorme incremento en la capacidad de un agente para
alcanzar sus objetivos finales en particular, si los objetivos
finales del agente son
bastante desbordada y el agente se encuentra en una posicin para
convertirse en el primer superintelligence, lo cual
podra obtener una ventaja decisiva la activacin del agente para
dar forma al futuro de la Tierra -originarios y accesible la vida csmica de recursos segn sus
preferencias. Al menos en este
caso especial, un agente inteligente racional tendra lugar un muy
alto valor instrumental en la

mejora cognitiva.
2.4 perfeccin tecnolgica
Un agente puede tener a menudo razones instrumentales a procurar una
mejor tecnologa, que en su forma ms simple
significa que buscan maneras ms eficientes de transformar algunos
de los insumos en productos valorados.
As, un agente de software podra colocar un valor instrumental en
algoritmos ms eficientes que
permitan que sus funciones mentales para correr ms rpido en
determinado hardware. Asimismo, los agentes cuyos objetivos
requieren algn tipo de construccin fsica podra mejorar el valor
instrumental de la
tecnologa de ingeniera que les permite crear una amplia gama de
estructuras de forma ms rpida y confiable,
utilizando menos o materiales ms baratos y menos energa. Por
supuesto, existe un equilibrio: los
beneficios potenciales de la mejor tecnologa debe sopesarse en
relacin con sus costos, incluyendo no slo el costo de la
obtencin de la tecnologa sino tambin el costo de aprender a
usarlo, su integracin con otras
tecnologas ya en uso, y as sucesivamente.
Los proponentes de alguna nueva tecnologa, confiados en su
superioridad frente a las alternativas existentes,
a menudo estn consternados cuando otras personas no comparten su
entusiasmo, pero la resistencia de los pueblos a la
novela y nominalmente tecnologa superior no necesita estar basada
en la ignorancia o irracionalidad. Una tecnologa de valence o
carcter normativo no slo depende del contexto en el que se
implementa, sino tambin el punto de partida con el que se evalan
sus efectos: Qu es una bendicin desde la perspectiva de una
persona puede ser un pasivo de la del otro. El
aumento de la eficiencia econmica de la produccin textil, los
telares manuales Luddite
13 tejedoras que esta estrategia se ejemplifica mediante la ascidia
larva, que nada alrededor hasta que encuentre un adecuado, a la cual
roca permanentemente los afijos en s. Cimentada en su lugar, la
larva tiene menos necesidad de procesamiento de informacin
compleja, de dnde procede a digerir parte de su propio cerebro (su
ganglio cerebral).
Los acadmicos a veces puede observar un fenmeno similar en sus
colegas a quienes se concede la tenencia.
14 Cf. Bostrom ( 2012 ).
10
As pues, aunque los telares mecanizados

prev que la innovacin hara su destreza artesana obsoleto puede

haber tenido buenas
razones instrumentales para oponerse a ella. El punto aqu es que si
"Technology ical perfeccin" es
un nombre ampliamente objetivo instrumental convergentes para
agentes inteligentes, entonces el trmino debe entenderse

en un sentido especial-tecnologa debe interpretarse como incrustado

en un determinado contexto social, y
sus costos y beneficios deben ser evaluados con referencia a algunos
de los agentes especificado valores finales.
Parece que un singleton superintelligent superintelligent-un agente
que no enfrenta importantes rivales inteligentes u oposicin, y por
tanto est en posicin de determinar
unilateralmente la poltica mundial tendra razn instrumental para
perfeccionar las tecnologas que hacen que sea
ms capaz de moldear el mundo segn sus diseos preferidos.15 Esto
probablemente incluya
espacio colonizacin tec hnology, tales como sondas de von Neumannautomtico, auto-reparacin y autoreplicando las naves espaciales que pueden ampliar su alcance ms
all del Sistema Solar. La
nanotecnologa molecular, o alguna alternativa an ms capacidad
fsica, la tecnologa de fabricacin tambin
parece ser muy til al servicio de una amplia gama de metas
finales.16
2.5 La adquisicin de recursos
por ltimo, la adquisicin de recursos es otro objetivo instrumental
emergentes comunes, en gran medida, por las mismas
razones que perfeccin tecnolgica: la tecnologa y los recursos
facilitar
proyectos de construccin fsica.
Los seres humanos tienden a tratar de adquirir recursos suficientes
para satisfacer sus
necesidades biolgicas bsicas. Pero la gente usualmente buscan
adquirir recursos mucho ms all de ese nivel mnimo.Para ello,
pueden ser parcialmente impulsada por menor deseos fsicos, tales
como el aumento de la comodidad y conveniencia. Una gran cantidad de
acumulacin de recursos est motivada por preocupaciones socialesestado ganando, compaeros, amigos e influencia, a travs de la
acumulacin de riqueza y el
consumo conspicuo. Quizs menos comn, algunas personas buscan
recursos adicionales para lograr
altruista caros o no de los objetivos sociales.
15 Cf. Bostrom (2006).
16 Uno podra invertir la cuestin y mirar en su lugar en los
motivos posibles de un singleton superintelligent no desarrollar
algunas capacidades tecnolgicas. Estos incluyen: (a) el valor
exclusivo, previendo que no tendr ningn uso de cierta capacidad
tecnolgica; (b) los costos de desarrollo de ser demasiado grande en
comparacin con la previsin de utilidad. Este sera el caso si, por
ejemplo, la tecnologa nunca ser adecuado para el logro de
cualquiera de los extremos del singleton, o si el singleton tiene
una muy alta tasa de descuento que s fuertemente desalienta la
inversin; (c) El valor final de tener algunos singleton que
requiere la abstencin de determinadas vas de desarrollo
tecnolgico; (d) Si el singleton no est seguro de que permanecer
estable, es posible que prefieran abstenerse de desarrollar
tecnologas que pudieran amenazar su estabilidad interna o que hara
que las consecuencias de la disolucin peor (por ejemplo, un

gobierno mundial tal vez no deseen desarrollar tecnologas que

faciliten la rebelin, incluso si tenan algunos buenos usos, ni
fcil de desarrollar tecnologas para la produccin de armas de
destruccin masiva que Podra causar estragos si el gobierno mundial
fueron para disolver); (e) Igualmente, singleton pueda haber
realizado algn tipo de compromiso estratgico vinculante a no
desarrollar alguna tecnologa, un compromiso que contina en vigor,
incluso si ahora sera conveniente desarrollar. (Sin embargo, tenga
en cuenta que algunos motivos de actualidad para el desarrollo de
tecnologa no sera aplicable a un singleton: por ejemplo, las
razones derivadas de las carreras de armamentos no deseados.)
11

Sobre la base de esas observaciones puede ser tentador suponer que

una
superintelligence no enfrenta un mundo social competitivo no veran
la razn instrumental para
acumular recursos ms all de un modesto nivel, por ejemplo,
independientemente de los recursos informticos
necesarios para ejecutar su mente junto con algo de realidad
virtual.Pero esa suposicin sera totalmente injustificada. En
primer lugar, el valor de los recursos depende de los usos a los que
se pueden poner, lo que
a su vez depende de la tecnologa disponible. Con tecnologa madura,
los recursos bsicos tales como el
tiempo, el espacio y la materia, y otras formas de energa libre,
podran ser transformados para servir casi cualquier
meta.Por ejemplo, esos recursos bsicos podran ser convertidos en
la vida.Aumento de
recursos computacionales podran utilizarse para ejecutar el
superintelligence a una velocidad mayor y de ms larga duracin,
o para crear otros fsicos o virtuales (simuladas) vive y
civilizaciones.
Recursos fsicos adicionales tambin podran ser utilizados para
crear los sistemas de copia de seguridad o las defensas
perimetrales, aumentar la seguridad.
Dichos proyectos podran fcilmente consumir mucho ms que un valor
de los recursos del planeta.
Adems, el costo de la adquisicin de ms recursos extraterrestres
disminuir
radicalmente a medida que madure la tecnologa. Una vez que las
sondas de von Neumann puede ser construido, una gran parte del
universo observable (suponiendo que est deshabitada por vida
inteligente) podra ser
colonizado por la gradualmente un costo de construccin y
lanzamiento de un solo xito de auto-reproduccin de
sonda. Este bajo coste de adquisicin de recursos celestiales,
significara que dicha expansin podra ser de
utilidad, incluso si el valor de los recursos adicionales adquiridos
eran algo marginal. Por

ejemplo, incluso si una cuidada superintelligence instrumentalmente

no slo sobre lo que sucede dentro de
una particular pequeo volumen de espacio, como el espacio ocupado
por su planeta natal original, an
tendra razones instrumentales para cosechar los recursos del cosmos
ms all.podra
utilizar los recursos excedentarios para construir equipos para
calcular ms formas ptimas de uso de
recursos dentro de la pequea regin espacial de principal
preocupacin. Tambin podra utilizar los
recursos adicionales para construir cada vez ms defensas slidas
para salvaguardar el privilegio real estate. Dado que el
costo de adquirir recursos adicionales permitira mantener
disminuir, este proceso de optimizar y aumentar las salvaguardias
bien podra continuar indefinidamente, incluso si estuviera sujeta a
continuo declive
devuelve.17 18
17 Supongamos que un agente descuentos los recursos obtenidos en el
futuro a un ritmo exponencial, y que, debido a la limitacin de la
velocidad de la luz el agente slo puede aumentar su dotacin de
recursos en un polinomio tasa.
Sera esto significa que habr algn tiempo despus de que el agente
no encontrara interesante continuar la expansin adquisitiva?No,
porque aunque el valor actual de los recursos obtenidos en tiempos
futuros sera asymptote a cero la ulterior en el futuro esperamos,
por lo que el coste actual de su obtencin. El costo actual de
enviar una sonda von Neumann, ms de 100 millones de aos
(posiblemente usando algn recurso adquirido algn corto tiempo
antes) se vera reducida por el mismo factor de descuento que
disminuira el valor actual de los futuros recursos la sonda extra
adquirira un factor constante (mdulo).
18 Incluso un agente que tiene un objetivo final aparentemente muy
limitado, tales como "hacer 32 clips", podran perseguir la
adquisicin de recursos ilimitado si no hubo costo relevante para el
agente de hacerlo. Por ejemplo, incluso despus de una maximizacin
de la utilidad esperada de agente haba construido 32 clips, podra
utilizar algunos recursos adicionales para comprobar que realmente
haba creado 32 clips reunin todas las especificaciones (y, si es
necesario, tomar medidas correctivas). Despus de que lo hubiera
hecho, podra ejecutar otra tanda de pruebas para estar doblemente
seguros de que ningn error haba sido realizado. Y entonces se
podra ejecutar otra prueba, y otro. Los beneficios de las pruebas
subsiguientes abruptamente estara sujeto a rendimientos
decrecientes; sin embargo, hasta que no hubo una accin alternativa
12

As pues, existe una gama muy amplia de posibles objetivos finales

un singleton superintelligent
podra tener que generara el objetivo instrumental de adquisicin
de recursos ilimitados. La

probable manifestacin de esto sera el inicio de la

superintelligence un proceso de colonizacin
que podra expandir en todas las direcciones utilizando sondas de
von Neumann.Esto sera aproximadamente el resultado en una
esfera de ampliar la infraestructura centrada en el planeta
originario y creciendo en la radio en
algunas fracciones de la velocidad de la luz; y la colonizacin del
universo continuara de esta
manera hasta que la aceleracin de la velocidad de expansin csmica
(consecuencia de la
constante cosmolgica positiva) hace fsicamente imposible la
adquisicin de nuevos materiales como las
regiones alejadas permanentemente deriva fuera del alcance.19 Por el
contrario, los agentes que carecen de la tecnologa necesaria para
la adquisicin de recursos baratos , o para la conversin de
recursos fsicos genricos en
infraestructura til , podr encontrar a menudo no costo - Eficaz
para invertir los recursos actuales en increa cantar
su dotacin material. T l mismo podr celebrar para los agentes que
operan en competencia con otros
agentes de potencias similares.Por ejemplo, si los agentes
competidores han obtenido ya accesible
, tarda de recursos csmico - agente de arranque puede no tener
oportunidades de colonizacin. La conver gent
razones instrumentales para superintelligences un certain de la no existencia de otros poderosos
agentes superintelligent son complicados por consideraciones
estratgicas en wa ys que
actualmente no podemos comprender plenamente, pero que pueden
constituir importantes salvedades a los ejemplos
de razones instrumentales convergentes que hemos visto aqu. 20
Cabe destacar que la existencia de razones instrumentales
convergentes, incluso si
se aplican y son reconocidos por un agente determinado, no implica
que el comportamiento del agente
es fcilmente predecible. Un agente bien podra pensar en maneras de
perseguir a los correspondientes
valores instrumentales que no ocurren fcilmente a nosotros.Esto es
especialmente cierto para un superintelligence, que podra
idear extremadamente inteligente pero ilgico planes para lograr sus
objetivos, posiblemente incluso explotar an sin descubrir fenmenos
fsicos.Lo previsible es que los convergentes
con una mayor utilidad esperada, el agente que mantendra a probar y
volver a probar y seguir adquiriendo ms recursos para habilitar
estos tests).
19 Mientras el volumen alcanzado por la colonizacin sondeos en un
momento dado podra ser casi esfrica y
luego la tasa de crecimiento puede convertirse de nuevo en
puntiagudos como las galaxias cercanas son colonizados; luego la
tasa de crecimiento podra volver a aproximar ~t2 como producto de
expansin en una escala ms que la distribucin de las galaxias es
aproximadamente homognea; luego otro perodo de crecimiento seguida
por punta suave ~t2 el crecimiento como galactic superclsteres son
colonizados; hasta que, en ltima instancia, la tasa de crecimiento
empieza un declive final, alcanzando eventualmente cero como la

velocidad de expansin del universo se acelera hasta tal punto que

la colonizacin an ms imposible. ;t expansin con una tasa
proporcional al cuadrado del tiempo transcurrido desde que se lanz
la primera sonda (~t 2), la cantidad de recursos que contiene este
volumen se siga un patrn de crecimiento menos regular, ya que la
distribucin de los recursos es no homognea y vara a lo largo de
diversas escalas. Inicialmente, la tasa de crecimiento podra ser
~t2 como el planeta hogar es colonizado; luego la tasa de
crecimiento podra convertirse en puntiagudos cerca de planetas y
sistemas solares estn colonizados; luego, como el volumen
aproximadamente en forma de disco de la Va Lctea obtiene rellenan,
la tasa de crecimiento podra incluso, a ser aproximadamente
proporcional a
20 el argumento de simulacin pueden ser de particular importancia
en este contexto. Un agente superintelligent puede
asignar una significativa probab ility a hiptesis segn la cual
vive en una simulacin de computadora y su
secuencia percept superintelligence generado por otro, y esto podra
generar diversas
razones instrumentales convergentes segn el agente suposiciones
acerca de qu tipos de simulaciones es ms probable que sea. Cf.
Bostrom (2003).
13

valores instrumentales seran perseguidos y usar para lograr los

objetivos finales del agente, y no las
acciones concretas que el agente debe tomar para lograr esto.
Conclusiones
La ortogonalidad tesis sugiere que no podemos asumir que un
superintelligence alegremente ser
necesariamente compartimos cualquiera de los valores finales
estereotpico asociado con la sabidura y el
desarrollo intelectual de los seres humanos, la curiosidad
cientfica, benevolente la preocupacin por los dems, la
iluminacin espiritual y la contemplacin, la renuncia de los
materiales de la codicia, el gusto por la
cultura refinada o para los sencillos placeres de la vida, la
humildad y la abnegacin, y as sucesivamente. Podra ser posible a
travs de un esfuerzo deliberado para construir un superintelligence
que valores tales cosas, o
construir uno que valora el bienestar humano, la bondad moral, o
cualquier otro propsito complejos que sus
diseadores que desee servir. Pero no es menos posible-y
probablemente tcnicamente ms fcil de construir un
superintelligence que coloca el valor final en nada pero calcular
los decimales de pi.
La tesis de convergencia instrumental sugiere que no podemos asumir
que un
superintelligence alegremente con el objetivo final de calcular los
decimales de pi (o hacer clips, o

contar los granos de arena) limitar sus actividades de manera tal

que no materialmente infringir
los intereses humanos. Un agente con ese objetivo final tendra una
razn instrumental convergentes,
en muchas situaciones, para adquirir una cantidad ilimitada de
recursos fsicos y, si es posible,
eliminar las amenazas potenciales a s mismo y su meta system.21
podra ser possib le para configurar una situacin
en la que la forma ptima para el agente para perseguir estos
valores instrumentales (y, por ende, sus
objetivos finales) es promover el bienestar humano, actuando
moralmente, o cumpliendo algunos efectos beneficiosos como
concebida por sus creadores.Sin embargo, si un tal agente d cuando
se encuentra en una situacin diferente,
de la que se espera un mayor nmero de decimales de pi que se
calcula si se destruye la
especie humana que si contina Actuar cooperativamente, su
comportamiento sera tomar un
siniestro giro instantneamente. Esto indica un peligro basndose en
valores instrumentales como garante de una
conducta segura en el futuro agentes artificiales que estn
destinadas a convertirse en superintelligent y que podra ser
capaz de aprovechar sus superi ntelligence en niveles extremos de
power a nd influencia . 22
Referencias
Bostrom, N. (2003). Est viviendo en una simulacin de computadora?
Trimestral filosficos, 53(211),
243-255.
Bostrom. N. (2006). Qu es un singleton? Investigaciones
Lingsticas y filosficas, 5(2), 48 a 54.
21 seres humanos podran constituir amenazas potenciales;
ciertamente constituyen recursos fsicos.
22 Para co mments debate y estoy agradecido a Stuart Armstrong,
Grant Bartley, Owain Evans, Lisa
, Luke Muehlhauser Makros, Toby Ord, Brian Rabkin, Rebecca Roache,
Anders Sandberg, y tres
rbitros annimos.
14

Bostrom, N. (2012). Peligros de la informacin: una tipologa de

daos potenciales de conocimiento.
Revisin de la filosofa contempornea, 10, 44-79.
[Www.nickbostrom.com/information-hazards.pdf]
Chalmers, D. (2010): La singularidad: un anlisis filosfico.
Journal of Consciousness Studies,
17, 7-65.

Chislenko, A. (1997). La tecnologa como extensin de la

arquitectura funcional. Extropy
Online. [proyecto.cyberpunk.ru/BID/tecnologa_como_extension.html]
de Blanc, P. (2011). Crisis ontolgica del agente artificial en los
sistemas de valores. Manuscrito. La
singularidad del Instituto de Inteligencia Artificial.
[Arxiv.org/pdf/1105.3821v1.pdf]
Dewey, D. (2011). Aprender qu valor. En Schmidhuber, J. Thorisson,
K. R., mira, M. (eds.).
Actas de la IV Conferencia General de Inteligencia Artificial, el
AGI 2011 (pgs. 309-314),
Heidelberg: Springer.
Forgas, J. et al. (eds.) (2009). La psicologa de las actitudes y el
cambio de actitud. Londres: Psicologa
Pulse.
Lewis, D. (1988). Deseo como creencia. Mente, 97(387), 323-332.
Omohundro, S. (2008a). Las unidades bsicas de AI. En P. Wang, B.
Goertzel y S. Franklin (eds.).
Actas de la Primera Conferencia de AGI, 171, Fronteras en
Inteligencia Artificial y aplicaciones.
msterdam: IOS Press.
Omohundro, S. (2008b). La naturaleza de Self-Improving Inteligencia
Artificial. Manuscrito.
[Selfawaresystems.files.wordpress.com/2008/01/nature_of_self_improvi
ng_ai.pdf]
Omohundro prximas, S. (2012). Rationally-Shaped Inteligencia
Artificial. En Edn, A. et al.
(eds.). La singularidad hiptesis: una evaluacin cientfico y
filosfico (Springer, de prxima publicacin).
Parfit, D. (1984). Motivos y personas. (pgs. 123-4). Reimpreso y
edicin corregida, 1987. Oxford:
Oxford University Press.
Parfit, D. (2011). En lo que importa. Oxford: Oxford University
Press.
Russell y Norvig, S., P. (2010). Inteligencia artificial: un enfoque
moderno. (3 ed.). Nueva Jersey:
Prentice Hall.
Sandberg, A. y Bostrom, N. (2008). Emulacin de la totalidad del
cerebro: una "Hoja de Ruta". Informe tcnico 20083. Oxford: el futuro de la humanidad Institute, La Universidad de
Oxford.
15

[www.FHI.ox.ac.uk/Reports/2008-3.pdf]
Shulman, C. (2010). La Omohundro AI bsicos "Unidades" y cata
strophic riesgos. Manuscrito.
[Singinst.org/upload/ai-resource-drives.pdf]
Sinhababu, N. (2009). La teora de la Motivacin Humean reformuladas
y defendida.
Examen filosfico, 118(4), 465-500.
Smith, M. (1987). La teora de la motivacin humean. Mente, 46
(381): 36-61.
Weizenbaum, J. (1976). Equipo de alimentacin y la razn humana: de
la sentencia para el clculo. San
Francisco: W. H. Freeman.
Yudkowsky, E. (2008). La inteligencia artificial como un factor
positivo y negativo en el riesgo global. En
Bostrom, N. y Cirkovic, M. (eds.). Global de los riesgos
catastrficos. (pgs. 308-345; cita de p. 310).
Oxford: Oxford University Press.
Yudkowsky, E. (2011). Los sistemas de valores complejos son
requeridos para lograr valiosos de futuros. En
Schmidhuber, J. Thorisson, K. R., mira, M. (eds.). Actas de la IV
Conferencia
General de Inteligencia Artificial, el AGI 2011 (pgs. 388-393).
Heidelberg: Springer.
16