1c.riesgos Existenciales-Analisis de Escenarios Extincion Humana y Peligros

8/19/2019 1c.riesgos Existenciales-Analisis de Escenarios Extincion Humana y Peligros

1/38

Los riesgos existenciales: Análisis de Escenarios de la extinción humana y los peligros relacionado Nick Bostrom Facultad de Filosofía, Universidad de Oxford

[Reimpreso de: Revista de la evolución y la tecnología, Vol. 9,marzo de 2002. Primera versión: 2001] 'oe'ŠOE debido a la aceleración del progreso tecnológico, la humanidad puedeestar llegando rápidamente a una fase crítica de su carrera. Además

de las bien conocidas de amenazas tales como el holocausto nuclear,las perspectivas de transformar radicalmente las tecnologías como lananotecnología y los sistemas de inteligencia artificial nospresentan oportunidades y riesgos sin precedentes. Nuestro futuro, ysi vamos a tener un futuro, bien puede ser determinada por la formade tratar estos problemas. En el caso de transformar radicalmentelas tecnologías, una mejor comprensión de la dinámica de latransición de un ser humano a un "posthuman" sociedad es necesaria.Es de particular importancia para saber donde los peligros son: lamanera en que las cosas podrían ir terminalmente mal. Si bien hemostenido una larga exposición a diversos personal, local, y soportablepeligros mundiales, este documento analiza un reciente categoría: lade los riesgos existenciales. Estas son amenazas que podrían causarnuestra extinción o destruir el potencial de tierra-originarios vidainteligente. Algunas de estas amenazas son relativamente bienconocidos, mientras que otros, entre ellos algunos de los másgraves, han ido casi desconocido. Riesgos existenciales tienen unconjunto de características que hacen que la gestión de riesgosordinarios ineficaz. La sección final de este trabajo analiza variasimplicaciones éticas y políticas. Una comprensión más clara de laamenaza imagen nos permitirá formular mejores estrategias.

-˜ţOE''˜-es peligroso estar vivo y los riesgos están en todas partes.Afortunadamente, no todos los riesgos son igualmente graves. Para

los fines presentes podemos usar tres dimensiones para describir lamagnitud de un riesgo: alcance, intensidad y probabilidad. Por"ámbito" quiero decir que el tamaño del grupo de personas que seencuentran en situación de riesgo. Por "intensidad" me refiero acómo mal cada individuo del grupo se vería afectada. Y por"probabilidad" me refiero a la mejor estimación subjetiva de laprobabilidad de los efectos outcom 1e.¢¢ ˜ ''oe" podemosdistinguir seis cualitativamente distintos tipos de riesgos basadoen su alcance e intensidad (figura 1). La tercera dimensión,probabilidad, se pueden superponer en el dos

1, en otros contextos, la noción de "la mejor estimación" subjetiva

actual podría ser operacionalizado como las probabilidades deapuestas en el mercado la idea correspondiente reclamo del futuro[1]. Esta observación puede ayudar a ilustrar el concepto deintención, pero no serviría como una definición. Sólo un idiotapodría apostar sobre derechos extinción porque no tendría ningunaoportunidad de conseguir pagado si uno ganó o perdió.

http://www.nickbostrom.com/existential/risks.htmlhttp://www.nickbostrom.com/existential/risks.html


2/38

Dimensiones trazados en el gráfico. Otras cosas iguales, un riesgoes más grave si se tiene una probabilidad sustancial y si nuestrasacciones pueden hacer que la probabilidad significativamente mayor omenor.

Intensidad el

adelgazamiento de la capa de ozono mundial X

recesión genocidio local en un país

roban el coche coche fatal accidente personalsoportable Terminal alcanceFigura 1. Seis categorías de riesgos

" Personal" , " local" , o " global" se refieren al tamaño de la

población directamente afectada; un riesgo global es uno que afectaal conjunto de la humanidad (y de nuestros sucesores)." soportable" vs. " terminal" indica cuán intensamente la poblaciónobjetivo se vería afectada. Un riesgo tolerable puede causar grandestrucción, pero uno puede recuperarse del daño o encontrar lamanera de hacer frente a las consecuencias. En contraste, un riesgoterminal es uno donde los destinos son aniquilados o lisiadoirreversiblemente en formas que permitan reducir radicalmente supotencial para vivir el tipo de vida al que aspiran. En el caso deriesgos personales, por ejemplo, un terminal por ejemplo podría serresultado de muerte, lesiones cerebrales graves permanentes, o unapena de prisión de por vida. Un ejemplo de una terminal local riesgosería el genocidio que conducen a la aniquilación de un pueblo (esto

ocurrió a varias naciones indias).Otro ejemplo es la esclavitud permanente.¡'' ''oe"oe En esteartículo vamos a discutir los riesgos de la sexta categoría, elmarcado con una X. Esta es la categoría de global, terminal deriesgos. Voy a llamar a estos riesgos existenciales.

Riesgos existenciales son distintas de riesgo tolerable global.Ejemplos de este tipo incluyen: amenazas a la biodiversidad de laTierra la ecosfera, moderado el calentamiento global, la recesióneconómica mundial (incluso más importantes), y posiblemente laasfixiante eras culturales o religiosas como la "edad oscura" ,incluso si abarcan toda la comunidad mundial, a condición de que son

transitorias (aunque véase la sección sobre " Gritos" más abajo).Decir que un

particular riesgo global es tolerable es evidentemente no quieredecir que es aceptable o no es muy grave. Una guerra mundial


3/38

lucharon con armas convencionales o un estilo duradero Reich nazidurante una década sería extremadamente horribles sucesos aunque noentrarían en la categoría de riesgos mundiales tolerable desde lahumanidad podría eventualmente recuperarse. (Por otra parte, podríanser un riesgo terminal local para muchas personas y para los gruposétnicos perseguidos.) Voy a usar la siguiente definición de riesgosexistenciales:

riesgo existencial: uno donde un resultado adverso podría aniquilarla Tierra- originarios vida inteligente o permanentemente ydrásticamente su potencial.

Un riesgo existencial es uno donde toda la humanidad está enpeligro. Desastres existenciales tienen importantes consecuenciasadversas para el curso de la civilización humana en todo momento.

"Ţ ţ-'šţŢ OE'Š••Ţ-Ţ ˜ Ţ¡'oeŢ-'Š• ''oe"oe riesgos en esta sexta categoría son un fenómeno reciente. Esto esparte de la razón por la que resulta útil para distinguirlos deotros riesgos. No hemos evolucionado los mecanismos, ya sea

biológica o culturalmente, para la gestión de tales riesgos.Nuestras intuiciones y estrategias de afrontamiento han sidoconformados por nuestra larga experiencia con riesgos tales comoanimales peligrosos, individuos o tribus hostiles, alimentosvenenosos, accidentes automovilísticos, Chernobyl y Bhopal,erupciones volcánicas, terremotos, borradores de la I GuerraMundial, la Segunda Guerra Mundial, las epidemias de gripe, laviruela, la peste negra y el SIDA. Estos tipos de desastres hanocurrido muchas veces y nuestras actitudes culturales hacia elriesgo han sido conformados por ensayo y error en la gestión detales riesgos. Pero trágica como tales eventos son para las personasafectadas de manera inmediata, en el panorama de las cosas, desde laperspectiva de la humanidad como un todo, incluso lo peor de estas

catástrofes son meras ondas en la superficie del gran mar de lavida. No han afectado significativamente la cantidad total desufrimiento humano o la felicidad o determina el destino a largoplazo de nuestra especie.

Con la excepción de una especie que destruyen el impacto de unasteroide o cometa (un suceso extremadamente raro), huboprobablemente no significativos riesgos existenciales en la historiahumana hasta mediados del siglo XX, y ciertamente ninguno que estabadentro de nuestro poder para hacer algo al respecto.El primer riesgo existencial artificiales inaugural fue ladetonación de una bomba atómica. En el momento, hay ciertapreocupación de que la explosión podría desencadenar una reacción en

cadena descontrolada por " prender" la atmósfera. Aunque ahorasabemos que ese resultado era físicamente imposible, se calificacomo un riesgo existencial que estaba presente en el momento. Paraque exista un riesgo, dado el conocimiento y la comprensióndisponible,

2


4/38

basta que existe cierta probabilidad subjetiva de un resultadoadverso, incluso si más tarde resulta que objetivamente no habíaninguna posibilidad de que algo malo suceda. Si no sabemos si algoes objetivamente peligroso o no, entonces es riesgoso en el sentidosubjetivo.La sensación subjetiva es por supuesto lo que debemos basar nuestrasdecisiones o 2n. En cualquier momento dado, debemos utilizar nuestramejor estimación subjetiva de cuál es el objetivo 3 son factores deriesgo.

Un mayor riesgo existencial surgido con la acumulación de arsenalesnucleares en los Estados Unidos y la URSS. Una guerra nuclear erauna posibilidad con una probabilidad sustancial y con consecuenciasque podrían haber sido lo suficientemente persistentes paracalificar como global y el terminal. Hubo una preocupación realentre aquellos familiarizados con la mejor información disponible enel momento en que ocurriría un apocalipsis nuclear y que podríaaniquilar a nuestra especie o destruir permanentemente derechoscivilizatio 4n. Rusia y los EE.UU. retenga grandes arsenales

nucleares que podrían utilizarse en un futuro enfrentamiento, ya seaaccidental o deliberadamente. También existe el riesgo de que otrosestados puedan algún día construir grandes arsenales nucleares.Nota, sin embargo, más pequeño que un intercambio nuclear entre laIndia y el Pakistán, por ejemplo, no es un riesgo existencial, yaque no iba a destruir o frustrar el potencial de la humanidadpermanentemente. Una guerra de esa índole podría ser sin embargo unriesgo terminal local para las ciudades con más probabilidades deser víctimas. Lamentablemente, veremos que el Armagedón nuclear ycometa o asteroide huelgas son meros preludios a los riesgosexistenciales que nos vamos a encontrar en t st que el siglo 21.La naturaleza especial de los retos planteados por los riesgosexistenciales es ilustrada por los siguientes puntos:

· nuestro enfoque de riesgos existencial no puede ser uno de pruebay error. No hayoportunidad para aprender de los errores. El enfoque reactivo - verqué sucede, limitar los daños, y aprender de la experiencia - esinviable. Más bien, debemos adoptar un enfoque proactivo. Estorequiere previsión para anticiparse a los nuevos tipos de amenazas yuna voluntad de adoptar medidas preventivas y para sufragar losgastos (moral y económica) de tales acciones.

2 Esto puede ser visto como el núcleo de la sabiduría del llamadoprincipio de precaución [2]. Cualquier interpretación del principio

más fuerte, por ejemplo en términos de dónde recae la carga de laprueba en los litigios sobre la introducción de un nuevoprocedimiento arriesgado, fácilmente puede ser irrazonablementesimplista [3].3 Sobre la distinción entre objetivo y subjetivo en la probabilidad,véase, por ejemplo, [4-6]. Para un tratamiento clásico de la teoríade la decisión, véase [7].4 se dice que el Presidente Kennedy en un punto calcula laprobabilidad de una guerra nuclear entre los Estados Unidos y laURSS a ser " en algún lugar entre uno de los tres e incluso" ([8],pág. 110; véase también [9], capítulo 2). John von Neumann (1903-


5/38

1957), eminente matemático y uno de los fundadores de la teoría dejuegos y la ciencia de la computación y que, como presidente de laFuerza Aérea de misiles estratégicos del comité de evaluación fue unarquitecto clave de la temprana estrategia nuclear de EEUU, dijo alparecer era " absolutamente seguro (1) que habrá una guerra nuclear;y (2) que todo el mundo iba a morir en ella" [10], pág. 114.

3

· no necesariamente podemos confiar en las instituciones, las normasmorales, las actitudes sociales opolíticas de seguridad nacional que se han desarrollado a partir denuestra experiencia con la gestión de otro tipo de riesgos. Riesgosexistenciales son un tipo diferente de la bestia. Nos puedeencontrar difícil tomarlas en serio como deberíamos simplementeporque nunca han sido testigos de tales desastres 5. Nuestro miedo

colectivo-respuesta probablemente mal calibrada a la magnitud de laamenaza.

· Reducción de riesgos existenciales son bienes públicos mundiales[13] y, por tanto, pueden serpoco abastecidos por el mercado [14]. Los riesgos son una amenazaexistencial para todos y pueden requerir actuando en el planointernacional. El respeto de la soberanía nacional no es una excusalegítima para no adoptar contramedidas contra un importante riesgoexistencial.

· Si tomamos en cuenta el bienestar de las generaciones futuras, eldaño causado por

riesgos existenciales se multiplica por otro factor, cuyo tamañodepende de si y cuánto podemos descartar futuros beneficios [15,16].

En vista de su innegable importancia, es sorprendente cuán poco seha hecho una labor sistemática en esta área. Parte de la explicaciónpodría ser que muchos de los más graves riesgos surgen (comoveremos) de tecnologías previstas para el futuro que sólorecientemente hemos comenzado a comprender. Otra parte de laexplicación puede ser la inevitablemente y de carácter especulativointerdisciplinario del tema. Y, en parte, el abandono también puedeser atribuible a una aversión en contra de pensar seriamente en untema deprimente. El punto es, sin embargo, no se revuelcan encatastróficos, sino simplemente tomar una mirada serena a lo que

podría ir mal, así podemos crear estrategias responsables paramejorar nuestras posibilidades de supervivencia. Para ello,necesitamos saber dónde centrar nuestros esfuerzos.

•Šoeoe''OEŠ˜ ˜'-'oeŢ Ţ¡-'Š• ''oe"OE 6 Utilizaremos las siguientes cuatro categorías para clasificar losriesgos existenciales :

5 tal como se aplica a la especie humana, que es. Extinción de otrasespecies es común. Se estima que el 99% de todas las especies quealguna vez vivieron en la Tierra se han extinguido. También podemos


6/38

obtener algún conocimiento imaginativo con desastres existencial através de obras de ficción. Aunque parece que hay un sesgo hacia losfinales felices, hay excepciones, como la película Dr. Strangelove[11] y la novela de Nevil Shute conmovedor en la playa [12]. Además,en el caso de algunos riesgos existenciales (por ejemplo, especiesque destruyen el impacto de meteoros), tenemos la experiencia de lasversiones más moderadas de la misma (por ejemplo, los impactos demeteoritos pequeños) que nos ayudan a cuantificar la probabilidad deque el evento más grande. Pero para la mayoría de los graves riesgosexistenciales, es que no existe ningún precedente.6 La terminología es inspirada por las famosas líneas de T. S.Eliot:

Esta es la forma en que el mundo no termina con una explosión, sinocon un quejido

4

Bangs - Tierra-originarios vida inteligente va extinguida enrelativamente desastre repentino, resultante de un accidente o unacto deliberado de destrucción.

Cruje - El potencial de la humanidad para desarrollarse enposthumanit 7y está permanentemente frustrado aunque la vida humanacontinúa en alguna forma.

Gritos - alguna forma de posthumanity es alcanzado pero es una bandaextremadamente estrecho de lo que es posible y deseable.

- Una civilización posthuman Whimpers surge pero evoluciona en unadirección que conduce gradualmente pero de manera irrevocable acualquiera la desaparición completa de las cosas que valoramos o aun estado donde las cosas se realizan a un minúsculo grado de lo quepodría haber logrado.

Armados con esta taxonomía, podemos comenzar a analizar losescenarios más probables en cada categoría. Las definiciones tambiénserán aclarados como procedemos.

Š-oeEste es el tipo más obvio de riesgo existencial. Conceptualmente, es

fácil de entender.A continuación hay algunas formas posibles para que el mundo puedaterminar en un b 8 ANG. He intentado clasificarlas aproximadamenteen orden de cómo son probables, en mi opinión, para provocar laextinción de la Tierra-originarios vida inteligente; pero miintención con la serie es más para proporcionar una base para eldebate ulterior de hacer afirmaciones de cualquier empresa.Ţ•''Ţ'ŠŢ -'oeţoeŢ ˜ -Š-˜ŢOE'-˜•˜¢ en unaforma madura, la nanotecnología molecular permitirá la construcciónde bacteria- escala self-replicating robots mecánicos que puedenalimentarse de tierra u otra materia orgánica [22- 25]. Tal


7/38

replicadores de la biosfera podría comer o destruirlo por otrosmedios, como por envenenamiento, ardor, o bloqueando la luz solar.Una persona de intenciones maliciosas en

(de "los hombres huecos" ) y también por el título de filósofo JohnEarman el libro de la teoría general de la relatividad [17]. Paraalgunas consideraciones generales en la clasificación de losriesgos, vea [18].7 las palabras "" y " posthuman Posthumanity civilización" seutiliza para denotar una sociedad de seres altamente mejoradostecnológicamente (con mucho mayor capacidad intelectual y física,mucho más tiempo de vida abarca, etc.) que nos podría un día sercapaces de convertirse en [19].8 Algunas de estas cuestiones se analizan en mayor detalle en losdos primeros capítulos de el excelente libro de John Leslie [9];algunos se examinan brevemente en [20]. La reciente controversia entorno a Bill Joy's artículo en Wired [21] también llamó la atención

sobre algunas de estas cuestiones.5 La

posesión de esta tecnología podría provocar la extinción de la vidainteligente en la tierra soltando tales nanobots en el medioambiente 9.La tecnología para producir un destructivo nanobot parececonsiderablemente más fácil de desarrollar que la tecnología para

crear una defensa eficaz contra un ataque de ese tipo (un sistemainmune global de nanotecnología, una " protección activa" [23]). Porlo tanto, es probable que haya un período de vulnerabilidad durantela cual esta tecnología debe impedir que entren en las manosequivocadas. Sin embargo, la tecnología podría resultar difícil deregular, ya que doesn' t requieren raros isótopos radiactivos ograndes plantas de fabricación, fácilmente identificables, como lohace la producción de armas nucleares [23].Incluso en el caso de defensas efectivas contra un ataque limitadode la nanotecnología son desarrollados antes de replicadorespeligrosos están diseñados y adquiridos por regímenes o terroristassuicidas, seguirá existiendo el peligro de una carrera de armamentosentre los Estados poseedores de la nanotecnología. Se ha argumentado

[26] que la fabricación molecular conduciría tanto a la carrera dearmamentos la inestabilidad y las crisis de inestabilidad, a unmayor grado de lo que fue el caso de las armas nucleares. Carreraarmamentista inestabilidad significa que habrá incentivos para cadacompetidor dominante para escalar sus armamentos, que conduce a undescontrolado carrera armamentista. Crisis inestabilidad significaque habrá incentivos dominante para asestar el primer golpe. Dosrivales equilibrada adquiriendo la nanotecnología sería, desde estepunto de vista, comenzar una acumulación masiva de armamentos yprogramas de desarrollo de armas que continuaría hasta que seproduzca una crisis y estalla la guerra, causando destrucción


8/38

terminal global. Que la carrera armamentista podría haberse previstono es garantía de que un sistema de seguridad internacional que serácreado antes de tiempo para evitar este desastre ocurra. La carrerade armamentos nucleares entre los Estados Unidos y la URSS fuepredicha pero ocurrió sin embargo.ŢOE•ŢŠ' '˜•˜OEŠţoe los EE.UU. y Rusia todavía tiene enormesarsenales de armas nucleares. Pero sería una guerra nuclear totalrealmente exterminar a la humanidad? Tenga en cuenta que: (i) paraque haya un riesgo existencial basta que podemos' t asegúrese quewouldn' t. (ii) los efectos climáticos de una gran guerra nuclear noson bien conocidas (existe la posibilidad de un invierno nuclear).(iii) el futuro de las carreras de armamentos entre otras nacionesno puede descartarse, y esto podría conducir a mayores arsenales quelos presentes en el apogeo de la guerra fría. El suministro mundialde plutonio ha aumentado constantemente a cerca de dos miltoneladas, unas diez veces tanto como sigue estancado en las ojivas([9], pág. 26). (iv) incluso si algunos seres humanos sobreviven losefectos a corto plazo de una guerra nuclear, que podría llevar alcolapso de la civilización. Una raza humana que viven bajocondiciones de la edad de piedra pueden o no ser más resistentes a

la extinción de otras especies animales.9 nanotecnología, por supuesto, también tiene un inmenso potencialpara beneficiar a la medicina, el medio ambiente y la economía engeneral, pero que no es la cara de la moneda que estamos estudiandoaquí.

6

Ţ "Ţ •'ÿ'- '- Š oe'-ţ•Š'- Š-˜ ''ţ oe - Un caso puede hacerse apartir de la hipótesis de que estamos viviendo en una simulación decomputadora debe ser dada una probabilidad significativa [27]. Laidea básica detrás de este llamado " simulación argumento" es queenormes cantidades de potencia de cálculo pueden estar disponiblesen el futuro (véase, por ejemplo, [28,29]), y que podría serutilizada, entre otras cosas, para ejecutar un gran número desimulaciones de grano fino de las civilizaciones humanas pasadas. Envirtud de algunos no demasiado inverosímil hipótesis, el resultadopuede ser que casi todas las mentes como las nuestras mentes sonsimulados, y que, por consiguiente, se debería asignar unaprobabilidad significativa de ser esas mentes emuladas por ordenador

en lugar de la (subjetivamente indistinguibles) mentes de losoriginalmente evolucionaron criaturas. Y si somos, sufrimos elriesgo de que la simulación puede cerrarse en cualquier momento. Ladecisión de terminar nuestra simulación puede ser provocada pornuestras acciones o por factores exógenos.Mientras que para algunos puede parecer frívola a la lista tanradicales o " filosóficas" la siguiente hipótesis concreta ante laamenaza de un holocausto nuclear, debemos procurar basar estasevaluaciones sobre las razones más que simple intuición. Hasta queaparezca una refutación de los argumentos presentados en [27], sería


9/38

intelectualmente deshonesto omiten mencionar simulación-apagado comoun posible modo de extinción.Š•¢ ™'˜'Š--Ţ oeţ™Ţ''-Ţ••'Ţ-OEŢ Cuandocreamos la primera entidad superintelligent [28-34], podríamoscometer un error y darle objetivos que conducen a aniquilar a lahumanidad, asumiendo su enorme ventaja intelectual le da el poderpara hacerlo. Por ejemplo, podríamos elevar una subgoal erróneamentea la condición de supergoal. Le decimos que para resolver unproblema matemático, y se ajusta girando toda la materia en elsistema solar en un gigantesco dispositivo de cálculo, en el procesode matar a la persona que hizo la pregunta. (Para un análisis másdetallado de este tema, consulte [35].)

Ţ-Ţ'OEŠ•• ţ¢--ŢŢ''Ţ˜ ''•˜'OEŠ•ŠŢ- con el fabuloso avances en tecnología genética queestá teniendo lugar actualmente, puede ser posible para un tirano,terrorista o loco para crear un virus doomsday, un organismo quecombina con largos períodos de latencia alta virulencia y mortalidad[36].Peligroso virus puede incluso ser engendrado involuntariamente, comoinvestigadores australianos han demostrado recientemente cuando

crearon un virus mousepox modificada con un 100% de mortalidad, ytratando de diseñar un virus anticonceptivos para ratones para usoen el control de plagas [37].Si bien este virus no afecta a los seres humanos, se sospecha queuna alteración análoga aumentaría la mortalidad del virus de laviruela humana. Lo subraya el futuro riesgo aquí es que lainvestigación fue rápidamente publicada en la literatura científicapublicada [38]. Es difícil ver cómo la información generada en laapertura de la investigación biotecnológica

7

programas podrían ser contenidas no importa cuán grave el peligropotencial que entraña; y lo mismo puede decirse de la investigaciónen nanotecnología.La medicina genética también conducirá a mejores curas y vacunas,pero no hay garantía de que la defensa siempre va a mantener elritmo con el delito. (incluso los creados accidentalmente virusmousepox tenía un 50% de mortalidad en ratones vacunados.)Finalmente, preocuparse por las armas biológicas pueden ser puesto adescansar a través del desarrollo de la nanomedicina, pero mientrasque la nanotecnología tiene un enorme potencial a largo plazo para

la medicina [39] que conlleva sus propios riesgos.OEOE'Ţ-Š• -'oeţoeŢ ˜ -Š-˜ŢOE'-˜•˜ ¢¢ La posibilidad deaccidentes nunca puede ser totalmente descartado. Sin embargo, haymuchas maneras de asegurarse de que, a través del responsable deprácticas de ingeniería, destruyendo especies que no se producenaccidentes. Uno podría evitar el uso de auto-replicación; uno podríahacer nanobots dependientes de algunos raros feedstock químico queno existe en la naturaleza; uno podía confinarlas a entornossellada; se podría diseñar de tal forma que cualquier mutación fueabrumadoramente probable que cause un nanobot dejan de funcionar por


10/38

completo [40]. Manipulación accidental es, por tanto, una menorpreocupación de uso malintencionado [23,25,41].

Sin embargo, la distinción entre el accidente y la deliberada puedevolverse borrosa. Mientras que "en principio" parece posible hacerterminal nanotechnological accidentes sumamente improbable, lascircunstancias actuales no puede permitir este nivel de seguridadideal para ser realizada. Comparar la nanotecnología con latecnología nuclear. Desde una perspectiva técnica, por supuesto quees perfectamente posible utilizar la tecnología nuclear sólo parafines pacíficos, como los reactores nucleares, que tienen cerooportunidad de destruir todo el planeta. Sin embargo, en la prácticapuede ser muy difícil evitar la tecnología nuclear también se usapara fabricar armas nucleares, lo que conduce a una carrera dearmamentos. Con grandes arsenales nucleares en estado de alerta,existe inevitablemente un riesgo significativo de guerra accidental.Lo mismo puede suceder con la nanotecnología: pueden ser obligados aservir los objetivos militares de una manera que conlleva riesgosinevitables de accidentes graves.En algunos casos puede incluso ser estratégicamente ventajoso hacer

deliberadamente una tecnología o sistemas de control arriesgada, porejemplo para hacer una " amenaza que deja algo al azar" [42].˜-Ţ''- ţ-˜'ŢoeŢŢ- necesitamos un catch-allcategoría. Sería insensato para estar seguros de que ya hemosimaginado y prevé todos los riesgos significativos. Los desarrolloscientíficos o tecnológicos futuros puede muy bien revelar nuevasformas de destruir el mundo.

Algunos peligros previstos (de ahí que no son miembros de lacategoría actual) que han sido excluidos de la lista de golpes pormotivos que parecen demasiado improbable para causar un desastreterminal global son: las llamaradas solares, explosiones desupernova, agujeros negros o fusiones,

8

estallidos de rayos gamma, centro galáctico arrebatos supervolcanos,la pérdida de biodiversidad, la acumulación de la contaminación delaire, la pérdida progresiva de la fertilidad humana, religiosa ydiversos escenarios apocalípticos. La hipótesis de que vamos allegar un día a ser "iluminada" y cometer suicidio colectivo odetener la reproducción, como partidarios de VHEMT (movimiento de

extinción humana voluntaria) esperanza [43], parece improbable. Sirealmente se tratara mejor no existe (como Silenus dijo al rey Midasen el mito griego, y como Arthur Schopenhauer argumentó [44] Aunquepor razones específicas de su sistema filosófico que él didn' tabogado suicidio), entonces no deberíamos contar este escenario comoun desastre existencial. La hipótesis de que no es peor que estarvivo debe considerarse como una hipótesis implícita en la definiciónde golpes.Suicidio colectivo errónea es un riesgo existencial aunque uno cuyaprobabilidad parece extremadamente ligero. (Para obtener más


11/38

información sobre la ética de la extinción del ser humano, vea elcapítulo 4 de [9].)'''¢oe OEoe elProyecto Manhattan constructores de bombas preocupación acerca deuna conflagración atmosférica derivada de bombas ha análogoscontemporáneos.Ha habido especulaciones que el futuro acelerador de partículas dealta energía experimentos pueden causar una avería de un estadovacío metaestables que nuestra parte del cosmos podría estar en, loque la convierte en un "verdadero" vacío de baja densidad energética[45]. Esto daría como resultado una ampliación de la burbuja de ladestrucción total que podría pasar a través de la galaxia y másallá, a la velocidad de la luz, lagrimeo toda materia aparte, amedida que avanza.Otro conceivability es que los experimentos del acelerador puedeproducir cargadas negativamente " strangelets estables" (una formahipotética de materia nuclear) o crear un mini agujero negro que sehundían al centro de la tierra y empezar a aumentado el resto delplaneta [46].Estos resultados parecen ser imposible dado nuestras mejores teorías

físicas actuales.Pero la razón por la que hacemos los experimentos es precisamenteque nosotros don' t sabe realmente lo que sucederá. Un argumento mástranquilizador es que las densidades de energía alcanzado hoy en díaen los aceleradores son mucho menores que las que ocurrennaturalmente en las colisiones entre los rayos cósmicos [46,47]. Esposible, sin embargo, que otros factores distintos de la densidad deenergía son relevantes para estos procesos hipotético, y que esosfactores se reunirán en maneras novedosas en futuros experimentos.El principal motivo de preocupación en la categoría de desastres","La física es la meta-observación del nivel que los descubrimientosde todo tipo de extraños fenómenos físicos se realizan todo eltiempo, por lo que incluso si ahora todos los desastres física

particular hemos concebido fueron absurdamente improbable oimposible, podría haber otros modos de falla más realista a laespera de ser descubierto. Los que se muestran aquí son meramenteilustraciones de el caso general.ŠŢ'Š••¢ ˜OEOEţ'''- '¿y si el sida fue tan contagiosas como el resfriado común?

9

Existen varias características del mundo de hoy que puede hacer queuna pandemia global es más probable que nunca. Los viajes, elcomercio de alimentos y vivienda urbana han aumentado dramáticamenteen los tiempos modernos, haciendo que sea más fácil para una nuevaenfermedad para infectar rápidamente una gran parte de la poblaciónmundial. oeŢ'˜' ˜' OE-Ţ˜ '-™ŠOE existe un riesgo muypequeño pero real de que seremos aniquilados por el impacto de unasteroide o un cometa [48].A fin de provocar la extinción de la vida humana, el cuerpoimpactante probablemente tendría que ser mayor que 1 km de diámetro


12/38

(y probablemente 3 - 10 km). Ha habido al menos cinco y, quizás, másde una docena de extinciones masivas en la tierra, y por lo menosalgunos de estos fueron probablemente causadas por impactos ([9],pp. 81f.). En particular, la extinción K/T hace 65 millones de años,en la que los dinosaurios se extinguieron, ha sido vinculada con elimpacto de un asteroide de entre 10 y 15 km de diámetro en lapenínsula de Yucatán. Se estimaque un 1 km 0 o mayor cuerpo choca con la tierra alrededor de unavez cada 0,5 millones de años 1. Sólo hemos catalogado una pequeñafracción de los órganos potencialmente peligrosos.Si fuéramos a detectar un acercamiento del cuerpo en el tiempo,tendríamos una buena oportunidad de desviar por interceptar con uncohete cargado con una bomba nuclear [49].Ţ¢ -Š Š Š'-'- Un escenarioes que la liberación de gases de efecto invernadero en la atmósferaresulta ser un fuerte refuerzan el proceso de retroalimentación.Quizás esto es lo que ocurrió en Venus, que ahora tiene unaatmósfera densa con CO2 y una temperatura de unos 45 O0 C.Esperemos, sin embargo, tendremos los medios tecnológicos paracontrarrestar esa tendencia en el momento en que comenzaría a

conseguir realmente peligrosos."ţ-OE'Ţoe mientras algunos de los eventos descritos en la sección anteriorsería cierto para eliminar el Homo sapiens (p. ej. un desglose de unmeta-estable estado de vacío) otros podrían potencialmente sersobrevivido (tales como una guerra nuclear total). Si lacivilización moderna estaban al borde del colapso, sin embargo, noes totalmente seguro que volvería a plantearse incluso si la especiehumana ha sobrevivido. Podríamos haber usado demasiado muchos de losrecursos disponibles con facilidad una primitiva sociedad tendríaque usar para trabajar a nivel de nuestra tecnología. Una primitivade la sociedad humana puede o no tener más probabilidades de sufrir

la extinción de ninguna otra especie animal. Pero vamos' s no pruebeese experimento.

10 Por comparación, el acontecimiento de Tunguska en 1908 fuecausada por un cuerpo de casi 60 metros de diámetro, produciendo unrendimiento de 2 megatones de TNT (la bomba de Hiroshima tenía unrendimiento de 2 kilotones) y la tala de árboles dentro de un radiode 40 km.

10

Si la sociedad primitiva vive en pero falla para nunca regresar alos niveles tecnológicos actuales, y no digamos ir más allá,entonces tenemos un ejemplo de un crujido. Aquí están algunasposibles causas de un crunch:Ţoe˜ţ'OEŢ ŢOE '˜'˜•˜'OEŠ•' losrecursos naturales necesarios para sostener una civilización de altatecnología están siendo utilizadas. Si algún otro cataclismo


13/38

destruye la tecnología que tenemos, puede no ser posible vuelva asubir hasta los niveles actuales si las condiciones naturales sonmenos favorables que las que fueron de nuestros antepasados, porejemplo si la más fácil de explotar el carbón, el petróleo y losrecursos minerales se han agotado. (Por otro lado, si muchainformación acerca de nuestras proezas tecnológicas es preservada,que podría hacer un renacimiento de la civilización más fácil.)'Oeţ'Ţ ˜'• ˜' Š-˜oeŠ'Ţ''OE oe˜OE'Š• Ţšţ'•''''ţ- oe˜™oe''™'˜'Ţoeoe uno podría imaginarse un fundamentalista religioso omovimiento ecológico un día llegando a dominar el mundo. Si existenmedios de hacer tal un gobierno mundial estable contra lasinsurrecciones (por vigilancia avanzada o las tecnologías de controlde la mente), esto podría poner permanentemente una tapa sobre lahumanidad' s potencial para desarrollar a un nivel posthuman.Aldous Huxley' s Brave New World es un escenario conocido de estetipo [50].

Un gobierno mundial no puede ser la única forma de equilibrio socialestable que podría obstruir el avance de forma permanente. Muchasregiones del mundo de hoy tienen una gran dificultad de construirinstituciones que pueden apoyar un alto crecimiento. Ehistóricamente, hay muchos lugares donde el progreso era todavía ose retiraron durante períodos de tiempo considerables. El progresoeconómico y tecnológico no puede ser tan inevitable como se presentaante nosotros.¢''Ţoeoeţ'Ţoe ™ es posible que lasociedad civilizada avanzada depende de que exista una fracciónsuficientemente grande de individuos talentosos intelectualmente.Actualmente, parece que hay una correlación negativa en algunoslugares entre los logros intelectuales y de la fertilidad. Si dicha

selección fueron para operar durante un largo período de tiempo,podríamos evolucionar hacia una menor brainy pero más fértiles,especie homo philoprogenitus (" amante de muchos descendientes" ).Sin embargo, contrariamente a lo que tales consideraciones podríallevar a sospechar, las puntuaciones de CI han sido efectivamenteaumentando dramáticamente durante el siglo pasado. Esto se conocecomo el efecto Flynn; véase, por ejemplo, [51,52]. Es' s no está aúnresuelta si esto corresponde a beneficios reales en importantesfunciones intelectuales.Además, la ingeniería genética se está acercando rápidamente elpunto donde será posible dar a los padres la opción de dotar a susdescendientes con genes que se correlacionan con la capacidadintelectual, la salud física, longevidad y otros rasgos deseables.

11

En cualquier caso, la escala de tiempo para la evolución genéticanatural humana parece demasiado grand para tales acontecimientos atener ningún efecto significativo antes de otros acontecimientoshabrá hecho la cuestión discutible [19,39].


14/38

ŢOE'-˜•˜'OEŠ• Š''Ţoe la pura las dificultadestecnológicas en hacer la transición al mundo posthuman podría llegara ser tan grande que nunca podemos llegar.11-Ţ ˜''- ţ-˜'ŢoeŢŢ- Como antes, un catch-all.

En general, la probabilidad de un crunch parece mucho menor que elde una explosión. Debemos mantener la posibilidad de que en la mentepero no deje que se desempeñan un papel dominante en nuestropensamiento en este punto. Si el desarrollo económico y tecnológicofueron a ralentizarse sustancialmente por alguna razón, entoncestendríamos que tomar una mirada más cercana a crunch escenarios.

'''Ţ"oe determinar qué escenarios son gritos es más difícil por la inclusiónde la noción de conveniencia en la definición. Si no sabemos lo quees "deseable" , no podemos decir que los escenarios son gritos. Sinembargo, existen algunos escenarios que contaría como gritos bajointerpretaciones más razonable.Š"Ţ ˜ŸŢ' '¢ Š ţ'™•˜Š supo

nga cargas venir antes de inteligencia artificial denivel humano. Una carga es una mente que ha sido transferida desdeun cerebro biológico a un equipo computacional que emula losprocesos que tuvieron lugar en la red neuronal biológica original[19,33,53,54]. Un exitoso proceso de carga permitiría preservar eloriginal mente' s recuerdos, habilidades, valores y conciencia.Cargar una mente hará que sea mucho más fácil para aumentar suinteligencia, ejecutando más rápido, añadiendo más recursosinformáticos, o la racionalización de su arquitectura. Uno podríaimaginar que aumentar una carga más allá de un cierto puntoresultará en un ciclo de retroalimentación positiva, donde la mayorcarga es capaz de imaginar maneras de hacerse aún más inteligente, yla inteligente versión sucesora a su vez es incluso mejor en el

diseño de una versión mejorada de sí mismo, y así sucesivamente. Sieste proceso de descontrol es repentino, podría resultar en unacarga alcanzando niveles sobrehumanos de inteligencia mientras quetodos los demás permanece en un nivel humano, aproximadamente. Estasenormes

11 es cuestionable que un mal programado superintelligence quedecidió celebrar la humanidad atrás indefinidamente podría contarcomo un quejido. La superintelligence tendría que ser de carácterlimitado que wouldn' t sí cuentan como alguna forma de posthumanity;de lo contrario, esto sería un chillido.

12

superioridad intelectual puede dar en consecuencia un gran poder.Éste podría rápidamente inventar nuevas tecnologías o perfectananotechnological diseños, por ejemplo. Si el trascender cargar estáempeñado en impedir que otros obtengan la oportunidad de subir,podría hacerlo.


15/38

El mundo posthuman luego pueden ser un reflejo de una determinadacarga egoísta' s preferencias (que en el peor de los casos seríapeor que inútil).Ese mundo puede muy bien ser una realización de sólo una pequeñaparte de lo que habría sido posible y deseable. Este extremo es unchillido.•Š Ţ oeţ™Ţ''-Ţ••'Ţ-OEŢ nuevamente, existe laposibilidad de que un mal programado superintelligence recoge yaplica las metas defectuoso ha sido erróneamente dado.Ţ™'Ţoeoe'ŸŢ'' 'Ţ'-Ţ asimismo, uno puedeimaginar que un gobierno mundial intolerante, basada quizás en unerror de convicciones religiosas o éticas, está formado, es estable,y decide darse cuenta sólo una parte muy pequeña de todas las cosasbuenas de un mundo posthuman podría contener.Ese gobierno mundial podría estar formado por un pequeño grupo depersonas si estuvieran en control de los primeros superintelligencey podría seleccionar sus objetivos. Si el superintelligence surge derepente y llega a ser lo suficientemente fuerte como para tomar el

control del mundo, el mundo posthuman puede reflejar sólo losvalores idiosincrásicos de los propietarios o los diseñadores deesta superintelligence. Dependiendo de cuáles son esos valores, esteescenario se contaría como un chillido.12-Ţ ˜''- ţ-˜'ŢoeŢŢ- El catch-all.

Alarido estos escenarios parecen tener una sustancial probabilidady, por tanto, deben ser tomadas muy en serio en nuestraplanificación estratégica.Uno podría argumentar que un valor que hace que una gran parte de loque consideramos que sería deseable en un mundo posthuman es quecontiene el mayor número posible de esas personas que están vivos enla actualidad. Después de todo, muchos de nosotros queremos mucho

para no morir (al menos no todavía), y tener la oportunidad deconvertirse en posthumans. Si aceptamos esto, entonces cualquierescenario en el que la transición al mundo posthuman se retrasódurante el tiempo suficiente para que casi todos los humanosactuales están muertos antes de que ocurra (suponiendo que no hansido conservados a través de arreglos cryonics [53,57]) sería unchillido. A falta de una

12 I respecto a la hipótesis (común en los medios de comunicación demasas y defendido por ejemplo en [55]; véase también [56]) que vamosa ser exterminados en una guerra convencional entre la especiehumana y una población aproximada de derechos- equivalente humano-hecho robots como extremadamente pequeño.

13

Avance en la extensión de la vida o de la adopción generalizada decryonics, entonces incluso una transición suave a una posthumanplenamente desarrollado 80 años a partir de ahora constituirá unimportante riesgo existencial, si definimos "deseable", con especial


16/38

referencia a las personas que están vivos en la actualidad. Este"si" , sin embargo, está cargado con un profundo problema axiológicoque no vamos a intentar resolver aquí.

''-™Ţ'oe si las cosas van bien, podemos ejecutar un día contra los límitesfundamentales de la física. Aunque el universo parece ser infinita[58,59], la parte del universo que nos podría colonizar es (dadanuestra ciertamente muy limitada comprensión de la situación actualfinito) [60], y por lo tanto eventualmente vamos a agotar todos losrecursos disponibles o los recursos va espontáneamente a través dela decadencia gradual disminución de negentropy y la decadenciaasociada de la materia a la radiación. Pero aquí estamos hablando deescalas de tiempo astronómico. Un final de este tipo pueden de hechoser lo mejor que podemos esperar, así que sería engañoso para contarcomo un riesgo existencial. No califica como un quejido porque lahumanidad podría en este escenario han realizado una buena parte desu potencial.Dos whimpers (aparte de los habituales de catch-all hipótesis)parecen tener probabilidad significativa:ţ' ™˜Ţ

-'Š• ˜'

-ŢŸŢ ˜ţ' OE˜'Ţ ŸŠ•ţŢoe Š'Ţ

Ţ'˜Ţ '¢ ŢŸ˜•ţ'˜-Š"¢Este escenario es conceptualmente más complicada que la de otrosriesgos existenciales que hemos considerado (junto quizás con el "Estamos viviendo en una simulación que obtiene apagar" bangescenario). Es explorado en más detalle en un documentocomplementario [61]. Un resumen de ese documento figura en elApéndice.Un escenario relacionado es descrito en [62], que sostiene quenuestra " commons cósmico" podría ser quemado en una carrera decolonización. Selección favorecería los replicadores que gastartodos sus recursos en el envío de nuevas sondas de colonización

[63].Aunque el tiempo que tardaría un quejido de este tipo para jugar porsí solo puede ser relativamente largo, todavía podría tenerimportantes implicaciones políticas porque las opciones a cortoplazo puede determinar si vamos a ir por una pista [64] queinevitablemente conduce a este resultado. Una vez que el procesoevolutivo se pone en movimiento o una colonización cósmica razacomenzado, podría resultar difícil o imposible ponerle fin [65].Bien puede ser que la única manera viable de evitar un quejido esprevenir estas cadenas de eventos desde siempre empezando arelajarse.

14

'••Ţ '¢ Š- Ţ¡'ŠŢ''Ţoe''Š• OE'ÿ'•'£Š'˜-la probabilidad de enfrentarse a los extranjeros en ningún momentopronto parece ser muy pequeño (véase la sección sobre la evaluaciónde las probabilidades por debajo, y también [66,67]).


17/38

Si las cosas van bien, sin embargo, y se desarrollan en unacivilización intergaláctica, podremos algún día en el futuro lejanoencuentro extranjeros. Si son hostiles y si (por alguna razóndesconocida) tenían significativamente mejor tecnología quetendremos por entonces, pueden comenzar el proceso de conquista denosotros. Alternativamente, si provocan una transición de fase de ladepresión a través de sus experimentos de física de alta energía(véase la sección Bangs) un día podemos afrontar las consecuencias.Porque el alcance espacial de nuestra civilización en esa etapasería probablemente muy grande, la conquista o destrucción tendríarelativamente largo para completar, este escenario un quejido enlugar de una explosión.˜-Ţ''- ţ-˜'ŢoeŢŢ- la hipótesis de catch-all.

El primero de estos escenarios deberían ser un lloriqueo pesadapreocupación al formular una estrategia a largo plazo. Tratando conla segunda quejido es algo que podemos delegar de manera segura paralas generaciones futuras (ya que hay nada que podamos hacer ahora detodos modos).

OeoeŢoeoe'- ' ™'˜'Š''•' ˜¢

Ţ¡'oeŢ-'Š• ''oe"oe ''ŢOE ŸŢ'oeţoe '-''ŢOE -Ţ'˜oe Existendos formas complementarias de estimar nuestras posibilidades decrear un mundo posthuman. Lo que podríamos llamar el camino directoes analizar los distintos modos de falla, asignarles probabilidadesy, a continuación, resta la suma de estas probabilidades dedesastres desde uno hasta obtener la probabilidad de éxito. Alhacerlo, nos beneficiaría una comprensión detallada de cómo losfactores causales subyacentes se reproducirá. Por ejemplo, nosgustaría saber las respuestas a preguntas tales como: ¿cuánto másdifícil es diseñar un sistema inmunológico nanotecnológicos globalinfalible que es diseñar un nanobot que puede sobrevivir y

reproducirse en el medio natural? ¿Cómo es posible mantener lananotecnología estrictamente regulado por un período prolongado detiempo (de modo que nadie con malas intenciones obtiene sus manossobre un ensamblador que no está contenida en un sellado a prueba demanipulaciones de laboratorio ensamblador [23])? ¿Qué tan probablees que superintelligence vendrá antes avanzada nanotecnología?Podemos hacer conjeturas acerca de estos y otros parámetrospertinentes y formar una estimación base; y podemos hacer lo mismocon los otros riesgos existenciales que hemos esbozadoanteriormente. (He intentado indicar la probabilidad relativaaproximada de los diferentes riesgos en los rankings en losanteriores cuatro secciones.)

15

En segundo lugar, existe la forma indirecta. Existen limitacionesteóricas que pueden utilizarse para ejercer presión sobre lacuestión, sobre la base de algunas características generales delmundo en que vivimos. Sólo hay un pequeño número de estos, pero sonimportantes porque no confían en hacer un montón de conjeturas


18/38

acerca de los detalles de los futuros desarrollos tecnológicos ysociales:"Ţ Ţ'-' Š'Š˜¡ La paradoja de Fermi se refiere al interrogante que pende sobre elpunto de datos que no hemos visto signos de vida extraterrestre[68]. Esto nos dice que no es el caso que la vida evoluciona en unafracción significativa de planetas similares a la tierra, y procedea desarrollar tecnología avanzada, utilizando a colonizar eluniverso en formas que hubieran sido detectados con nuestrainstrumentación actual. Debe existir (al menos) un gran filtro - unpaso evolutivo que es extremadamente improbable - en algún lugar dela línea entre la tierra-gustar planeta y colonizar-en-detectablesformas de civilización [69]. Si el gran filtro isn' t en nuestropasado, debemos temer que en nuestro futuro (próximo). Quizás casicada civilización que desarrolla un cierto nivel de tecnologíaprovoca su propia extinción.Afortunadamente, lo que sabemos sobre nuestro pasado evolutivo esconsistente con la hipótesis de que el gran filtro está detrás denosotros. Hay varios candidatos plausibles para pasos evolutivos quepueden ser lo suficientemente improbable para explicar por qué nos

haven' t visto o conocido en cualquier extraterrestres, incluida laaparición de los primeros replicadores de auto-orgánicos, latransición de procariotas a eucariotas, al oxígeno para respirar,para la reproducción sexual,13 y posiblemente otros países. El resultado es que con nuestrosconocimientos en biología evolucionaria de la grosella, Grandesargumentos del filtro no puede decirnos mucho acerca de cómo debemosser probable posthuman, aunque pueden darnos sugerencias sutiles[66,70-72].Esto cambiaría radicalmente si nos descubrió rastros de vidaevolucionaron de forma independiente (ya extinguidas o no) en otrosplanetas. Tal descubrimiento sería una mala noticia.Encontrar una forma de vida relativamente avanzados (organismos

multicelulares) sería especialmente deprimente.

13 Estos son posibles candidatos para difíciles pasos críticos (talvez exigir simultáneo multi-loci mutaciones u otras coincidenciasraras), principalmente porque se tomó un tiempo muy largo (adiferencia, por ejemplo, de la evolución del Homo sapiens sapiens denuestros ancestros humanoides). Sin embargo, la duración de un pasono es siempre un buen motivo para pensar el paso improbable. Porejemplo, el oxígeno Respiración tomó un largo tiempo paraevolucionar, pero esto no es un motivo para pensar que era un pasodifícil. Respirar Oxígeno se convirtió en adaptive sólo después huboimportantes niveles de oxígeno libre en la atmósfera, y anaerobiostardó cientos de millones de años para producir oxígeno suficiente

para saciar diferentes sumideros de oxígeno y elevar los niveles deoxígeno atmosférico a los niveles requeridos. Este proceso fue muylento, pero que prácticamente garantiza que se ejecute hasta elfinal, por lo que eventualmente sería un error inferir que laevolución de la respiración de oxígeno y la consiguiente explosióndel Cámbrico representan un paso tremendamente difícil en laevolución humana.

16


19/38

'oeŢ'ŸŠ' -̃ oeŢ•ŢOE'˜- ŢŢOEoe la teoríade observación los efectos de selección puede decirnos qué debemosesperar para observar dado algunas hipótesis acerca de ladistribución de los observadores en el mundo. Comparando esaspredicciones a nuestras observaciones reales, obtenemos probabilistade la evidencia a favor o en contra de diversas hipótesis.Un intento de aplicar ese razonamiento a la predicción de nuestrasperspectivas de futuro es el asíllamado- 4 Doomsday argumento [9,73] 1. Se pretende mostrar quehemos subestimado sistemáticamente la probabilidad de que lahumanidad se extinguirán relativamente pronto. La idea, en su formamás simple, es que debemos pensar en nosotros mismos como en ciertosentido muestras aleatorias de conjunto de todos los observadores ennuestra clase de referencia, y seríamos más probabilidades de vivirtan pronto como lo hacemos, si no hubo un gran número deobservadores en nuestra vida de clase de referencia más tarde quenosotros. El argumento de Doomsday es altamente controversial, y he

argumentado que, si bien puede ser teóricamente sólidos, algunos desus condiciones de aplicabilidad son, en realidad, no satisfechos,por lo que aplicándolo a nuestro caso real sería un error [75,76].Otros argumentos antrópicos pueden tener más éxito: el argumentobasado en la paradoja de Fermi es un ejemplo y la siguiente secciónproporciona otro. En general, una lección es que debemos tenercuidado de no utilizar el hecho de que la vida en la Tierra hasobrevivido hasta el día de hoy y que nuestros ancestros humanoidesdidn' t extinguirse en algunos desastres súbitos inferir que esatierra-bound vida y antepasados humanoides son altamenteresistentes. Aunque en la gran mayoría de planetas similares a latierra, la vida va extinguidos antes de las formas de vidainteligente, evolucionando, deberíamos esperar que encontramos en

uno de los planetas que excepcionales5 tuvieron la suerte de escapar devastatio 1n. En este caso, nuestroéxito en el pasado no proporciona ninguna tierra para esperar eléxito en el futuro.

El campo de observación los efectos de selección esmetodológicamente muy complejo [76,78,79] y más trabajo fundacionales necesaria antes de que podamos estar seguros de que estamosrealmente entender cómo razonar acerca de estas cosas. Bien puedehaber más lecciones de este dominio que nos haven' t ha sido losuficientemente inteligente para comprender."Ţ '-ţ•Š'˜- Š'ţ-Ţ- la mayoría de la gente don' t

creen que están viviendo actualmente en un equipo de simulación. I've demostrado recientemente (utilizando sólo algunas piezas bastantepoco controvertido de la teoría de la observación de los efectos deselección) que esto compromete a la creencia de que o estamos casiseguros de que nunca lleguen a la etapa de posthuman o casi todaslas civilizaciones posthuman falta personas que operan un grannúmero de ancestor-simulaciones por ordenador, es decir, especie deemulaciones de los humano-como criaturas de las cuales evolucionaron[27]. Esta conclusión es pesimista,14 por un breve resumen del argumento Doomsday, vea [74].


20/38

15 Esto se mantiene mientras el número total de planetas similares ala Tierra, en el cosmos es suficientemente grande para la hacen muyprobable que al menos algunos de ellos desarrollaría observadoresinteligentes [77].

17

Para que reduce sustancialmente la gama de escenarios futurospositivos que cursarán estudios en la luz de la información empíricaque tenemos ahora.El argumento de la simulación hace mucho más que el sonido de unaalarma general; también redistribuye la probabilidad entre lashipótesis que siguen siendo creíbles. Aumenta la probabilidad de queestamos viviendo en una simulación (que puede en muchas manerassutiles afectan nuestras estimaciones de la probabilidad diversosresultados son) y disminuye la probabilidad de que el mundo

posthuman contendría un montón de individuos libres que tienengrandes recursos y motivos similares a los humanos. Esto nos daalgunas pistas útiles en cuanto a qué podemos realmente espera paray, en consecuencia, hacia dónde debemos dirigir nuestros esfuerzos.Oe¢OE'˜•˜'OEŠ• ''ŠoeŢoe la psicología de la percepción delriesgo es un activo sino campo desordenado [80] que puedencontribuir potencialmente motivo indirecto para reevaluar nuestrasestimaciones de riesgos existenciales.Supongamos que nuestras intuiciones acerca de qué escenarios futurosson " plausible y realista" están conformadas por lo que vemos en latelevisión y en las películas y lo que leemos en las novelas.(Después de todo, una gran parte del discurso sobre el futuro quelas personas que encuentro es en forma de ficción y otros contextos

recreativos.) Entonces, cuando deberíamos pensar críticamente,sospecho que nuestras intuiciones de parcialidad en el sentido de lasobreestimación de la probabilidad de los escenarios que hacen quesea una buena historia, pues tales escenarios se parecen mucho másfamiliar y más " real" . Esta buena noticia, el sesgo puede ser muypoderosa. Cuándo fue la última vez que vio una película acerca de lahumanidad de repente extinguido (sin advertencia y sin serreemplazada por alguna otra civilización)? Aunque este escenariopuede ser mucho más probable que un escenario en el que los héroesrepeler con éxito una invasión de monstruos o robot warriors,wouldn' t sea mucho más divertido de ver. Así que nosotros don' tver muchas historias de ese tipo. Si no tenemos cuidado, podemos serinducir a error al creer que el aburrido escenario es demasiado

rebuscado para ser digno de tomar en serio. En general, si pensamosque hay una buena historia de prejuicios, podemos previa reflexiónquiere aumentar nuestra credibilidad en aburrido hipótesis ydisminuir nuestra credibilidad en interesante, dramática hipótesis.El efecto neto sería redistribuir la probabilidad entre riesgosexistencial en favor de aquellos que parecen más difíciles decolocar en una venta de narrativa, y posiblemente para aumentar laprobabilidad de los riesgos existenciales como un grupo.Los datos empíricos sobre los sesgos de estimación de los riesgos esambiguo. Se ha argumentado que padecemos diversos sesgossistemáticos al estimar nuestras propias perspectivas o riesgos en


21/38


22/38


23/38

No debemos culpar a la civilización o la tecnología para imponergrandes riesgos existenciales.Porque de la manera que hemos definido los riesgos existenciales, unfracaso para desarrollar la civilización tecnológica implicaría quenos habían caído víctimas de un desastre existencial (es decir, unacrisis económica, tecnológica " detención" ). Sin la tecnología,nuestras posibilidades de evitar riesgos existenciales por lo tantosería nulo. Con la tecnología, tenemos alguna posibilidad, aunquelos mayores riesgos en la actualidad resultan ser los generados porla propia tecnología.

-™•'OEŠ'˜-oe ™˜•'OE¢ Š- Ţ''OEoe riesgos existenciales tienen un conjunto de características que lohacen útil para identificarlas como una categoría especial: la granmagnitud del daño que podría provenir de un desastre existencial; lafutilidad del enfoque de ensayo y error; la falta de evolucionadométodos de supervivencia biológica y cultural; el hecho de que ladilución del riesgo existencial, es un bien público mundial; lastakeholdership compartida de todas las generaciones futuras; lanaturaleza internacional de muchas de las contramedidas; requiere

necesariamente el carácter altamente especulativo y el caráctermultidisciplinario del tema; el sutil y diversos problemasmetodológicos que intervienen en la evaluación de los

19 el escenario crunch " detención tecnológico" no podía seradecuadamente t dijo a ser causado por nuestras actividades.

20

probabilidad de riesgos existenciales; y la negligencia comparativade toda la zona. Desde nuestro estudio de los más importantesriesgos existenciales y sus atributos clave, podemos extraerrecomendaciones provisionales para la ética y la política:Š'oeŢ˜ ' ™'' ˜•Ţ Ţ¡'oeŢ-'Š•''oe"oe necesitamos más investigación sobre riesgos existenciales -estudios detallados de determinados aspectos de los riesgosespecíficos, así como las investigaciones más generales deasociados, la metodología, la ética y las cuestiones de política deseguridad. La conciencia pública también debe ser construido demanera que un debate político constructivo acerca de las posiblescontramedidas es posible.

Ahora, es un lugar común que los investigadores siempre concluyenque se necesitan más investigaciones en su campo. Pero en este casoes realmente cierto. Hay más trabajo académico sobre los hábitos devida de la mosca del estiércol que sobre riesgos existenciales."ŢŠŢ Š ˜' '-Ţ'-Š'˜-Š• ŠOE'˜ existencial- desde lareducción del riesgo es un bien público global, no debería seridealmente un marco institucional de tal manera que el costo y laresponsabilidad de proporcionar esos bienes podrían ser compartidosequitativamente por todos los pueblos. Incluso si los costes can' tsea compartida equitativamente, algún sistema que conduce a la


24/38

prestación de reducción del riesgo existencial en algo parecido acantidad óptima debe intentarse.

La necesidad de una acción internacional va más allá de laconveniencia de compartir los gastos, sin embargo. Muchos riesgosexistenciales simplemente no puede reducirse sustancialmentemediante acciones que son internos a uno o incluso la mayoría de lospaíses. Por ejemplo, incluso si la mayoría de los países lapromulgar y hacer cumplir leyes nacionales contra la creación dedeterminados destructiva versión de nanotecnología, podremosrealmente han adquirido seguridad si algunos menos escrupulosospaíses deciden seguir adelante independientemente? Y negociaciónestratégica podría hacer inviable para sobornar a todos losirresponsables en la suscripción de un tratado, incluso si todo elmundo sería mejor si todos los suscritos [14,42].ŢŠ'- Š •Šoe 'Ţoe˜' 'ŢŠ''ŢŢ Ţoeoe ™-™'ŸŢ ŠOE'˜- creando un consenso deamplia base entre el mundo de los estados-nación es laborioso ydifícil, y en muchos casos imposible. Por lo tanto, debemosreconocer la posibilidad de que pueden surgir casos en los que una

nación poderosa o una coalición de estados debe actuarunilateralmente para su propio y el interés común. Esa acciónunilateral puede menoscabar la soberanía de otros países y esposible que sea necesario realizar preventivamente.

Hagamos de esta hipotética más concretas. Supongamos que lananotecnología avanzada acaba de ser desarrollado en algunos de losprincipales laboratorios. (Me refiero a la nanotecnología avanzadapor un ensamblador bastante general, un dispositivo que puedeconstruir una gran variedad de estructuras tridimensionales -incluyendo partes rígidas - precisión atómica Dada unaespecificación detallada del proceso de diseño y construcción,algunos productos químicos, materias primas y un suministro de

energía.)

21

Supongamos que en esta etapa es posible predecir que construirpeligrosos nanoreplicators será mucho más fácil que la construcciónde un sistema inmunológico nanotechnological fiable que podríanproteger contra todos simples replicadores peligrosos. Quizás eldiseño de planes específicos para los replicadores peligrosos ya han

sido producidas por diseño-ahead esfuerzos y están disponibles en laInternet. Supongamos además que, debido a que la mayoría de lasinvestigaciones que condujeron a la construcción del ensamblador,excluyendo sólo las últimas etapas, está disponible en laliteratura; abierto para que otros laboratorios en otras partes delmundo son poco propensos a desarrollar sus propios montadores. ¿Quédebe hacerse?

Con esta configuración, se puede predecir con confianza que lapeligrosa tecnología pronto caerá en manos de " rogue unidas" ,grupos de odio, y finalmente quizás psicópatas solitarios. Tarde o


25/38

temprano, alguien podría entonces montar y suelte un destructivonanobot y destruir la biosfera. La única opción es tomar medidaspara impedir la proliferación de la tecnología de ensamblador hastaese momento tan fiables las contramedidas para un nano-ataque hansido desplegadas.

Es de esperar, la mayoría de las Naciones sería lo suficientementeresponsables como para suscribirse voluntariamente a una regulaciónapropiada del ensamblador de la tecnología. El reglamento no tendríaque ser en la forma de una prohibición de montadores pero tendríaque limitar temporalmente pero efectivamente los usos deensambladores, y tendría que ser acoplados a un exhaustivo programade vigilancia. Algunas naciones, sin embargo, pueden negarse afirmar. Dichas naciones primero sería presionados a unirse a lacoalición. Si fallan todos los intentos de persuasión, la fuerza ola amenaza de la fuerza tendría que ser utilizado para hacerlesfirmar.

Un ataque preventivo sobre una nación soberana no es una medida quese pueda tomar a la ligera, pero en el caso extremo que hemos

esbozado - donde una inacción haría con alta probabilidad deconducir a una catástrofe existencial - es una responsabilidad queno debe derogarse. Cualquier prohibición moral no es normalmentecontra la violación de la soberanía nacional es reemplazado en estecaso por la necesidad de evitar la destrucción de la humanidad.Incluso si el país en cuestión aún no ha iniciado la violenciaabierta, la mera decisión de seguir adelante con el desarrollo delas tecnologías peligrosas en la ausencia de una regulaciónsuficiente debe ser interpretada como un acto de agresión, pues poneel resto del resto del mundo en un riesgo aún mayor que la quetendríamos, digamos, encendiendo varios misiles nucleares endirecciones aleatorias.

La intervención deberá ser lo suficientemente decisivas para reducirel riesgo a un nivel aceptable, pero no debe ser mayor que lonecesario para alcanzar este objetivo. Es posible que incluso seproceda a pagar una indemnización a las personas del país infractor,muchos de los cuales tienen poca o ninguna responsabilidad por lasacciones irresponsables de sus dirigentes.

Si bien debemos esperar que nunca se nos ha colocado en unasituación en que la iniciación se hace necesaria la fuerza, escrucial que hagamos espacio en nuestra moral y pensamientoestratégico para esta contingencia. El desarrollo de unreconocimiento generalizado de los aspectos morales de estasituación antes de tiempo es especialmente importante, ya que sin un

cierto grado de apoyo público las democracias se encuentran difícilactuar decisivamente antes ha habido alguna

22

demostración visible de lo que está en juego. Esperando que taldemostración es decididamente


26/38

0 no es una opción, porque podría ser el final 2."Ţ'Ţ-'Š•''si una tecnología viable tiene gran potencial comercial, esprobablemente imposible impedir que se está desarrollando. Al menosen el mundo de hoy, con un montón de poderes autónomos yrelativamente limitada de vigilancia, y al menos con las tecnologíasque no se basan en materiales raros o grandes fábricas, seríaextremadamente difícil hacer una prohibición 100% hermético. Paraalgunas tecnologías (es decir, sustancias químicas que destruyen elozono), imperfectamente ejecutables reglamento pueden ser todo loque necesitamos. Pero con otras tecnologías, como nanobotsdestructiva que auto-replicarse en el ambiente natural, incluso unasola infracción podría ser terminal. La limitada aplicabilidad deprohibiciones tecnológico restringe el conjunto de políticas viablesa partir de la cual podemos elegir.

Lo que hacemos tiene el poder de afectar (en qué medida depende decómo definimos " nosotros" ) es la tasa de desarrollo de diversas

tecnologías y potencialmente viable la secuencia en la que lastecnologías son desarrolladas e implementadas. Nuestra atención debecentrarse en lo que quiero llamar desarrollo tecnológicodiferencial: tratar de retardar la aplicación de tecnologíaspeligrosas y acelerar la aplicación de tecnologías beneficiosas,especialmente aquellas que atenuar los riesgos planteados por otrastecnologías. En el caso de la nanotecnología, la secuencia seríadeseable que se despliegan sistemas de defensa antes de que sedisponga de las capacidades ofensivas para muchos poderesindependientes; por una vez un secreto o una tecnología escompartido por muchos, resulta extremadamente difícil prevenir unamayor proliferación. En el caso de la biotecnología, debemos tratarde fomentar la investigación en vacunas, anti-bacterianas y drogas

anti-virales, equipo de protección, sensores y diagnóstico y parademorar lo más posible el desarrollo (y la proliferación de agentesde guerra biológica y sus vectores. Los acontecimientos que avanzanla ofensiva y defensiva igualmente son neutrales desde el punto devista de la seguridad, a menos que se haga por los países nosidentificamos como responsable, en cuyo caso son ventajosas en lamedida en que aumentar nuestra superioridad tecnológica sobrenuestros enemigos potenciales. Tales acontecimientos " neutrales"también puede ser útil para reducir la amenaza de los peligrosnaturales y que por supuesto también tiene beneficios que no estándirectamente relacionadas con la seguridad mundial.

Algunas tecnologías parecen ser especialmente digno de promoción

porque pueden ayudar a reducir una amplia gama de amenazas.Superintelligence es uno de estos. Aunque tiene sus propios peligros(expuesto en las secciones anteriores), estos son los peligros quetendremos que afrontar en algún momento, no importa qué. Peroconseguir superintelligence temprano es deseable, porque ayudaría adisminuir otros riesgos. Un superintelligence podría asesorarnossobre política.

20 La complejidad de formular estrategias sobre la mejor forma deprepararse para la nanotecnología será aún mayor si tomamos encuenta las posibles consecuencias de memetic defender distintas


27/38

posiciones en diversas ocasiones. Para algunas otras reflexionessobre la gestión de los riesgos de la nanotecnología, consulte[23,25,26,41,96-99].

23

Superintelligence haría la curva de progreso de la nanotecnologíamás empinado, acortando el período de vulnerabilidad entre eldesarrollo del peligroso nanoreplicators y el despliegue de defensasadecuadas. Por el contrario, obtener la nanotecnología antessuperintelligence poco haría para disminuir los riesgos desuperintelligence. La principal excepción a esto es posible sipensamos que es importante que pongamos a través superintelligencecargar en lugar de a través de la inteligencia artificial.La nanotecnología facilitaría enormemente carga [39].

Otras tecnologías que tienen una amplia gama de factores dereducción del riesgo potencial incluyen aumento de inteligencia,tecnología de la información y vigilancia. Estos pueden hacernos másinteligentes de forma individual y colectiva, y puede hacer que seamás factible aplicar la necesaria regulación. Un fuerte caso primafacie existe por tanto para perseguir estas tecnologías como1 vigorosamente como posiblemente 2e.

Como se ha mencionado, también podemos identificar losacontecimientos fuera de la tecnología que son beneficiosos en casitodos los escenarios. La paz y la cooperación internacional sonobviamente2 metas dignas, como es el cultivo de las tradiciones que ayudan a

las democracias pros 2 per.Ţ™˜''˜ ™'Š-oe ''¢ 'ŢţOEŢ oe™ŢOE''OEŢ¡'oeŢ-'Š• ''oe"Oe algunos de los riesgos existencialesmenor puede contrarrestarse bastante barato. Por ejemplo, existenorganizaciones que se dedican a la cartografía potencialmenteamenazante objetos cercanos a la Tierra (p.ej.NASA' s del programa de seguimiento de asteroides cercanos a latierra, y la Fundación de la Guardia espacial).Estas podrían ser aportando fondos adicionales. Para reducir laprobabilidad de un desastre " La Física" , un vigilante públicopodría ser nombrado con autoridad a la Comisión avanzar peer-reviewde experimentos potencialmente peligrosos. Esto es lo que

actualmente se realiza sobre una base ad hoc y a menudo en unamanera que depende de la integridad de los investigadores, quienestienen un interés personal en los experimentos de ir adelante.La existencial de riesgos naturales o pandemias diseñadasgenéticamente se reduciría en la misma medida que ayudaría aprevenir y contener las epidemias más limitado. Así, los esfuerzosen la lucha contra el terrorismo, la defensa civil, la vigilanciaepidemiológica y la presentación de informes, la elaboración y elalmacenamiento antídotos, ensayar los procedimientos de cuarentenade emergencia, etc., podrían intensificarse. Aun haciendoabstracción de los riesgos existenciales,


28/38


29/38

En el mejor de los casos, esta es una regla del pulgar, unasugerencia de prima facie, más que un principio de validez absoluta,ya que es evidente que existen otros objetivos morales terminal queprevenir un desastre global. Su utilidad consiste en ayudarnos aconseguir nuestras prioridades directamente.24 acción moral está siempre en riesgo para difundir su eficacia enproyectos más que sentirse bien en el trabajo serio que tiene lamejor oportunidad de arreglar el peor de los males. La hendiduraentre la sensación de buenos proyectos y de lo que realmente es laque tiene el mayor potencial para el bien que es probable que seaespecialmente importante en lo que respecta a riesgo existencial.Dado que el objetivo es algo abstracto y desde

23 riesgos existenciales esto fue escrito antes de la tragedia del11 de septiembre. Desde entonces, los prioratos de defensaestadounidense han desplazado en el sentido que aquí se defienden.Creo que los cambios son aún más conveniente.24 Véase, por ejemplo, [101] y sus referencias.

25

5 don' t actualmente causan sufrimiento en cualquier ser vivo creat2 ura , hay menos de sentir un buen dividendo a ser derivado deesfuerzos que buscan reducirlos. Esto sugiere un derivado delproyecto moral, es decir, para reformar la percepción moral populara fin de dar más crédito y aprobación social a aquellos que dedicansu tiempo y sus recursos para que se beneficien de la humanidad através de la seguridad global en comparación con otras institucionesfilantrópicas.

Maxipok satisficing, una especie de regla, es diferente de Maximin(" Elegir la acción6 que tiene el mejor resultado del peor caso." (2) . Ya que nopodemos eliminar totalmente los riesgos existenciales (en cualquiermomento podríamos ser enviado al basurero de la historia cósmica porel avance de la parte delantera de una transición de fase de vacíoprovocado en una remota galaxia a millones de años atrás) usandomaximin en el contexto actual tiene la consecuencia de quedeberíamos elegir la ley que tiene los mayores beneficios en elsupuesto de extinción inminente. En otras palabras, maximin implicaque todos deberíamos comenzar juerga como si no hubiera mañana.Mientras que la opción es indiscutiblemente atractiva, parece que lomejor es reconocer que no sólo podría ser una mañana, especialmente

si jugamos nuestras cartas a la derecha.

OE"-˜ •Ţ-Ţ-OEI' m agradece los comentarios a Curt Adams, Amara Angélica, BrianAtkins, Milán Cirkovic, Douglas Chamberlain, Robert A. Freitas Jr.,Mark Gubrud, Robin Hanson, Barbara Lamar, John Leslie, Mike Treder,Ken Olum, Robert Pisani, varios árbitros anónimos, y a la audienciaen un SIG reunión en el Instituto de Prospectiva' s altos asociadosreuniendo, en abril de 2001, Palo Alto, donde una versión anteriorde este documento fue presentado. El papel también se ha beneficiado


30/38

de las discusiones con Michaela Fistioc, Bill Joy, John Oh, PatParker, Keith DeRose, y Peter Singer.

™™Ţ-'¡ 'Ţ ˜ţ•'-Ţ ˜ Š-•ţ ŢŸ˜'˜-Š"¢ ''-™Ţ' en este apéndice se presenta ¿por qué existe el riesgo de quepodamos terminar en un quejido evolutiva.Los siguientes once enlaces cadena de razonamiento no pretende seruna rigurosa prueba de ningún tipo, sino más bien algo así como unasugestiva narración literaria menos adornos.(Para una discusión más completa de algunas de estas ideas, vea[61].)

25 Una excepción a esto es si pensamos que gran parte de lo que esposible y deseable sobre un futuro posthuman es que contiene unagran proporción de las personas que están vivos en la actualidad. Sieste punto de vista entonces la actual tasa de mortalidad global de150.000 personas/día es un aspecto de un continuo, potencialmenteexistencial, desastre (un chillido) que está causando grandessufrimientos humanos.26 Siguiente John Rawls [102], el término " maximin" también se

utilice en un sentido diferente en economía del bienestar, paradenotar el principio (dado que algunas importantes limitaciones)deberíamos optar por el Estado que optimiza la expectativa de losmenos favorecidos de las clases. Esta versión del principio no esnecesariamente afectados por las observaciones que siguen.

26

1. Aunque es fácil pensar en la evolución como líder desde las más

simples hasta las más complejas formas de vida, no deberíamos asumenque esto es siempre así. Es cierto que aquí en la tierra, simple dereplicadores han evolucionado a seres humanos (entre otras cosas),pero debido a un efecto de selección de observación el valorprobatorio de este único punto de datos es muy limitado (más sobreesto en la sección sobre la estimación de la probabilidad de riesgosexistenciales).2. Nosotros don' t ver actualmente mucho el desarrollo evolutivo dela especie humana.Esto es porque la evolución biológica funciona en una escala detiempo de muchas generaciones, no porque doesn' t ocurren más [103].3. La evolución humana biológica es lento debido principalmente a lalentitud de la reproducción humana (con un mínimo desfase

generacional de alrededor de una década y media).4. Las cargas y las inteligencias de la máquina puede reproducirprácticamente de manera instantánea, facilitaba los recursos estándisponibles. Además, si pueden predecir algunos aspectos de suevolución, pueden modificar en consecuencia de inmediato en lugar deesperar a ser outcompeted. Estos dos factores pueden llevar a undesarrollo evolutivo mucho más rápido en un mundo posthuman.5. Las actividades y formas de ser a la que asignamos valor puede nocoincidir con las actividades que tienen mayor valor económico en elmundo posthuman.


31/38

Los agentes que decidan dedicar parte de sus recursos a(improductiva o menos productivo óptimamente) " aficiones" sería unadesventaja competitiva y, por lo tanto corren el riesgo de seroutcompeted. (Entonces, ¿cómo podría desempeñar evolucionar en sereshumanos y otros primates? Presumiblemente porque era adaptativa ypor lo tanto "productivo" en el sentido de la palabra utilizadaaquí. Ponemos un valor en el juego.Pero el peligro consiste en que no hay ninguna garantía de que lasactividades que son adaptables en el futuro serán aquellas que nosgustaría consideran actualmente como valioso - el adaptiveactividades del futuro incluso puede no estar asociada con ningúnconocimiento.) 6. Debemos distinguir entre dos sentidos de "outcompeted" . En el primer sentido, un tipo outcompeted outcompetedes sólo en un sentido relativo: los recursos que posee constituyeuna menor y menor fracción del total de recursos colonizados amedida que pasa el tiempo. En el segundo sentido, un tipooutcompeted' s posesiones disminución en términos absolutos, de modoque el tipo finalmente llega a extinguirse.7. Si los derechos de propiedad eran casi perfectamente ejecutada(más las distancias cósmicas, que parece difícil de hacer), entonces

la "aficionados" (esos tipos que dedicar parte de sus recursos aactividades que son improductivas) sería outcompeted sólo en elprimer sentido. Dependiendo de los detalles, esto puede o nocalificar como un quejido. Si el potencial perdido (debido a lacreciente preponderancia de los tipos que nosotros don' t consideranvalioso) fueron lo suficientemente grande, sería un quejido.

27

8. Sin casi perfecta observancia de los derechos de propiedad,habría que temer que los aficionados habría extinguido porque sonmenos eficientes competidores por el mismo nicho ecológico que lostipos que don' t gastar cualquiera de sus recursos en actividades depasatiempo.9. La única manera de evitar este resultado puede ser reemplazar laevolución natural con la evolución dirigida, es decir, modelando laspresiones de selección social, de modo que favorecen el tipo deaficionado (mediante, por ejemplo, gravar los no aficionados)[19,104]. Esto podría hacer que el aficionado tipo competitivo.10. La evolución dirigida, sin embargo, requiere la coordinación. Noes bueno si algunas sociedades decidir a favor de sus aficionados sihay otras sociedades que, en lugar de decidir para maximizar su

productividad al no gastar nada en la subvención de los aficionados.Para ésta podría eventualmente medrar mejor la antigua. Por lotanto, la única forma de que la evolución dirigida podría evitar loque de otro modo sería un quejido evolutivo puede ser fatal si no seencuentra en el nivel más alto de organización un solo agenteindependiente. Podemos llamar a dicha organización un singleton.11. Un singleton no necesita ser un monolito. Puede contener dentrode sí una muy diversa ecología independiente de grupos e individuos.Un singleton por ejemplo podría ser un gobierno mundial democráticoo un simpático superintelligence [35].


32/38

Sin embargo, si un singleton finalmente formará es una preguntaabierta. Si un singleton no está formado, y si el paisaje de fitnessde la evolución futura del doesn' t favor disposiciones parainvolucrarse en actividades encontramos valiosa, entonces un quejidoevolutivo puede ser el resultado.

Ţ-OEŢoe ŢŢ' 1. Hanson, R. (1995). Podría guardar juego ciencia? Fomentando unconsenso sincero.La epistemología social, 9:1, 3-33.2. Tickner, J. et al. (2000). El principio de precaución. URL:Http://www.biotech- info.net/handbook.pdf.3. Foster, K.R. et al. (2000). La ciencia y el principio deprecaución. Science, 288, 979- 981. URL: http://www.biotech-info.net/science_and_PP.html.4. Lewis, D. (1986). Documentos filosóficos (Vol. 2). Nueva York:Oxford University Press.5. Lewis, D. (1994). Humean Supervenience depurado. Mente, 103(412),473-490.

28

6. Bostrom, N. (1999). Una teoría Subjectivist de azar objetivo, laSociedad Británica para la filosofía de la ciencia, Conferencia,julio 8-9, Nottingham, Reino Unido7. Jeffrey, R. (1965). La lógica de la decisión: McGraw-Hill.8. Kennedy, R. (1968). 13 días. Londres: Macmillan.9. Leslie, J. (1996). El fin del mundo: la ciencia y la ética de la

extinción del ser humano.Londres: Routledge.10. Putnam, H. (1979). El lugar de los hechos en un mundo devalores. En D. Huff & O. Prewett (Eds.), la naturaleza deluniverso físico (págs. 113-140). Nueva York: John Wiley.11. Kubrick, S. (1964). Dr. Strangelove o cómo aprendí a dejar depreocuparse y amar la bomba: Columbia/Tristar Studios.12. Shute, N. (1989). En la playa: Ballentine libros.13. Kaul, I. (1999). Los bienes públicos mundiales: OxfordUniversity Press.14. Feldman, A. (1980). Economía del bienestar y la teoría de laelección social. Boston: Martinus Nijhoff Publishing.15. Caplin, A. & Leahy, J. (2000). La tasa social de descuento.

Oficina Nacional de Investigación Económica, documento de trabajo7983.16. Schelling, T.C. (2000). Descuento intergeneracional einternacional. Análisis de riesgo, 20(6), 833-837.17. Earman, J. (1995). Bangs, cruje, Whimpers y gritos:singularidades y Acausalities en Spacetimes relativista: OxfordUniversity Press.18. Morgan, M.G. (2000). Clasificar los riesgos para laclasificación del riesgo. Análisis de riesgo, 20(1), 49- 58.19. Bostrom, N. et al. (1999). La Transhumana FAQ. URL:http://www.transhumanist.org.


33/38

20. Powell, C. (2000). 20 formas en que el mundo podría terminar.Descubrir, 21(10). URL:http://www.discover.com/oct_00/featworld.html.

29

21. Alegría, B. (2000). ¿Por qué el futuro no nos necesita. Wired,8.04. URL:http://www.wired.com/wired/archive/8.04/joy_pr.html.22. Drexler, K.E. (1992). Nanosistemas. Nueva York: John Wiley &Sons, Inc.23. Drexler, K.E. (1985). Los motores de la Creación: La próxima erade la nanotecnología.Londres: sucesivamente Break. URL:http://www.foresight.org/EOC/index.html.24. Merkle, R. et al. (1991). Los estudios teóricos de una

herramienta de abstracción de hidrógeno para la nanotecnología. Lananotecnología, 2, 187-195.25. Freitas (Jr.), R.A. (2000). Algunos límites a nivel mundial porBiovorous Ecophagy Nanoreplicators, con recomendaciones sobrepolíticas públicas. Preimpresión Zyvex, abril de 2000. URL:http://www.foresight.org/NanoRev/Ecophagy.html.26. Gubrud, M. (2000). La nanotecnología y la seguridadinternacional, la quinta conferencia de prospectiva sobre lananotecnología molecular. URL:http://www.foresight.org/Conferences/MNT05/Papers/Gubrud/index.html.27. Bostrom, N. (2001). Está viviendo en una simulación? Documentode trabajo. URL:http://www.simulation-argument.com.

28. Moravec, H. (1989). Presente a los niños. Harvard: HarvardUniversity Press.29. Moravec, H. (1999). Robot: Máquina a la mera mente trascendente.Nueva York: Oxford University Press.30. Vinge, V. (1993). La próxima singularidad tecnológica. Revisiónde toda la tierra, cuestión de invierno.31. Bostrom, N. (1998). ¿Cuánto tiempo antes de Superintelligence?Revista Internacional de los estudios sobre el futuro, 2. URL:http://www.nickbostrom.com/superintelligence.html.32. Moravec, H. (1998). Cuando el hardware informático harácoincidir el cerebro humano? Oficial de transhumanismo, 1. URL:http://www.transhumanist.com/volume1/moravec.htm.33. Kurzweil, R. (1999). La edad de las máquinas espirituales:

Cuando los equipos que superan la inteligencia humana. Nueva York:Viking.

30

34. Hanson, R. et al. (1998). Una discusión crítica de Vingesingularidad del concepto.


34/38

Extropy Online. URL: http://www.extropy.org/eo/articles/vi.html.35. Yudkowsky, E. (2001). Amistoso AI 0.9. URL:http://singinst.org/CaTAI/friendly/contents.html.36. Consejo Naci

1c.riesgos Existenciales-Analisis de Escenarios Extincion Humana y Peligros

Documents

Transcript of 1c.riesgos Existenciales-Analisis de Escenarios Extincion Humana y Peligros