Resumo do livro – Avoiding the Worst by Tobias Baumann

Resumo feito por: Luciano Carlos Cunha

INTRODUÇÃO

Assim como as gerações passadas falharam em perceber o quão erradas estavam as suas atitudes, podemos falhar em perceber uma catástrofe moral* devido às nossas limitações. Um exemplo é a exploração animal.

*Catástrofe moral é  um cenário muito negativo que decorre de decisões de agentes.

Será que no futuro podem acontecer catástrofes morais piores? O que fazer para prevenir que ocorram? Essas questões raramente são discutidas.

Ponto de partida: devemos usar nossos recursos limitados para ajudar os outros da maneira mais eficiente possível. Segundo essa perspectiva, algumas das questões mais importantes são o tamanho e a probabilidade de catástrofes morais futuras.

Se a humanidade tiver tecnologia avançada à disposição, mas não ocorrer progresso moral suficiente para usá-la de maneira responsável, então é grande o risco de causarmos níveis de sofrimento sem precedentes na história. Se o dano ocorrer, poderá ser tão astronômico que ainda vale a pena tentar evitá-lo, mesmo que não saibamos exatamente qual a probabilidade de ocorrer.

Temos um desejo de prevenir sofrimento no momento atual. Mas, isso não deveria nos prevenir de pensar criticamente sobre o que teria o melhor impacto total.

Princípios subjacentes na obra:

Imparcialidade – iguais quantias de sofrimento importam o mesmo em qualquer ser senciente.

Neutralidade temporal – iguais quantias de sofrimento importam o mesmo, independentemente de quando ocorrerem. (Então, o fato de que certo sofrimento poderia ocorrer em um futuro distante não enfraquece as razões para evitá-lo, se for possível)

PARTE 1 – O QUE SÃO RISCOS-S

O QUE SÃO RISCOS-S

Tecnologias e impacto astronômico

Novas tecnologias oferecem oportunidades de melhorias, mas também colocam sérios riscos, especialmente quando combinadas com progresso moral insuficiente. Por exemplo, a industrialização aumentou consideravelmente o consumo de animais.

Para que tais cenários ocorram não é necessário ter a intenção de causar o sofrimento. Basta não se importar com as vítimas. 

Se não houver extinção ou colapso civilizacional, é provável que a tecnologia continue aumentando o poder da  humanidade, talvez permitindo colonizar outros planetas e até mesmo bilhões de outras galáxias.

Assim, as novas tecnologias, junto com a indiferença, podem conduzir a uma catástrofe moral de proporções colossais.

O conceito de riscos-s

Riscos-s: riscos que ocorram eventos que resultem em sofrimento de tamanho gigantesco, que excede o sofrimento existente na Terra até agora.

Riscos-s podem ser severos em maior ou menor grau.

Riscos-s se baseiam na quantidade total de sofrimento, e não na média. Isto é, um cenário com uma população enorme pode ser um risco-s mesmo se apenas  uma pequena porcentagem dos indivíduos desse cenário estiver sofrendo (desde que o sofrimento total seja suficientemente grande) 

Riscos-s, distopia e riscos-x

Riscos-s é algo mais específico do que qualquer cenário muito ruim. Precisa conter quantidades astronômicas de sofrimento.

Distopia diz respeito a qualquer sociedade futura hipotética que é altamente indesejável. Riscos-s são, então, uma classe de cenários distópicos. Mas, nem todo cenário distópico é um risco-s, pois nem todos envolvem sofrimento em escala astronômica, e alguns podem não envolver sofrimento (por exemplo, podem envolver apenas lavagem cerebral).

Riscos-x (riscos existenciais) são um resultado que, ou aniquilaria a vida terrestre inteligente permanentemente, ou pelo menos, diminuiria permanentemente e drasticamente o seu potencial.

Riscos-s e riscos-x são sobre o futuro em longo prazo e impactos astronômicos. Entretanto, riscos-x são sobre impedir o potencial da humanidade, enquanto riscos-s são sobre cenários com quantidades astronômicas de sofrimento. 

Por vezes há sobreposição entre riscos-s e riscos-x (por exemplo, um ditador mundial), mas riscos-s não são uma subclasse dos riscos-x, pois há riscos-s que não são riscos-x. Certas formas de sofrimento, especialmente as que afetam os não humanos, podem até ser úteis para a civilização humana. Analogamente, nem todo risco-x é um risco-s (por exemplo, se humanos são extintos sem sofrerem).

Riscos-s, inteligência artificial e senciência artificial

Quais tecnologias têm mais potencial de terem um impacto astronômico? Uma possível tecnologia candidata é a inteligência artificial (IA). Podem gerar riscos-s se suas capacidades crescentes não forem administradas prudentemente. Entretanto, a IA também tem potencial para prevenir riscos-s decorrentes de outras fontes. Sistemas de IA cada vez mais potentes podem ter um papel crucial em determinar como será o futuro.

Outra candidata é a possibilidade de entidades artificiais virem a desenvolver senciência. Isso poderia ocorrer por meio de modificações digitais nos corpos biológicos, uploading de mentes em “emulações totais de cérebros” ou em simulações sencientes dentro de um programa de computador.

Considere o seguinte exemplo. Imagine que um cérebro terá seus neurônios biológicos substituídos por neurônios de outro material gradualmente. Depois de ter todos os neurônios substituídos, ainda será senciente? Se não for, em que ponto deixa de ser senciente? 

Mesmo se a senciência artificial for possível, não é garantido que chegarão a existir. Mas, se vierem a existir, o seu bem conta tanto quanto o de qualquer outro ser senciente. Dar um peso menor seria uma ocorrência de carbonismo, uma forma de substratismo (por analogia ao antropocentrismo, que é uma forma de especismo).

Seres sencientes digitais poderão não ter rostos, movimentos e nem gritar. Portanto, poderá ser difícil desenvolver empatia por eles. Também não há ainda uma maneira de detectar se são sencientes. Portanto, podemos falhar em reconhecer a senciência deles, caso eles forem.

Assim, se seres sencientes digitais chegarem a existir, é provável que os humanos não se importem com eles, assim como acontece em relação aos animais não humanos (ou talvez até pior, pois no caso dos animais não humanos já é muito similar aos humanos e ainda assim a maioria não se importa).

Além disso, é possível que quantidades enormes de seres sencientes digitais cheguem a existir no futuro. Uma razão para isso é que podem envolver muito menos custo em serem criados do que seres sencientes biológicos (assim como qualquer um pode copiar programas de computador à vontade hoje).

Assim, a combinação do potencial para haver números vastíssimos de seres sencientes digitais combinado com a falta de consideração coloca um sério risco-s (exatamente como ocorre na pecuária, ainda mais por ser ambos combinados com incentivos econômicos).

TIPOS DE RISCOS-S

São classificados de acordo com a maneira como surgem: incidentais, agenciais e naturais.

É difícil estimar a probabilidade de o futuro ser dessa ou daquela maneira. Por exemplo, os medievais não poderiam imaginar que surgiria a bomba atômica. Então, os exemplos a seguir são palpites bem informados, que não necessariamente são os riscos-s com maior probabilidade de ocorrer. Além disso, todos esses exemplos podem ser ainda uma pequena fração dos riscos-s, se comparados aos riscos-s ainda desconhecidos.

Riscos-s podem surgir a partir de um amplo leque de cenários. Portanto, temos de tomar cuidado com a heurística de disponibilidade, pois pode fazer-nos pensar equivocadamente que os exemplos de riscos-s que lembramos com mais facilidade serão necessariamente os mais prováveis de ocorrer.

Outra dificuldade é que, como cenários desses tipos nunca ocorreram, não há “feedback loops” claros, e então não é possível fazer uma análise convencional baseada em evidências.

Riscos-s incidentais

Ocorrem quando maneiras eficientes de alcançar certo objetivo criam bastante sofrimento, sem ninguém ativamente almejar o sofrimento por si. Os agentes podem ser indiferentes ao sofrimento, ou até preferirem uma alternativa sem sofrimento, mas não estarem dispostos a pagar os custos.

Os riscos-s incidentais podem ser subdivididos de acordo com a motivação:

– Em um certo tipo de cenário, incentivos econômicos e as forças do mercado causam uma vasta quantia de sofrimento porque o sofrimento é um efeito colateral da alta produtividade (um exemplo é a pecuária industrial, e no futuro uma dinâmica similar pode resultar em cenários similares mas em uma escala muito maior).

– Sofrimento que é instrumental para ganho de informações. Um exemplo é a experimentação animal. No futuro, cenários similares, mas em escala muito maior, podem ocorrer, por exemplo, por causa da possibilidade da senciência digital. Por exemplo, uma IA avançada poderia criar uma simulação senciente para obter conhecimento do que os seres sencientes farão.

– Sofrimento que é instrumental a propósitos de entretenimento. Por exemplo, assim como pessoas assistiam pessoas sendo comidas por leões em Roma, e hoje assistem a touradas, pode ser que no futuro sejam criados seres sencientes em meios digitais para propósitos de entretenimento similares. 

Riscos-s agenciais

Ocorrem quando o agente deseja causar o dano.

Um exemplo são os sádicos. E as tecnologias futuras podem multiplicar o potencial que eles têm de causar danos.

Outro exemplo é quando são cultivados sentimentos de ódio (por exemplo, derivados do tribalismo, que pode resultar em ódio contra quem pertence a certa etnia, religião, ideologia política etc).

Um terceiro exemplo é o retributivismo (exemplos históricos são as várias formas de punição que causavam sofrimento extremo).

Um fator chave em relação os riscos-s agenciais é presença de traços malevolentes (narcisismo, psicopatia e sadismo)) em indivíduos poderosos.

Riscos-s naturais

São os riscos de sofrimento que surgem sem ação de agentes. Por exemplo, a situação dos animais na natureza em decorrência dos processos naturais já é terrivelmente ruim. Esses animais são a vasta maioria dos seres sencientes que vivem na Terra.

Riscos-s naturais são os riscos de que isso se expanda em uma escala astronômica. Por exemplo, se o cenáro for assim em outros planetas. Agora, se forem os humanos que expandirem isso em escala astronômica (por exemplo, por meio da terraformação), já seria um risco-s incidental.

Outras classificações

A classificação acima é feita com base em como o risco-s pode surgir. Outras formas de classificá-los são:

Riscos-s conhecidos e desconhecidos – São conhecidos quando conseguimos imaginar atualmente, e desconhecidos quando não conseguimos (como os medievais não conseguiam imaginar a bomba atômica, por exemplo). 

Riscos-s desconhecidos incidentais: quando mecanismos não conhecidos conduzirão        a vastas quantias de sofrimento incidental

Riscos-s desconhecidos agenciais: pode ser que os agentes venham a ter no futuro razões para causar dano, que ainda não conhecem agora

Riscos-s desconhecidos naturais: pode ser que o universo já contenha muito mais sofrimento do que se imagina.

Classificá-los de acordo com o tipo de ser senciente afetado (humano ou não humano, orgânico ou não orgânico)

Classificá-los em influenciáveis ou não influenciáveis (isto é, se é possível fazer algo para preveni-los ou minimizá-los). 

PARTE 2 – DEVEMOS FOCAR NOS RISCOS-S?

INTRODUÇÃO

Uma medida da seriedade de um risco é o seu valor esperado (VE), que é obtido multiplicando-se o quão ruim seria o resultado pela sua probabilidade de ocorrer.

Riscos-s, por definição, são muitas ordens de magnitude superior ao sofrimento que existe atualmente (mesmo comparando, por exemplo, com a exploração animal e o sofrimento dos animais natureza). Assim, dado o seu tamanho, o seu VE é enorme, mesmo que pensemos que a probabilidade de que venham a ocorrer seja pequena. Para alguém negar isso, teria que ter bastante confiança de que eles não podem ocorrer. Por exemplo, mesmo que as chances fossem de 1 em 1000, o seu VE seria ainda maior do que qualquer outra fonte de sofrimento existente atualmente.

Teses que irá defender:

Foco no longo prazo: devemos priorizar focar melhorar o futuro em longo prazo, mais do que tentar ajudar os que já existem ou que existirão no futuro próximo.

Foco no sofrimento: devemos priorizar evitar sofrimento, e não outras metas.

Foco nos piores casos: a maneira mais eficiente de reduzir o sofrimento esperado em longo prazo é focar em prevenir cenários que contém quantidades gigantescas de sofrimento.

Em resumo, a tese geral é a de que, se focamos no longo prazo e em reduzir o que há de negativo, então, devemos prorizar evitar riscos-s.

Importante: aceitar ou rejeitar esses três focos não é uma questão de tudo ou nada, mas gradual. Então, é uma questão sobre o quanto aceitamos as duas primeiras teses e o quanto aceitamos que elas implicam priorizar riscos-s. 

DEVEMOS FOCAR NO FUTURO EM LONGO PRAZO?

Imparcialidade temporal e longoprazismo

A maioria das pessoas que quer reduzir sofrimento pensa nos indivíduos vivos atualmente (uma das razões para isso é que é difícil ter empatia com o sofrimento de indivíduos que viverão em um futuro distante).

Entretanto, de uma perspectiva imparcial, a época na qual alguém nasce não deveria influenciar no peso que o seu bem deveria receber.

Portanto, dar uma consideração menor a prejuízos similares dependendo da época em que alguém existirá é análogo a uma discriminação baseada no lugar em que vive, na espécie, cor da pele, gênero etc.

A imparcialidade temporal é diferente do foco prático no longo prazo.

Imparcialidade temporal: iguais quantidades de sofrimento importam igual, independentemente da época em que são experimentados.

Foco prático no longo prazo: consequências de longo prazo de nossas decisões deveriam guiar nossas decisões. 

A imparcialidade temporal dá suporte ao, (mas não implica necessariamente o) foco prático no longo prazo. Isso é assim porque o foco prático no longo prazo também depende do número de seres sencientes que existirá no futuro e do quanto poderemos ajudá-los.

O futuro pode ser vasto [diacronicamente e sincronicamente]

O principal argumento a favor do foco prático no longo prazo é que o futuro tem o potencial de ter um número vastíssimo de seres sencientes. Então, a menos que haja uma extinção em massa da vida senciente, os indivíduos vivos agora ou no futuro próximo são pouquíssimos, em comparação aos que viverão nos próximos séculos, milênios, eras etc.

Além de ser longo, o futuro poderá ser grande no sentido de ter mais seres sencientes a cada geração. Isto é, o futuro conterá mais seres sencientes diacronicamenet (isto é, levando em conta a linha do tempo) e também sincronicamente (isto é, levando em conta cada momento). Por exemplo, a colonização espacial poderia multiplicar em muitas ordens de magnitude a quantidade de seres sencientes em um dado momento.

É claro, isso tudo é incerto. Mas, lembremos de algo análogo ao VE (valor esperado), mostrado acima. Não podemos afirmar que o futuro não será longo, nem grande, e isso é suficiente para se concluir que os seres futuros sobrepassam vastamente os atuais em expectativa (isto é, multplicando sua quantidade pela sua probabilidade de vir a existir).

Em resumo, se devemos ajudar os outros da maneira mais eficiente possível, então devemos fortemente focar em como nossas decisões podem afetar os seres futuros.

Influenciar o futuro em longo prazo é difícil

Algumas objeções ao foco no longo prazo:

(1) Nosso impacto no longo prazo é menos previsível do que no curto prazo. Há uma grande incerteza sobre como será o futuro.

(2) Além disso, a maioria das coisa que podemos esperar afetar agora provavelmente mudará por conta de decisões posteriores de outros agentes.

(3) As pessoas que viverão no futuro provavelmente estarão em melhor posição para resolver os problemas futuros. Por exemplo, poderão saber quais riscos-s são mais sérios e quais as estratégias mais eficazes para prevení-los. Pela mesma razão, temos uma vantagem em termos de conhecimento se focarmos em reduzir sofrimento no presente.

Uma possível resposta a essas três objeções é dizer que, se deixarmos para as gerações futuras decidirem, pode ser tarde demais para impedir os piores cenários.

Além disso, mesmo se as pessoas de futuras gerações estiverem em melhores condições de prevenir os riscos-s, isso não significa que necessariamente desejarão fazê-lo. Então, ainda vale a pena tentar fazer coisas que tentem fazer com que venha a existir tanto a habilidade quanto a vontade de prevenir riscos-s.

Outra resposta é apontar que o número de seres sencientes futuros é tão gigantesco que, mesmo se nossa habilidade de ajudá-los for reduzida em 99% (em comparação à nossa habilidade de ajudar os seres sencientes atuais), o VE ainda indicaria priorizá-los.

Uma objeção a esse raciocínio é apontar que, se o futuro é longo e (ou) grande, então é provável que ele seja resultado das decisões de muitos agentes. Então, a menos que estejamos em uma posição especial, nossa influência pode ser diluída pelas decisões dos muitos agentes futuros. Quanto mais longo e grande o futuro, mais está em jogo, mas também menor a nossa influência. 

Em resumo, a objeção aponta que o fato de o futuro ser longo ou grande não é suficiente para estabelecer que devemos focar no futuro em longo prazo. É preciso mostrar que temos como influenciá-lo significativamente.

Estamos em uma boa posição para influenciar o longo prazo?

Hinge of history hypothesis – Hipótese de que eventos fundamentais (pivotal events) no século XXI poderiam ter uma influência desproporcional no futuro dali para frente (por exemplo , o surgimento de IA mais inteligentes do que humanos). Tais eventos poderiam gerar um lock-in de certos valores e estruturas de poder, resultando em um estado estável que determinaria tudo o que aconteceria dali para frente.

Entretanto, observando a história até agora, parece que as mudanças são graduais, e não, “épocas fundamentais”.

Porém, não precisamos endossar a Hinge of history hypothesis para defender o foco prático no longo prazo. Uma razão para pensar que nossas decisões têm uma grande influência no futuro é simplesmente o fato de que estamos antes no tempo, e nossas decisões influenciam indiretamente tudo dali para frente. Por exemplo, temos como decidir expandir ou não expandir a vida para fora da Terra.

Encontrando um meio termo

O fato de o sofrimento no longo prazo pode ser muitíssimo mais vasto não implica que devemos desconsiderar o sofrimento presente ou no curto prazo. Como seria um meio termo plausível entre as duas metas?

Uma possibilidade seria tentar melhorar as coisas levando em conta, a partir de agora, de 100 a 200 anos, pois isso poderia refletir em melhores resultados no longo prazo dali para frente. Isso quer dizer que devemos aproveitar as oportunidades de baixo custo para apoiar esforços para aliviar o sofrimento presente. Por exemplo, já que muito poucas pessoas estão trabalhando na questão do sofrimento dos animais selvagens, há ainda maneiras relativamente fáceis e baratas de se fazer progresso nessa área (mesmo que seja apenas divulgando a questão ou fazendo pesquisas). E, também ainda valeria a pena tentar acabar com a exploração animal no presente.

DEVEMOS FOCAR EM REDUZIR SOFRIMENTO?

Em que medida devemos priorizar evitar o sofrimento? Isso depende de questões éticas e de julgamentos empíricos sobre a qualidade e quantidade esperada das vidas dos seres futuros:

A parte ética é sobre o peso da meta de evitar o sofrimento em comparação a outras metas. Outras metas em relação ao futuro poderiam ser: garantir a sobrevivência da humanidade, criar seres adicionais com vidas positivas, aumentar o bem-estar dos seres que já estão minimamente bem, e aumentar a probabilidade de um futuro utópico. 

A parte empírica tem a ver com o quanto esperamos que o futuro contenha de sofrimento. Quando mais otimista alguém é em relação ao futuro, mais peso tem que dar a reduzir sofrimento para concluir que deve priorizar reduzir riscos-s. Analogamente, se temos boas razões para acreditar que catástrofes de larga escala tem boas chances de ocorrerem no futuro, então muitas visões em ética podem concluir por priorizar riscos-s, mesmo que sua meta principal não seja reduzir sofrimento.

Uma maneira de medir isso é com NSR x ESR

NSR (normative suffering-to-happiness trade ratio): quanto mais valorizamos evitar sofrimento frente a outras metas, maior o NSR

ESR (expected suffering-to-happiness-ratio): quanto mais achamos que é provável que o futuro seja cheio de sofrimento, maior o ESR.

Quanto maior o produto de NSR X ESR, seja porque focamos em reduzir sofrimento (NSR alto) e/ou somos pessimistas em relação ao futuro (ESR alto), mais focaremos em reduzir riscos-s. 

Éticas focadas no sofrimento

Éticas focadas no sofrimento tem como meta principal reduzir o sofrimento. Essas posições, combinadas com um foco prático no longo prazo, tendem a apoiar o foco em prevenir riscos-s.

Há vários tipos de éticas focadas no sofrimento, cada uma com seus argumentos. Alguns dos principais argumentos são:

(1) Produzir novas vidas cheias de sofrimento é pior do que deixar de produzir novas vidas felizes.

(2) Reduzir sofrimento tem uma urgência que produzir felicidade ou outras metas não têm.

(3) Se tivermos que escolher: (a) ou garantir que, se estivermos em sofrimento extremo, teremos nosso sofrimento aliviado, (b) ou garantir que, se estivermos em felicidade extrema, não a teremos diminuída  – parece que é melhor garantir (a), e isso sugere que prevenir sofrimento é mais urgente do que proporcionar o que é positivo.

Em outras visões não focadas no sofrimento, dependendo do tamanho do peso relativo entre evitar sofrimento e outras metas (como proporcionar felicidade), a balança pode pender para priorizar produzir o que é positivo (se for suficientemente grande para “compensar” o que há de negativo). 

Entretanto, é importante observar que o foco em evitar riscos-s será aceito não somente por visões exclusivamente focadas em reduzir sofrimento. Como vimos, pode ser aceito por visões que dão um peso maior a evitar sofrimento (ainda que mantenham outras metas), E, mesmo as visões que dão peso igual a outras metas (ou mesmo que priorizem outras metas), podem ainda reconhecer que reduzir riscos-s é uma meta importante (e podem até mesmo concluir por priorizá-lo se forem pessimistas em relação ao futuro – pois dessa forma o seu ESR será alto, mesmo que o seu NRS seja menor).

Riscos-s não são extremamente improváveis

Um argumento comum a favor do otimismo em relação ao futuro é a alegação de que a tecnologia tornará fácil alcançar os resultados desejados sem precisar causar sofrimento. Uma vez que as pessoas se preocupam pelo menos um pouco em evitar sofrimento, se o custo de evitar sofrimento for baixo, preferirão assim. Um exemplo é a crença de que a carne celular tornará a exploração animal obsoleta, mesmo que a maioria das pessoas não se preocupem em alto grau com os animais.

Entretanto, esse argumento não se aplica aos riscos-s agenciais. Na verdade, a tecnologia pode aumentar o poder que agentes sádicos tem, de causar sofrimento. Portanto, ainda que a tecnologia possa reduzir os riscos-s incidentais, isso não é suficiente para se concluir que há boas razões para sermos otimistas em relação ao futuro.

Outro argumento a favor do otimismo é a alegação de que há uma tendência em as coisas melhorarem nos últimos séculos: declínio da violência, melhorais na saúde etc. 

Entretanto, esse julgamento só faz sentido de um ponto de vista antropocêntrico, pois, por exemplo, houve um aumento gigantesco do número de animais explorados desde a revolução industrial. Então, não está claro se, no total, o mundo está melhorando ou piorando ao longo do tempo. Por exemplo, levando em conta a exploração animal, tem aumentado muito, sobretudo em relação ao aumento da exploração de animais aquáticos e invertebrados. Por outro lado, em relação aos animais selvagens, é incerto se o impacto da tecnologia mais causa sofrimento ou mais evita sofrimento. Isso não foi estudado em profundidade. Por exemplo, a substituição de áreas verdes por urbanização, ao mesmo tempo que causa sofrimento e mortes aos animais que ali viviam, também previne que uma quantidade gigantesca de animais nasça apenas para sofrer em tais ambientes. Portanto, simplesmente atualmente não se sabe se as coisas estão piorando ou melhorando no total.

Isso não quer dizer que necessariamente temos de ser pessimistas em relação ao futuro. Significa apenas que não há razões para sermos altamente confiantes de que o futuro será positivo. Além disso, a probabilidade dos riscos-s não é muito pequena, por três razões:

(1) Riscos-s podem surgir de muitas maneiras, e é muito difícil prever o futuro. Portanto, a probabilidade de surgirem alguns riscos-s (talvez desconhecidos) não é insignificante

(2) Exceto se ocorrer algum evento de desestabilidade em nível global, é provável que a tecnologia continue a se desenvolver. Também é plausível pensar que aqueles que detêm o poder continuarão a ter uma consideração insuficiente pelos afetados por suas decisões.

(3) Há também precedentes históricos de regresso moral, não apenas de melhorias. Um exemplo foi o facismo/nazismo no século XX. Em relação ao uso de tecnologias, os registros são mistos: de cura de doenças a armas químicas e bombas nucleares. A pecuária industrial multiplicou o sofrimento em níveis gigantescos. Então, não podemos ter certeza de que os desenvolvimentos futuros serão utilizados de maneira benéfica.

Enfatizando: para focar em riscos-s não é necessário ter uma visão pessimista do futuro. É suficiente acreditar que a probabilidade dos riscos-s não é insignificante.

Um foco no sofrimento é, no mínimo, uma perspectiva plausível

Quase todo mundo concorda que, tudo o mais sendo igual, o sofrimento deveria ser evitado. Evitar sofrimento é um forte componente de quase todas as visões morais.

Entretanto, as pessoas possuem prioridades diferentes. Mas, isso é uma razão para se buscar cooperação entre pessoas que endossam diferentes sistemas de valores. Em vez de buscarmos nossas metas, o que pode entrar em conflito com as metas dos outros, temos razões para buscar projetos que são valorizados a partir de várias perspectivas. Já que evitar sofrimento é algo comum em muitos sistemas morais, reduzir riscos-s é um bom candidato a ser um projeto em comum.

DEVEMOS FOCAR NOS PIORES CENÁRIOS?

A combinação do foco no longo prazo e o foco no sofrimento implica tentar reduzir o sofrimento futuro. Um foco nos riscos-s envolve a crença de que a maneira mais eficiente de fazer isso é se preocupar com cenários particularmente ruins. Portanto, um foco nos riscos-s (isto é, foco nos piores casos) é mais específico do que a crença de que devemos reduzir o sofrimento no futuro.

Considere três futuros possíveis:

(A) Um futuro sem sofrimento algum

(B) Um futuro que contém tanto sofrimento quanto agora

(C) Um futuro com um sofrimento astronomicamente maior do que agora

O foco nos piores casos é fundado no argumento de que, em termos do que é pior, a diferença entre C e B é muito maior do que entre B e A, e que então é mais importante prevenir C, mesmo que a probabilidade de C ocorrer seja baixa.

Se a meta de alguém é reduzir sofrimento futuro, e esse alguém rejeita o foco nos piores casos, então precisa acreditar que a maior quantidade de sofrimento esperável ocorrerá em futuros que são ruins, mas não a ponto de serem riscos-s. Nesse caso, faz mais sentido aumentar a probabilidade de conseguir que o sofrimento seja abolido completamente. . 

A distribuição do sofrimento futuro será de cauda pesada?

Por que acreditar que a maior parte do sofrimento esperado no futuro será devido a cenários de piores casos?

Descobriu-se que muitos fenômenos possuem uma distribuição de cauda pesada. Por exemplo, se somarmos todas as mortes por guerras, a maioria delas ocorreu em um pequeno número das piores guerras. O mesmo vale para terremotos: a maioria dos danos ocorreu nos mais extremos. O mesmo pode ocorrer quanto ao sofrimento total esperável no futuro: uma boa porcentagem dele poderá estar concentrada nos riscos-s mais extremos.

É claro, outras formas de distribuição são menos de cauda pesada. Por exemplo, nos EUA, os 1% mais ricos tem muito mais renda do que os outros, mas somando a renda deles não chega a 20% da renda total.

Uma razão para se pensar que o sofrimento futuro será bastante de cauda pesada é que a escala do sofrimento futuro pode variar em muitas ordens de magnitude (por exemplo, devido ao potencial de colonização espacial). Então, teria picos acentuadíssimos.

Importante: o foco nos piores casos é uma questão de grau. Há muitos fenômenos com distribuição de cauda pesada, mas raramente, digamos em termos de 0,1% dos casos mais extremos conterem 99% da distribuição total. Então, faz sentido, por exemplo, focar nos 10% piores resultados, em vez de focar nos piores 0,1%.

Razões para evitar focar estreitamente apenas em poucos cenários

Focar nos piores casos é diferente de focar em alguns poucos piores casos específicos. Isto é, o foco nos piores casos (worst-case focus) é diferente do foco estreito (narrow focus). Mesmo se o sofrimento futuro tiver uma distribuição de cauda pesada, isso não significa que a maior parte do sofrimento futuro esperável venha de poucos casos específicos.

Além disso, mesmo 1% dos riscos-s mais severos podem ainda ocorrer em um número de cenários muito diversos, com fontes de sofrimento muito diversas.

Um foco estreito também é perigoso por conta da incerteza. Mesmo se a maior parte do sofrimento ocorrer devido a um número limitado dos piores casos de todos bem específicos, podemos estar enganados em relação a quais serão esses cenários.

Mesmo se um pequeno número de cenários contiverem uma boa porcentagem do sofrimento esperado total, pode ter um saldo melhor abordar um número maior de riscos. Por exemplo, intervenções contra os piores riscos podem não estar disponíveis, ou não serem mais eficientes do que intervenções mais amplas que poderiam ajudar em um amplo leque de riscos.

Importante: essas observações são quanto ao que as pessoas interessadas em prevenir sofrimento futuro deveriam fazer enquanto grupo. Individualmente, pode fazer sentido alguém se especializar em um leque estreito de riscos, desde que nossos esforços coletivos cubram um leque amplo de riscos.

É claro, também poderia haver uma cauda positiva, que surgiria da oportunidade de a humanidade reduzir, por exemplo, os riscos-s naturais. Então, a distribuição do futuro esperável pode ser de cauda pesada dupla, negativa e positiva. Então, devemos tentar reduzir a cauda negativa e aumentar a positiva. Essa é mais uma razão para se preferir intervenções que cubram muitos tipos de cenários.

VIESES COGNITIVOS

Vieses cognitivos: padrões sistemáticos de raciocínio falho, ou atalhos mentais que confundem nosso julgamento.

Vieses cognitivos que fazem com que as pessoas deem pouca importância aos riscos-s:

Wishful thinking [pensamento desejoso]

Wishful thinking: a tendência de acreditar que aquilo que gostaríamos que fosse verdade é verdade.

Gostaríamos que o futuro fosse maravilhoso. Então, pensar que é possível que seja terrível pode ser perturbador. Pensar em prevenir riscos-s pode não ser inspirador como é pensar em um futuro maravilhoso ou na oportunidade de ajudar os outros agora. Na verdade, pode ser um foco deprimente. Então, pode haver uma tendência às pessoas se afastarem desse tema, especialmente quando elas próprias estão seguras.

Esse viés pode produzir ume negação do sofrimento: não querer saber que ele existe; negar que ele existe; menosprezar a sua gravidade; negar que sejamos responsáveis por fazer algo etc.

Falácia do mundo justo

A maioria das pessoas gosta de pensar que o mundo é justo. Se algo ruim acontece com alguém, as pessoas gostam de pensar que, por alguma razão, foi merecido, pois isso é mais confortável do que pensar que a realidade é cheia de sofrimento completamente sem sentido. Essa falácia geralmente está relacionada ao wishful thinking.

Negligência ao escopo [também conhecida como insensibilidade ao alcance]

Negligência ao escopo: incapacidade de visualizar o tamanho de um problema.

Considerações abstratas sobre o futuro não geram o sentimento que gera uma única vítima identificável. Podemos reconhecer que uma catástrofe de larga escala é muito pior, mas parece impossível verdadeiramente captar o quão ruim é em proporção ao seu tamanho.

Uma vez que os riscos-s são, por definição, enormes, para captarmos a sua escala, precisamos deliberadamente tentar contornar a negligência ao escopo.

Dominância de proporção

A dominância de proporção nos faz sentir mais compelidos a ajudar 10 de 10 indivíduos, do que 10 de 1000, mesmo que o impacto seja exatamente o mesmo.

Isso pode distorcer nos empurrar a sermos contra o foco nos piores casos, pois podemos equivocadamente achar que vale mais a pena ir de 10 casos de sofrimento para 0, do que de 1000 para 990. Há estudos que mostram que quanto maiores os números, menos as pessoas se importam.

Apelo a intuições

Considere princípios como: a estrutura do valor esperado; a ideia de que ajudar seres futuros é tão importante quanto ajudar os que já existem e; a ideia de que o pertencimento a certa espécie é eticamente irrelevante. Mesmo a maioria das pessoas que aceita esses princípios não os internalizou e, portanto, tais princípios tem implicações que parecem contraintuitivas (como priorizar evitar os cenários de piores casos). Portanto, confiar nas intuições pode impedir de sermos eficientes em ajudar.

Digitalização de crenças

Digitalização de crenças: é a tendência de pensar em probabilidades que são, ou 0, ou 1, em vez de levar em conta a incerteza.

Por exemplo, quando uma hipótese é improvável, as pessoas tendem a pensar que as chances de ela ocorrer são zero, mesmo concordando que ela não é insignificante. Analogamente, uma hipótese plausível é normalmente tomada como garantida, mesmo quando há incerteza considerável.

Então, alguém poderia descartar a possibilidade de certo risco-s por pensar que sua probabilidade de ocorrer é zero. Como vimos antes, pela estrutura VE, um cenário de baixa probabilidade pode justificar ainda que seja nosso foco, pois isso teria de ser multiplicado pela sua magnitude.

A digitalização de crenças também pode fazer-nos focar em um leque muito estreito de riscos-s, pois podemos estar excessivamente confiantes de que eles ocorrerão (é mais fácil isso ocorrer se há certos riscos ou cenários que nos chamam mais atenção).

Viés de confirmação

Se temos muita confiança em nossas hipóteses, falhamos em perceber nossa incerteza em relação ao futuro. Um dos vieses que mais contribui para isso é o viés de confirmação:

Viés de confirmação: a tendência em buscar e favorecer as informações que confirmam nossas crenças, e ignorar informações contrárias a elas. 

Esse viés pode fazer-nos fixar em priorizar certa causa ou estratégia e comprometer nossa habilidade de avaliar objetivamente outras causas e estratégias. 

Por exemplo, os ativistas da causa animal normalmente negligenciam o sofrimento dos animais selvagens em decorrência de processos naturais, e também o futuro em longo prazo (e, com isso, desconsideram a maior parte do sofrimento). 

Não há razão para se pensar que já descobrimos todas as considerações relevantes sobre as melhores prioridades e estratégias para reduzir sofrimento. Por isso, é importante manter um pensamento de mente aberta e a humildade epistêmica. 

Algumas conclusões

Dado esses vieses, não é surpresa que pouca gente se preocupe com riscos-s. Mesmo pessoas preocupadas com o futuro em longoprazo tendem a focar em alcançar outras metas que não reduzir o sofrimento.

Essa negligência é uma razão para investir recursos marginais na redução de riscos-s. Dado que esse tópico quase não foi abordado, podemos fazer um progresso significativo se trabalharmos nele. Os riscos que afetam não humanos são particularmente negligenciados, por conta de uma combinação entre o viés contra levar os riscos-s a sério e a falta de consideração por tais seres (animais não humanos, seres digitais etc.).

Temos de levar em conta que podem haver vieses na direção oposta, que podem fazer superestimarmos a escala e a probabilidade dos riscos-s. Por exemplo, cenários extremos são mais interessantes de discutir do que cenários mais comuns (é por isso que a ficção científica sobre cenários distópicos é tão popular). Também há pessoas que possuem um viés de negatividade.

Entretanto, parece que o viés maior é em direção a desconsiderar os riscos-s. 

Ele conclui afirmando que endossa versões moderadas das seguintes três teses: foco no longo prazo, do foco no sofrimento e do foco nos piores casos. 

Conclui que devemos permanecer com a mente aberta, pois existem também argumentos válidos contra o foco nos riscos-s, e que devemos mudar de posição se surgirem novas evidências em relação à probabilidade de os riscos-s ocorrerem, ou em relação ao tamanho da nossa influência no longo prazo.

PARTE 3 – COMO MELHOR REDUZIR OS RISCOS-S?

INTRODUÇÃO

É necessário evitar muitas armadilhas ao se tentar reduzir os riscos-s. A mais comum é subestimar a enorme complexidade da questão sobre como melhor reduzir os riscos-s. Dada a grande incerteza sobre o futuro, não é realista esperar que haja uma resposta única e conclusiva.

Vieses cognitivos podem nos levar a confiar demais em certas abordagens ou a ter um foco prematuro em certas causas. O remédio para isso é cultivar a humildade epistêmica e buscar novas informações para informar melhor nossa tentativa de reduzir os riscos-s.

Outra armadilha é a falta de prudência. Deve-se evitar abordagem que poderiam facilmente fazer com que pessoas que têm outras prioridades rejeitarem a proposta de reduzir os riscos-s. É melhor defender metas que podem ser aceitas por muitas visões morais.

Outra armadilha é a ilusão de controle (pensar que o impacto de cada pessoa individualmente no futuro é maior do que realmente é). Dado que nosso impacto é limitado, não é muito útil imaginar um futuro ideal e tentar fazer com que aconteça. É melhor focar no quanto de impacto recursos adicionais poderiam ter na margem, quando investidos em uma área em particular. 

Isso não significa que nosso impacto é pequeno. Podemos fazer muito, especialmente se pensarmos cuidadosamente em como reduzir os riscos-s.

FATORES DE RISCO PARA RISCOS-S

Imagine que você queira avaliar como uma dada intervenção afetaria os riscos-s. Isso é difícil por conta dos inúmeros riscos-s possíveis e da nossa grande incerteza em relação ao futuro. Precisamos então considerar medidas para redução de riscos-s que sejam fáceis de acessar, o que simplificará nossa discussão sobre intervenções específicas.

Fatores de risco não são eles próprios riscos-s, mas aumentam significativamente a probabilidade ou severidade de um resultado muito ruim. Esse conceito é amplamente usado em medicina. Por exemplo, falta de exercício e má alimentação não são um problema de saúde em si, mas são fatores que podem ocasionar muitas doenças.

Isso permite termos diretrizes sem ter que analisar doenças específicas. As conclusões são robustas mesmo que a trajetória de saúde de cada indivíduo seja bastante incerta.

Da mesma maneira, não precisamos saber todos os efeitos de uma dada ação sobre os riscos-s. Se conseguirmos identificar fatores de risco para os riscos-s, poderemos derivar intervenções eficazes e robustas pra reduzir um amplo leque de riscos-s.

Tecnologia avançada e colonização espacial

O fator de risco mais óbvio é a capacidade da civilização humana de criar quantidades enormes de sofrimento. Muitos riscos-s só são possíveis por conta de novas tecnologias que fazem surgir, tanto novas oportunidades, quanto novos riscos. Em particular, o surgimento de IA avançada poderia, dado seu poder imprecedente, ser um sério risco-s.

[Nota 118: Suponhamos que fosse interrompido o progresso tecnológico. Isso impediria o surgimento de riscos-s causados por humanos, mas não impediria riscos-s naturais ou causados por outras civilizações, e também faria não haver tecnologia para impedir esses outros riscos-s. É por isso que “novas oportunidades” pode ser também novas oportunidades de reduzir riscos-s.]

Assim como fatores de risco na medicina, não quer dizer que o surgimento de tais tecnologias avançadas necessariamente fariam um risco-s se materializar. Quer dizer apenas que aumentariam significativamente o potencial de resultados com os piores cenários.

Também é preciso distinguir entre progressos tecnológicos que são preocupantes em maior ou menor grau. O critério para distingui-los é o efeito que cada nova tecnologia poderia ter na escala geral da civilização humana e no número de seres sencientes cujas vidas serão potencialmente cheias de sofrimento. Em particular, algumas novas tecnologias podem tornar mais fácil criar grandes quantidades de sofrimento.

Um exemplo de tecnologia assim é a capacidade de criar entidades artificiais sencientes. Isso pode resultar em quantidades enormes de sofrimento por conta da desconsideração por seres sencientes não biológicos.

Outro fator chave é a colonização espacial, que pode multiplicar a população de seres sencientes, sujeitos tanto a sofrimento causado por agentes quanto ao sofrimento natural. Há entre 100 e 400 de bilhões de estrelas em nossa galáxia, e entre 100 e 200 bilhões de galáxias no universo. Colonizar o espaço pode multiplicar o sofrimento em muitas ordens de magnitude. Por outro lado, se não houver colonização espacial, o sofrimento ficará limitado ao da Terra (que é grande, mas minúsculo se comparado ao que poderia surgir).

A colonização espacial não necessariamente teria resultados catástróficos, mas é, ainda assim, um fator de risco para os riscos-s.

[Nota 120: A colonização espacial humana pode também proporcionar reduzir riscos-s, se houverem outras civilizações alienígenas que causam riscos-s]

O ponto é que, mesmo com a incerteza em relação ao futuro em longo prazo, não podemos descartar a possibilidade da humanidade colonizar o espaço. E, a catástrofe poderia ser tão vasta que o VE negativo seria enorme, mesmo que não seja o cenário provável, o qu enos dá razões para levarmos a sério como prevenir tal fator de risco.

A colonização espacial em larga escala é viável? Há poucas evidências, mas elas sugerem que os obstáculos são massivos, mas não insuperáveis.

Falta de prevenção adequada de riscos-s

Os humanos podem minimizar a maioria das formas de sofrimento de houver motivação suficiente e vontade política. Então, é mais provável que os riscos-s ocorram se ninguém trabalhar para prevení-los.

Mesmo que poucas pessoas trabalhem para prevenir riscos-s, elas podem tentar compromissos com outras pessoas para implementar medidas de baixo custo para prevenir os piores resultados. 

Devemos nos preocupar mais é com futuros com pouco ou nenhum esforço para reduzir os riscos-s. Os futuros decisores podem ter ciência dos riscos-s, mas não se importarem (por exemplo, por conta de terem um círculo moral estreito e devido aos seres futuros não terem representatividade política).

Mesmo que haja preocupação com riscos-s, pode ser que os esforços para reduzí-los sejam equivocados ou ineficazes. Por exemplo, se essa causa ficar associada a ideias políticas controversas, isso pode gerar uma oposição que impeça progresso em prevenir tais riscos.

É possível também que os decisores relevantes queiram prevenir riscos-s mas as instituições políticas sejam ineficazes ou haja problemas de cooperação. Pode ser também que os decisores não percebam certo risco-s em estágios iniciais e, quando perceberem, já seja tarde demais.

Conflito e hostilidade

Há maior probabilidade de riscos-s ocorrerem se houver um alto grau de hostilidade entre os atores futuros, sem uma base comum, Tais divergências podem constituir fatores de risco.

Um futuro com polarização em larga escala deixa pouco espaço para reflexão sobre riscos-s e para compromissos mútuos.

As relações hostis tem elas próprias o potencial de resultar em conflitos e até mesmo guerras, o que aumenta o risco de riscos-s agenciais.

Outro fator de risco é a segurança insuficiente contra atores malévolos. Atualmente, esses atores são contidos pelas normas morais e pelas leis, mas isso pode ser difícil em cenários futuros como IA autônomas e poderosas e na colonização espacial.

Isso está relacionado com o equilíbrio entre ataque e defesa (offense-defense balance). A preocupação é a de que capacidades ofensivas mais fortes permitiriam um primeiro ataque seguro, sem receio de retaliação, acabando com a estabilidade global. Por outro lado, se o balanço pender para a defesa, e agentes malévolos tiverem defesas fortes, podem se sentir seguros para causar os riscos-s.

Atores malévolos

Atores malévolos normalmente exibem esses quatro traços de caráter:

(1) Psicopatia: comportamento anti-social persistente, falta de empatia,  insensibilidade e impulsividade.

(2) Narcisismo: senso inflado da própria importância e habilidades, necessidade excessiva de admiração e uma obsessão por fama ou poder.

(3) Maquiavelismo: manipular os outros para promover os próprios interesses, indiferença para com normas comuns e busca implacável de poder ou riqueza.

(4) Sadismo: prazer em infligir sofrimento nos outros.

Indivíduos malévolos colocam sérios riscos se alcançam posições de poder. E, muitas vezes, conseguem, pois uma das características de vários dos traços acima é o desejo por poder. Esses traços também oferecem vantagens na busca por poder, especialmente em sistemas competitivos.

Esses indivíduos podem causar uma erosão da confiança e da coordenação, aumentar o risco de conflitos e de guerras, e aumentar a imprudência em situações de alto risco.

Um exemplo concreto de caminho para um risco-s é um regime totalitário global sob o comando de um agente malévolo. Isso teria o potencial de resultar em um lock-in de certos valores e estruturas de poder. Seria algo como o nazismo ou stanilismo, mas a nível global.

Esses riscos são aumentados se esses agentes malévolos tem acesso à tecnologia avançada.

Como os fatores de risco interagem

Os fatores de risco interagem. Por exemplo, a polarização e o conflito podem aumentar a probabilidade de um indivíduo malevolente chegar ao poder. Se isso acontecer, por sua vez, é provável que o ditador impeça os esforços para se prevenir os riscos-s. A tecnologia avançada poderia multiplicar o dano causado pelos agentes malévolos etc.

Analogamente, um ú fator de risco pode ser mitigado por outras circunstâncias favoráveis. Por exemplo, tecnologia avançada é muito menos preocupante se existem esforços adequados para mitigar riscos-s. Da mesma maneira, sem colonização espacial, o sofrimento causado por um ditador maligno estaria limitado à Terra.

Portanto, parece que os riscos-s tem maior probabilidade de ocorrerem se vários fatores de risco coincidirem. Isso pode acontecer de maneira supralinear: se dois fatores de risco acontecem, a probabilidade de um risco-s é duas vezes mais alta do que se apenas um deles acontecessem. O mesmo acontece em fatores de risco no contexto médico (um único fator de risco pode não ser catástrófico, mas a combinação de vários em muitas vezes é).

ATIVISMO MORAL

Introdução

Vários fatores podem influenciar o futuro. Alguns são:

Progresso tecnológico

Dinâmica econômica

Problemas de cooperação

Tendências políticas ou culturais

Entretanto, o principal fator é o seguinte:

Quais valores serão mantidos pelos tomadores de decisões.

Só podemos fazer progresso nas questões, desde o sofrimento dos animais selagens até os riscos-s, se houver pessoas o suficiente se importando com tais problemas, criando a vontade política de fazer algo sobre tais questões.

Divulgar valores melhores aumenta a probabilidade de que sejam tomadas as ações adequadas para prevenir os riscos-s. Isso torna mais provável que a tecnologia avançada seja usada responsavelmente, mesmo que não seja possível prever de maneira precisa como o mundo mudará. Em resumo, podemos deixar vários problemas futuros para as gerações futuras resolverem, mas apenas se elas compartilharem de nossos valores.

Expandindo o círculo moral

Muitos riscos-s se relacionam à desconsideração por seres não humanos. Então, uma forte candidata ao que significa promover melhores valores é promover a consideração moral de todos os seres sencientes (independentemente de espécie, se são vítimas de práticas humanas ou de danos naturais, da época em que existirá etc.).

Um círculo moral expandido reduziria o risco de que tipos de sencientes futuros negligenciados serem prejudicados em larga em escala.

Teses centrais:

Rejeição do especismo

Especismo é análogo ao racismo, sexismo, idadismo etc.

A senciência deveria ser a base da consideração moral

Devemos dar igual peso a prejuízos/benefícios similares

Divulgar o antiespecismo tem probabilidade de prevenir muito sofrimento, uma vez que boa parte dos riscos-s existem por conta da desconsideração por não humanos.

O critério da senciência implica não apenas rejeitar o especismo, mas também o substratismo. Isto é, implica considerar os possíveis seres sencientes futuros não orgânicos (por exemplo, em meios digitais).

Expandir o círculo moral (no sentido de uma melhor história de mundo para todos os seres sencientes) é diferente da meta de, por exemplo, melhorar a situação dos animais explorados hoje. Essas metas estão relacionadas, mas as intervenções ideais para lidar com elas não são as mesmas.

A maioria dos ativistas da causa animal foca apenas nos animais explorados, e desconsidera o longo prazo. Mas, suas mensagens poderiam ser expandidas para incluir os animais na natureza, os possíveis seres sencientes não orgânicos, e o longo prazo. Igualmente, conseguir direitos legais para os animais poderia gerar precedentes legais e sociais para estender esse tipo de proteção para outras classes de seres sencientes futuros.

Riscos da expansão do círculo moral

Entretanto, uma expansão do círculo moral poderia ser contraproducente se combinado com valores e crenças errados. Por exemplo, uma combinação de uma preocupação com os animais selvagens com valores ambientalistas poderia resultar em mais esforços para preservar a natureza em seu estado atual, resultando em mais sofrimento. Ou ainda, uma expansão do círculo moral poderia resultar na criação de mais seres sencientes que sofreriam, se for combinada com visões morais altamente otimistas, segundo as quais o sofrimento para esses seres poderia ser compensado por outros bens de que desfrutariam. 

Outro risco é a defesa de consideração por todos os seres sencientes gerar rejeição e antagonismo, e a polarização é um fator de risco para os riscos-s. Essa é então uma razão para buscar uma abordagem amigável. A otimização de um valor é menos importante, em termos de prevenção de riscos-s, do que evitar valores ruins (especialmente de os riscos-s são de cauda pesada).

Formas robustas de expansão do círculo moral

Segundo o Baumann, as considerações acima são razões para duvidar de que expandir o círculo moral deveria ser uma prioridade em termos de evitar riscos-s. Entretanto, ele conclui que é, ainda assim, algo que parece causar mais bem do que mal.

Ele fala que a defesa da expansão do círculo moral podem ser robustamente positivas em prevenir riscos-s se evitarem os riscos descritos no item anterior.

Da mesma maneira, pode ser robustamente positivo desenvolver movimentos sociais aumentando o grau com que seriam capazes e motivados a reduzir os riscos-s. Portanto, ele faz algumas sugestões sobre como o movimento de defesa animal poderia aumentar sua eficiência em reduzir o sofrimento de todos os seres sencientes, levando em conta os riscos-s:

(1) É essencial que os ativistas mantenham a mente aberta e querendo aprender mais (não só sobre estratégias, mas sobre questões mais fundamentais sobre prioridades, valores etc). Por exemplo, a maioria dos ativistas da causa animal deu pouca atenção ao sofrimento dos animais selvagens, à vasta quantidade de invertebrados e a possibilidade de senciência não orgânica. 

(2) É claro, é importante tentar fazer algo a respeito do sofrimento existente agora, mas o número de seres sencientes futuros é potencialmente muito mais vasto. Portanto, é essencial evitar ações que diminuam nossa capacidade de alcançar nossas metas de longo prazo.

(3) É melhor evitar confronto desnecessário e adotar uma abordagem não partidária (seja em termos políticos ou éticos). É importante enfatizar que a rejeição do especismo não se segue apenas de vertentes específicas. Isso não quer dizer afrouxar a mensagem. Esse tipo de abordagem, cooperativa, é compatível com ser enfático em defender que todos os seres sencientes importam. 

Ele cita também que há pesquisas que mostram (nota 152) que a hostilidade de algumas pessoas diante dos veganos é a percepção de que estão sendo julgados como moralmente inferiores. Ele sugere, então, para evitar isso, formular a questão em termos institucionais e políticos, em vez de em termos de escolhas individuais.

Promovendo a preocupação com o sofrimento

Baumann defende que, para prevenir os riscos envolvidos na defesa da expansão do círculo moral, podemos defender visões éticas focadas no sofrimento (conjuntamente com a consideração pelos seres sencientes).

Ele defende que a vantagem dessa estratégia é que as pessoas que defendem éticas focadas no sofrimento provavelmente priorizarão prevenir riscos-s. 

A promoção da preocupação com o sofrimento pode ter muitas formas: 

(1) Refinar e disseminar os argumentos que defendem a prioridade da redução do sofrimento. Ele defende que a exploração de uma ética focada no sofrimento deve ser feita sempre de maneira intelectualmente honesta, com uma ênfase na cooperação com outros sistemas de valores.

(2) Aumentar a consciência sobre o sofrimento no mundo (existente ou futuro)

(3) Ajudar as pessoas a superarem o buraco entre os ideais e suas ações (por exemplo, superando mecanismos de defesa, como a negação e o pensamento desejoso).

Ele defende que, similar ao que acontece com a defesa da consideração pelos seres sencientes, é melhor defender a preocupação com o sofrimento de maneira não partidária e com nuances, para aumentar as chances de isso ser uma meta comum, e não uma questão controversa.

Conclusão

O ativismo moral pode ser uma estratégica eficaz para reduzir riscos-s, se feita com cuidado.

Isso não quer dizer que essa forma de ativismo seja a maneira mais eficiente de prevenir riscos-s, pois isso depende da tratabilidade da mudança social em longo prazo, do grau de eficiência de outras intervenções, do tempo que levaria uma expansão do círculo moral e vários outros fatores.

Há ainda que se decidir como melhor promover os valores que decidimos promover. Por exemplo, o ativismo de defesa animal pode tomar várias formas. Ele dá os seguintes exemplos: pode envolver campanhas corporativas sobre reformas na exploração animal, pesquisa com carne in vitro, argumentos contra o especismo etc.  

Nota 160 – Um debate que existe sobre deixar de consumir animais por razões que não tem a ver com o respeito pelos animais é o seguinte. Uma razão para se pensar que isso não é bom no longo prazo é que muda o comportamento sem mudar a atitude que elas têm em relação aos animais (e então, não desejarão prevenir riscos-s, poderão querer aumentar a natureza, defender valores ambientalistas, colonizar o espaço etc.). Uma razão para se pensar que pode ser uma coisa boa é que, se param de consumir animais (mesmo que por motivos indiretos), não têm mais uma razão autointeressada para defender o especismo, e então poderão aceitar mais facilmente o antiespecismo.

UMA POLÍTICA MELHOR

Introdução

Uma política disfuncional pode incentivar a polarização, impedir esforços para reduzir riscos-s e aumentar o risco de agentes malévolos chegarem ao poder. Então, esforços para melhorar a política podem ser uma alavanca para abordar os riscos-s.

O ideal de dois passos

Esse ideal consiste de um passo normativo seguido de um passo empírico. 

Passo normativo: clarificar as metas e valores que deveriam guiar nossa política (isso envolve debater para refinar os valores que formariam os pilares de nossas decisões coletivas)

Passo empírico: uma vez que identificamos quais valores seguir, temos de perguntar quais políticas melhor alcançam tais metas.

Em resumo, essa estrutura recomenda que adotemos a mentalidade de um filósofo em nível normativo e de um cientista em nível empírico. A política atual confunde aspectos empíricos e normativos, o que impede o pensamento claro.

Essa estrutura também permite que percebamos melhor em que ponto discordamos e onde há concordância, o que pode resultar em compromissos mútuos e mesmo progresso moral.

Para alcançar tal ideal, é preciso perceber os vieses que nos previnem de abordar questões políticas com uma mente aberta.

Vieses mais comum: 

– Viés de confirmação

– Raciocínio motivado

Por buscar conscientemente argumentos morais abertos e evidências empíricas (e vez de se basear em intuições), podemos reduzir o excesso de confiança em visões políticas.

É melhor focar mais em entender como uma determinada política funciona do que saltar para apoiá-la ou rejeitá-la.

Um debate político mais bem embasado serviria como antídoto contra a polarização (que é um fator de risco) e reduziria a probabilidade de que demagogos com traços malévolos ascendessem ao poder. Então, uma ampla aderência ao ideal de dois passos aumentaria a probabilidade de evitar riscos-s.

Superando nossa natureza tribal

Na ciência política moderna, foi descoberto que o desejo de pertencer a um grupo está entre os fatores mais importantes que determinam nossos julgamentos políticos. O propósito primário do comportamento político é sinalizar lealdade (a um partido, a um movimento social etc.). De acordo com essa teoria, o debate político não é sobre promover boas políticas ou descobrir a verdade, mas apenas elevar o nosso lado e falar mal do lado oposto.

Um conceito relacionado é o de cognição quente: nossos cérebros tendem a processar as questões políticas e os indivíduos de maneira emocionalmente carregada. Instintivamente, vemos nossa tribo política e líderes de maneira positiva e a demonizar o outro lado. 

A tendência à sinalização de lealdade e à cognição quente explicam muitos vieses. Por exemplo, a sinalização de lealdade nos conduz a ter uma confiança excessiva nos ideais de nosso grupo e uma hostilidade aos grupos rivais. Incerteza e nuances não se encaixam nessa mentalidade de “torcer para um time”. Qualquer argumento, e mesmo os fatos, precisam favorecer o time que alguém escolheu, do contrário é visto como desleal.

Os termos utilizados também evidenciam essa mentalidade tribal: “nosso líder glorioso” x “o déspota malvado deles”; “nossa grande religião” x “a superstição primitiva deles”; “nossos heróis” x “os invasores deles” etc.

É imperativo que resistamos à sinalização de lealdade, apesar de difícil, pois é algo encravado em nossa psicologia.

Uma estratégia para lidar com isso é a heurística em favor da nuance. Se reconhecermos grãos de verdade em cada perspectiva, e pensarmos em termos de graus de confiança em vez de certezas rígidas, podemos evitar um pensamento do tipo “zero ou um”, “nós e eles” etc.

Outra boa heurística é ser caridoso e respeitoso com oponentes políticos, não distorcendo os seus argumentos e atacando os seus argumentos mais fortes (sem fazer espantalho).

Superar nossos instintos tribais e limitar a influência de nossas intuições enviesadas e lealdade partidária evita a polarização excessiva (que é um fator de risco). Conversas políticas mais respeitosas também diminuem a probabilidade dos piores cenários. Assim, aumentar os padrões do discurso político é uma maneira promissora de reduzir os riscos-s.

Reduzir o tribalismo abre as portas para a cooperação e compromissos mútuos, aumentando a probabilidade das preocupações morais de todos serem levadas em conta. Certo grau de competitividade política é inevitável e saudável, mas todos os lados podem ter algo a ganhar se pensarmos em termos de resultados políticos, em vez de “acabar com o outro lado”.

A sinalização de lealdade excessiva cria uma aparência de haver grande discordância mesmo quando a discordância é limitada, criando a impressão de que somos mais divididos do que realmente somos. A prevenção de sofrimento severo é um bom exemplo de um valor amplamente compartilhado.

Essa é também uma razão para focarmos o discurso político mais em políticas do que em partidos ou indivíduos (focando especialmente em políticas mutuamente benéficas).

Reforma institucional

Os itens anteriores focaram na cultura política. Entretanto, as instituições políticas também influenciam tanto quanto. Por exemplo, democracia, estado de direito e direitos humanos básicos são essenciais para se alcançar estabilidade, prosperidade e liberdade (compare, por exemplo, a Coreia do Norte e a Coreia do Sul).

Em relação aos riscos-s, metas importantes são:

(1) Prevenir polaridade excessiva

(2) Prevenir atos de indivíduos malévolos

(3) Prevenir o totalitarismo

A democracia prevene que um único indivíduo consiga muito poder, e então, reduz a influência de atores malévolos. Inversamente, um sistema disfuncional permite que os indivíduos malévolos e estratégicos consigam poder, resultando em uma patocracia (isto é, o governo dos psicopatas).

Fortalecer as instituições democráticas pode ser uma alavanca promissora para reduzir os riscos-s. A seguir, falará de algumas reformas que são relevantes para os riscos-s.

Parlamentarismo

Propõe que os países atualmente presidencialistas mudem para parlamentarismo. Cita que pesquisas indicam que países parlamentaristas exibem níveis menores de polarização, menos desigualdade econômica, e menor risco de retrocesso democrático.

Também é melhor em termos de prevenir ações de indivíduos malévolos, pois o poder é mais descentralizado e o chefe do governo pode ser retirado facilmente.

Ele conclui que o parlamentarismo pode mitigar vários fatores de risco, mas é incerto o tamanho desse efeito. Também é incerta a tratabilidade de mudar para parlamentarismo em países que possuem uma longa tradição presidencialista.

Reforma no voto

Faz uma crítica ao sistema de voto com um único vencedor (como são, por exemplo, as eleições no Brasil para presidente, governador e prefeito).  

Menciona que esse sistema é mais simples, mas uma desvantagem é que o número de cadeiras ocupadas por um partido pode divergir significativamente da quantidade de votos que recebeu. Além disso, tal sistema tende a resultar em dois partidos, o que fomenta nossa natureza tribal e gera polarização extrema, com um lado demonizando o outro (por exemplo, democratas e republicanos nos EUA).

Já um sistema proporcional de votos (o número de cadeiras é proporcional ao número de votos) tende a resultar em muitos partidos, que precisam formar compromissos juntos. Nem sempre funciona bem, mas normalmente mitiga o “nós x eles”.

Pesquisas mostram que países com representação proporcional apresentam menor polarização, maior participação eleitoral, maior satisfação com as instituições democráticas, menos desigualdade econômica e menor envolvimento em guerras. 

Há uma conexão próxima entre voto proporcional e parlamentarismo (pois o presidencialismo apresenta um único vencedor). Sugere então como ideal um sistema parlamentarista proporcional.

Nota 186 – Ele comenta que essas conclusões dizem respeito a instituições democráticas, e que não há pesquisas quanto a isso para sistemas como selecionar aleatoriamente assembleias de cidadãos ou para uma abolição do estado.

Outro sistema possível é o voto rankeado (onde você vota na primeira opção, segunda opção etc.). Entretanto, ele defende que é melhor focar em reformas mais ambiciosas, pois o voto rankeado ainda apresenta um único vencedor.

Avançando e salvaguardando a democracia

Do ponto de vista de evitar riscos-s, é mais importante evitar catástrofes institucionais do que tentar alcançar as melhores instituições possíveis. Em termos de riscos-s, a diferença entre uma democracia e um regime totalitário é maior do que entre uma democracia funcional e uma democracia falha.

As democracias liberais modernas oferecem proteção aos direitos humanos e liberdades civis, como a de expressão, que são uma precondição para se levantar preocupações morais. Essa é uma razão pela qual a sua supressão nos sistemas autocráticos é um fator de risco para os riscos-s. 

Os princípios democráticos também são pensados para reduzir a influência de indivíduos malévolos. Nem sempre isso é garantido, mas funciona melhor do que em outros sistemas. Então, parece que a democracia reduz os riscos-s (por exemplo, guerra entre dois países democráticos é muito raro).

Como melhor promover a democracia? Não está claro se devemos tentar instalar democracias liberais em nações não democráticas, ou se evemos salvaguardar as democracias existentes contra retrocessos, ou se devemos fortalecer a democracia em estados semi democráticos. 

Também é essencial garantir que a promoção da democracia não seja utilizada omo pretexto para buscar interesses econômicos, pois é algo que pode desacreditar a ideia de instalar democracias. e até contribuir para um conflito maior.

Representação política de todos os seres sencientes

Os animais não humanos não podem representar a si próprios, mas poderíamos instituir representantes cuja única função seria defender os seus interesses. Isso é chamado de senciocracia, ou democracia sencientista.

O mesmo poderia ser proposto em termos de representação para seres futuros. 

Isso tudo reduziria os riscos-s porque, assim como no ativismo moral, resulta em melhores proteções para indivíduos previamente negligenciados. 

Entretanto, uma senciocracia é um território ainda não explorado na prática, ao contrário de outras reformas mencionadas antes, que já tiveram sucesso em muitos países.

A política é muito tumultuada?

Poderia ser dito que a política é tumultuada demais, por conta da multidão de atores lutando por influência política e que, se houvesse solução para a disfuncionalidade política,então ela já teria sido encontrada e implementada.

Entretanto, ele defende que os esforços para melhorar a política são ainda valiosos:

Embora muitas pessoas tentem exercer influência política, poucas estão trabalhando para melhorar a cultura política e as instituições. Além disso, aspectos relacionados a riscos-s, especialmente relacionados aos não humanos, são ainda mais negligenciados.

Então, mesmo uma melhora marginal na cultura política ou nas instituições pode ser altamente benéfico. É realista esperar que podemos ser menos enviesados e menos tribais, que as instituições possam funcionar melhor etc. Podemos plausivelmente aumentar o grau com que a política é baseada em valores refletidos e em evidências empíricas, mesmo que não consigamos mudar o total.

Conclusão

É difícil saber quais são as instituições políticas ideais ou a cultura política ideal, mas, o status quo político é tão ruim que para melhorá-lo não é preciso saber essas respostas. 

Outra razão para otimismo é que muitos insights sobre psicologia política e vieses são muito recentes e não são de conhecimento público. O mesmo vale para pontos positivmos do parlamentarismo e da representação proporcional.

Outra vantagem das propostas acima é que elas são benéficas não apenas do ponto de vista de reduzir os riscos-s, mas para várias outras metas (o que aumenta a probabilidade de cooperação e de incentivos para uma mudança positiva).

Por fim, é importante buscar ideais mesmo se sua adoção em larga escala não é possível no futuro previsível. Melhoras modestas e contínuas podem, depois de tempo longo o suficiente, contribuir para uma mudança transformadora. Um bom ponto de partida é seguir o ideal de dois passos no nosso próprio pensamento e comunicação, e dar o exemplo seguindo os princípios do discurso político racional dentro de nossas comunidades. 

TECNOLOGIAS EMERGENTES

Introdução

Se tecnologias transformativas emergirão no futuro, moldar o seu desenvolvimento pode ser uma boa alavanca para reduzir os riscos-s.

Impedir o desenvolvimento tecnológico poderia ajudar a prevenir riscos-s, mas não é realista esperar que isso acontecerá para sempre (é realista esperar prevenir certos tipos de tecnologias danosas). Além disso, isso poderia gerar conflito com aqueles que querem colher os benefícios da tecnologia. Por fim, a tecnologia também poderia ser utilizada para reduzir sofrimento.

Devemos focar em moldar a inteligência artificial?

Se a IA (inteligência artificial) vier a ter inteligência super humana, poderia moldar tudo o que acontecesse dali para diante de acordo com seus valores.

Se for provável que isso aconteça ainda este século, influenciar esse processo seria uma alavanca principal para influenciar o futuro em longo prazo.

Esforços para reduzir os riscos-s causados pela IA podem ser considerados mais diretos do que as outras intervenções que discutiu até agora (ex: ativismo moral ou político), pois uma boa porcentagem (talvez a maioria) do sofrimento futuro provavelmente surgirá por conta da tecnologia avançada.

O trabalho para reduzir os riscos-s por conta da IA é altamente negligenciado. Poucas pessoas trabalham em segurança da IA (AI safety), isto é, garantir que as metas da IA autônomas estenham alinhados com as dos seus criadores. Entretanto, o alinhamento não é suficiente para prevenir riscos-s, pois as metas dos criadores podem ser indiferentes ao sofrimento também. Por exemplo, mesmo as poucas pessoas que trabalham com AI safety geralmente não fazem isso levando em conta os riscos-s (e sim, apenas os riscos para humanos). Esse grau de negligência alto nos possibilita ter bastante influência, pois permite pegar os “frutos dos galhos mais baixos” (low hanging fruits).

Entretanto, há razões para sermos céticos em relação às previsões sobre o avanço da tecnologia, especialmente em relação ao futuro em longo prazo. Simplesmente não sabemos como serão as tecnologias futuras. Por isso, é alto o risco de que as tentativas de moldar a IA sejam ineficazes, ou mesmo perda de tempo. Também podemos estar enganados quanto a quais tecnologias futuras terão mais influência.

Além disso, os conceitos de inteligência e super inteligência são usados muitas vezes de forma simplista. Por exemplo, é comum a crença de que as capacidades da civilização moderna se devem exclusivamente à inteligência humana individual. Mas, isso é apenas uma parte, e o aprendizado social e a acumulação cultural de mais e mais ferramentas são uma boa parte do segredo do sucesso humano.

Também é duvidoso que a IA avançada será um sistema unificado. As tendências que temos visto até agora sugerem uma melhora progressiva por meio de muitas inovações distribuídas nas capacidades coletivas da nossa civilização, em vez de um salto súbito nas capacidades de um único ator.

Isso sugere que a IA provavelmente se tornará super-humana em uma área, depois em outra, em vez de se tornar super-humana de uma vez em todas as áreas. Então, a emergência de uma IA super poderosa não seria um evento isolado, e aconteceria gradualmente. Isso sugere que não há uma única alavanca para moldar o futuro e reduzir os riscos-s (da mesma maneira que não houve no passado apenas uma única tecnologia que determinou o curso da história).

Os desenvolvimento tecnológico nunca é divorciado do contexto político e socio-cultural. Então, esforços para melhorar os valores ou a cultura política (em vez de diretamente tentar moldar a IA) podem influenciar indiretamente a emergência da IA super poderosa. Mesmo que houvesse um único ponto de avalanca, e mesmo que soubéssemos qual é, poderia ainda ser que melhorar os valores e as instituições fosse a maneira mais eficaz de moldar o futuro.

Medidas técnicas para reduzir riscos-s que surgem da IA

Como seria uma abordagem de segurança de IA focada nos riscos-s? Vimos antes que polarização tendem a aumentar os conflitos, e isso é um risco-s. Esse risco está presente em grau muito maior nas interações entre sistemas de IA, pois serão agentes muito poderosos.

Então, esforços para alcançar IA cooperativas são promissores para reduzir riscos-s. A ideia seria equipar esses sistemas com técnicas de métodos para alcançarem resultados mutuamente benéficos nas interações com outros agentes. Pesquisas em teorias da decisão racional, teoria dos jogos e em teorias da barganha podem oferecer insights. Pode-se pesquisar como mitigar o risco se surgir na IA algo análogo aos traços malévolos. Um exemplo de organização focada nisso é a Center on Long-Term Risk.

Um exemplo concreto de medida nesse sentido é implementar metas substitutas (surrogate goals) nos sistemas de IA. Essa meta substituta seria uma com a qual a IA não se importa inicialmente. Em casos de conflitos, teoricamente os atores em conflito terão como alvo essa meta substituta em vez daquela com a qual alguém se importa inicialmente. Isso poderia ajudar a limitar as desvantagens nas falhas de cooperação desviando o desvalor resultante do conflito para a meta substituta.

Outro exemplo seria prevenir o surgimento de traços de caráter malévolos em sistemas de IA.  Esses traços surgiram nos humanos no decorrer da trajetória evolutiva, então, poderia surgir algo equivalente devido aos ambientes de treinamento das IAs. Ao se estudar os incentivos reforçados nos ambientes de treino dos sistemas de IA, poderíamos tentar garantir que tais tendências não surgissem.

Podemos nos inspirar em dois procedimentos comuns na engenharia que são usados para aumentar a confiabilidade de sistemas de segurança críticos: os designs redundantes (redundant designs) e os designs à prova de falhas (fail-safe designs). Os designs redundantes duplicam componentes do sistema para servirem como backups no caso de falha dos componentes principais (um exemplo são os geradores de energia). Já os designs à prova de falhas são focados em limitar o grau de dano no caso de ocorrer uma falha (um exemplo são os sistemas de supressão de fogo em caso de incêndio). Analogamente, podemos tentar limitar o grau de dano caso ocorra uma falha no alinhamento da IA com os valores de seus criadores. E podemos tentar torná-la mais segura combinando diferentes medidas de segurança que entram em ação se o sistema falhar.

Entretanto, muitas dessas medidas podem não ser possível. Também é possível que os esforços de segurança possam aumentar o risco de conflitos. A conclusão é que precisamos de mais pesquisas para melhor prevenir os riscos causados pela IA. 

Administração da IA

É preciso estabelecer normas, políticas e instituições que ajudem na transição para um mundo com IA avançada, especialmente para prevenir os riscos referentes aos piores casos.

Podemos promover a cooperação internacional para prevenir uma corrida armamentista entre as nações. Isso poderia ser feito por meio de acordos e tratados para garantir um desenvolvimento cooperativo, e não em termos de confronto, da IA avançada. Órgãos internacionais poderiam vistoriar o desenvolvimento da IA. As empresas de IA poderiam concordar com regras sobre como proceder caso uma IA chegar a ter certas capacidades (é claro, qualquer acordo assim poderia ser difícil de ser implementado).

Riscos-s a partir da IA poderiam surgir em circunstâncias muito diferentes do nosso mundo atual. Por exemplo, o surgimento de IA avançada poderia gerar turbulência política e colocar em risco coisas que damos por garantidas (como o estado de direito, as instituições democráticas etc.). Então, vale a pena investigar como evitar a turbulência política que poderia ocorrer em um período de transição para a IA avançada, e como garantir que leis e regras ainda se apliquem em tal contexto.

Além disso, a IA poderia ser usada por agentes malévolos. Portanto, é vital limitar a habilidade deles quanto a fazerem mal uso da IA. Por exemplo, vale a pena conscientizar sobre a possibilidade de tais indivíduos nas empresas de IA. Podemos também tentar distribuir as capacidades tecnológicas futuras de tal maneira a tornar difícil ou mesmo impossível que um único agente cause grandes danos.

Podemos também estabelecer padrões sobre como proceder caso uma IA demonstre senciência. Ele afirma que os esforços para defender a consideração moral de seres sencientes não orgânicos deve ser feita com cuidado para não gerar rejeição e tornar as coisas ainda piores. Portanto, é mais seguro incentivar uma discussão reflexiva e focada em nuances, sobre as questões relacionadas à senciência não orgânica.

Administração do espaço

Os riscos-s devido à tecnologia não se limitam à IA. Muitos riscos estão relacionados à colonização do espaço. Então, estabelecer leis em relação a isso pode ser outra área de foco para a redução dos riscos-s. A administração espacial (space governance) envolveria as leis, regras, normas e instituições que estruturariam as interações no espaço.

Atualmente carecemos de uma estrutura global para a administração espacial. Atualmente, não há regulamentações sobre exploração espacial, o que pode fazer surgir uma competição e conflitos severos. Vale a pena então criar regulamentações que contribuam para resultados positivos de longo prazo, quando (e se) a colonização espacial se tornar praticável. Podemos pesquisar sobre quais mecanismos de governo seriam mais aptos, e fazer trabalho de lobby para garantir tratados e convenções. 

Poder-se-ia pensar que a maneira mais fácil de evitar esses riscos-s seria se opor à colonização do espaço. Entretanto, se a colonização do espaço for inevitável, é melhor enfatizar a ideia de que devemos isso apenas depois que tivermos feito tudo para garantir que o resultado seja positivo.

IMPACTO DE LONGO PRAZO

Capacitação

A coisa mais importante a ser feita agora é garantir que os atores futuros desejarão e terão os meios para prevenir os riscos-s. Por meio desse tipo de capacitação, estaremos preparados para aproveitar da melhor maneira as oportunidades para reduzir riscos-s quando tais oportunidades surgirem no futuro. 

Uma vantagem dessa estratégia é que ela não depende de sabermos como o futuro será.

A capacitação pode tomar muitas formas. Por exemplo, dinheiro é um recurso flexível, que pode ser transferido para o futuro economizando-o ou investindo-o. Se os retornos financeiros de longo prazo são maiores do que a inflação, é possível acumular dinheiro para investir em reduzir riscos-s em um período posterior. Isso é conhecido como filantropia paciente [nota 221].

Na nota 222 ele comenta que o Benjamin Franklin fez isso: fez duas doações de 100 mil, para as cidades de Boston e Filadélfia, especificando que deveriam ser investidas durante 200 anos. Depois de 200 anos, o valor tinha crescido para 4,5 milhões para Boston e 2 milhões para a Filadélfia. Entretanto, essa estratégia também riscos (por exemplo, caso houver um tumulto político ou uma crise financeira). Portanto, está em aberto se deveríamos investir mais ou gastar mais agora. 

Outra forma é promover a preocupação com o sofrimento e com a consideração moral de todos os seres sencientes. Isso aumenta a motivação que as pessoas do futuro terão para prevenir os riscos-s que afetariam seres não humanos. 

Também podemos melhorar nossa cultura política e nossas instituições, o que melhorará a capacidade da civilização futura de abordar qualquer desafio futuro, incluindo riscos-s.

Um movimento para reduzir os riscos-s

Uma dimensão chave da capacitação é a construção de um movimento. Reunir pessoas que estejam interessadas na redução dos riscos-s. Expondo os argumentos que explicam por que devemos levar a sério os riscos-s, podemos conectar um leque mais amplo de pessoas. 

[Nota 223: Importante: é equivocado pensar puramente em termos de convencer o maior número de pessoas. O que é mais importante é alcançar aquelas pessoas com maior poder de influência.]

Além do crescimento do movimento, uma prioridade é garantir a estabilidade em longo prazo do movimento para reduzir riscos-s. Devemos levar em conta que as ideias relacionadas aos riscos-s podem evoluir em uma direção indesejada. Por exemplo, o movimento pode receber descrédito ou ficar mal visto, e isso resultaria em falta de esforços para prevenir os riscos-s. 

Algumas diretrizes para prevenir isso: 

(1) Uma comunidade amigável e receptiva tem maiores probabilidades de conseguir adeptos. 

(2) Uma atitude cooperativa em relação a pessoas que tem outras prioridades tende a ser mais produtiva do que uma abordagem provocativa e antagonista.

(3) Quase todo mundo pode concordar que riscos-s devem ser prevenidos, então é possível encontrar uma base comum. 

É vital que o movimento para reduzir riscos-s seja neutro em relação a causas. Há grande incerteza quanto ao futuro. Então, não podemos deixar nossas prioridades serem ditadas pela nossa preferência pessoal por certa causa, pois podemos estar enviesados em nossos julgamentos. Há o risco mesmo de um movimento inteiro focar prematuramente em uma única causa. O movimento precisa constantemente atualizar suas visões e estar preparado para mudar de curso diante de novas evidências. Precisamos reagir de modo flexível aos desenvolvimentos tecnológicos para encontrar as maneiras mais eficientes de prevenir os riscos-s.

Pesquisa sobre como melhor reduzir os riscos-s

A construção de um movimento visa criar a motivação para evitar os riscos-s.Mas, criar a competência é igualmente importante. Expandir o conhecimento é um fator chave da capacitação, pois coloca as pessoas que se importam em melhor posição para reduzir os riscos-s. Isso é conhecido como “construção de sabedoria“,

Dada a incerteza em relação ao futuro, qualquer tentativa de reduzir riscos-s requer planejamento cuidadoso. Por exemplo, as prioridades listadas nos capítulos 8, 9 e 10 são apenas palpites baseadas nas evidências atuais. Está em aberto quais dessas áreas são mais promissoras (talvez alguma outra intervenção, que ainda não sabemos, seja a melhor). Por isso, não devemos investir a maioria dos recursos em uma única causa, ou em poucas, pois no futuro isso pode se revelar equivocado. Isso aponta para a importância de entender melhor como nossas ações afetam a probabilidade de uma catástrofe moral futura.

Precisamos de um programa aberto de pesquisa sobre como melhor reduzir os riscos-s, reunindo várias disciplinas, desde a ciência da computação até as ciências sociais. Uma prioridade é descobrir quais riscos são mais prováveis, mais tratáveis, mais negligenciados e de maior magnitude. Essa informação ajudará a descobrir quais as melhores maneiras de mitigar os riscos-s. 

Um desafio é que os pesquisadores devem levar em conta cenários futuros estranhos sem se perder em ideias especulativas demais. Esse é um balanço difícil de alcançar. 

Conclui defendendo que aprender mais sobre como melhor reduzir os riscos-s deveria ser uma de nossas prioridades mais fortes. A pesquisa sobre isso está bem no início, e então provavelmente os insights-chave que aumentarão grandemente a eficiência dos esforços para reduzir os riscos-s ainda estão por ser descobertos. E, mesmo se um insight for ilusório, a atitude de reflexão e mente aberta nos ajudará a refinar nossas visões e a chegarmos em conclusões com mais nuances e balanceadas.

A atividade de capacitação pode parecer altamente abstrata e contraintuitiva, e não tocar nossas emoções. Mas, levando em conta o risco astronômico dos riscos-s, não devemos seguir cegamente nossas emoções e intuições. Precisamos pensar cuidadosamente no que é mais eficiente.

O que você pode fazer

Um primeiro passo seria manter contato com outras pessoas interessadas na questão. Quanto mais pessoas pensarem e escreverem sobre o tema, maior o progresso que será feito em relação a como melhor prevenir os riscos-s. 

O próximo passo seria pensar no que você pode fazer na sua carreira de trabalho, e na escolha de uma carreira. Pode-se considerar também se candidatar para um cargo em uma organização que tenha como objetivo reduzir os riscos-s.

Duas organizações assim são o Center for Reducing Suffering e o Center for Long-Term Risk. Outras organizações que também tem foco nos riscos-s, mas que possuem também outros focos, são a Organization for Prevention of Intense Suffering (OPIS), a Ética Animal e o Sentience Institute (o seu foco principal é expandir a consideração moral para todos os seres sencientes).

Outra opção é doar para essas organizações.

Finalmente, talvez a coisa mais importante a ser feita é aprender mais sobre riscos-s e assuntos relacionados. Também é crucial investirmos em desenvolver nossas habilidades futuras e conhecimento, pois é isso que determinará em boa parte nossa eficiência em melhorar o mundo.