Resumo

O século mais importante

A série de postagens de blog intitulada “O século mais importante” argumenta que o século XXI pode ser o mais importante de toda a história da humanidade. Isso se deve ao desenvolvimento de sistemas de IA avançados que podem acelerar dramaticamente o avanço científico e tecnológico, nos impulsionando mais rapidamente do que muitos imaginam para um futuro profundamente desconhecido.

Você pode acessar os principais destaques da série por meio de:

• Um resumo de algumas páginas (abaixo)
• Discussões sobre a série em The Ezra Klein Show (NYT, 90 minutos) ou no podcast 80,000 Hours (2 horas)

Você pode ler toda a série como:

• Uma série de postagens de blog: sugiro começar pelo Roteiro. (Cada artigo contém links para o próximo no final.) Este é o formato original, onde será mais fácil navegar, ver gráficos em tamanho real, etc.
• Uma série em áudio, disponível na maioria das plataformas de podcast (Spotify, Stitcher, Apple Podcasts, etc.)
• Um único PDF para impressão.
• Para Kindle, você pode comprar uma versão no formato Kindle por $0,99 (o preço mínimo permitido) ou baixar este arquivo AZW3 gratuitamente (veja instruções para colocar no seu Kindle). Há também um arquivo ePub gratuito para outros leitores.

A série em poucas palavras

Passei a maior parte da minha carreira buscando maneiras de fazer o máximo de bem possível, por unidade de dinheiro ou tempo. Trabalhei para encontrar instituições de caridade apoiadas por evidências, voltadas para a saúde global e o desenvolvimento (co-fundando a GiveWell), e mais tarde me envolvi em filantropia que assume mais riscos (co-fundando a Open Philanthropy).

Nos últimos anos – graças ao diálogo com a comunidade do altruísmo eficaz e às extensas pesquisas realizadas pela equipe de investigações de visões de mundo da Open Philanthropy – me convenci de que a humanidade enfrenta grandes riscos e oportunidades neste século. Compreender melhor e nos preparar para esses riscos e oportunidades é no que estou focado agora.

Este artigo resume uma série de postagens sobre por que acredito que estamos vivendo o século mais importante de toda a história da humanidade. Ele oferece um resumo curto, postagens-chave e, às vezes, gráficos principais para os seguintes cinco pontos básicos:

• O futuro de longo prazo será radicalmente diferente. Avanços tecnológicos suficientes podem levar a uma civilização duradoura, que se espalharia por toda a galáxia e poderia ser uma utopia, distopia ou algo entre os dois.
• O futuro de longo prazo pode chegar muito mais rápido do que pensamos, devido a uma possível explosão de produtividade impulsionada pela IA.
• O tipo relevante de IA parece que será desenvolvido neste século – o que torna este o século que iniciará, e terá a oportunidade de moldar uma civilização galáctica.
• Essas alegações parecem “audaciosas” demais para serem levadas a sério. Mas há muitas razões para acreditar que vivemos em tempos audaciosos e devemos estar preparados para qualquer coisa.
• Nós, as pessoas que vivem neste século, temos a chance de ter um grande impacto em um número gigantesco de pessoas no futuro – se conseguirmos entender a situação o suficiente para encontrarmos ações úteis. Mas no momento, não estamos preparados para isso.

Esta tese tem uma sensação excêntrica, de ficção científica. Está muito longe de onde eu esperava chegar quando comecei a tentar fazer o máximo de bem possível.

Mas uma parte da mentalidade que desenvolvi por meio da GiveWell e da Open Philanthropy é estar aberto a possibilidades estranhas, ao mesmo tempo que as examino criticamente com o máximo rigor possível. E depois de muito tempo investido examinando essa tese, acho que é provável o suficiente para o mundo precisar urgentemente prestar mais atenção nela.

Ao escrever sobre isso, espero chamar mais atenção para essa ideia ou ganhar mais oportunidades de ser criticado e mudar de ideia.

Vivemos em tempos audaciosos e devemos estar preparados para qualquer coisa

Muitas pessoas acham que a afirmação sobre o “século mais importante” é audaciosa demais: um futuro radical com IA avançada e civilização se espalhando pela galáxia pode acontecer eventualmente, mas seria mais como daqui a 500, 1.000 ou 10.000 anos. (Não neste século.)

Esses prazos mais longos nos colocariam em uma posição menos audaciosa do que se já estivermos vivendo no “século mais importante”. Mas, em termos gerais, mesmo que a expansão pela galáxia comece daqui a 100.000 anos, ainda assim viveríamos em uma era extraordinária – a pequena fração de tempo durante a qual a galáxia passará de quase sem vida para amplamente povoada. Isso significa que, de um número impressionante de pessoas que existirão, estamos entre as primeiras. E que, de centenas de bilhões de estrelas na nossa galáxia, a nossa produzirá os seres que a preencherão.

Mais em Todas as visões possíveis sobre o futuro da humanidade são audaciosas

Quando nos aproximamos, vemos que vivemos em um século especial, não apenas em uma era especial. Podemos perceber isso ao observar a rapidez com que a economia está crescendo. Não parece que algo especial esteja acontecendo, porque, durante toda a vida de qualquer um de nós, a economia mundial cresceu alguns por cento ao ano:

No entanto, quando nos afastamos para olhar para a história num contexto maior, vemos uma imagem de um passado instável e de um futuro incerto: 

Mais em Isto não pode continuar

Estamos vivendo o período de crescimento mais rápido da história. Esta taxa de crescimento não tem sido assim há muito tempo e não pode continuar indefinidamente (não há átomos suficientes na galáxia para sustentar esta taxa de crescimento nem mesmo por mais 10 000 anos). E se conseguirmos uma aceleração maior nesta taxa de crescimento — alinhada com a aceleração histórica — poderemos alcançar os limites daquilo que é possível mais rapidamente: durante este século. 

Para recapitular: 

• Os últimos milhões de anos — com o início da nossa espécie — têm tido mais acontecimentos do que os vários bilhões anteriores. 
• Os últimos cem anos têm tido mais acontecimentos do que os vários milhões anteriores. 
• Se tivermos outro acelerador (como eu acho que a IA pode ser), as próximas décadas podem ser as que terão mais acontecimentos de todas.

Mais informações sobre estas cronologias em Todas as visões possíveis sobre o futuro da humanidade são audaciosas, Isto não pode continuar, e Prevendo a IA Transformadora: o método das “Âncoras Biológicas”, respectivamente. 

Dado o momento em que vivemos, precisamos estar abertos às maneiras pelas quais o mundo pode mudar rápida e radicalmente. Idealmente, deveríamos estar um pouco super atentos a essas possibilidades, assim como priorizamos a segurança ao dirigir. Mas hoje, tais possibilidades recebem pouca atenção.

Artigos principais:

• Todas as visões possíveis sobre o futuro da humanidade são audaciosas
• Isto não pode continuar

O futuro de longo prazo é radicalmente desconhecido

A tecnologia tende a aumentar o controle das pessoas sobre o ambiente. Para um exemplo concreto e fácil de visualizar sobre como as coisas poderiam ser, se a tecnologia avançar o suficiente, podemos imaginar uma tecnologia como “pessoas digitais”: pessoas totalmente conscientes “feitas de software”, que habitam ambientes virtuais de tal forma que podem experimentar qualquer coisa e serem copiadas, rodadas em velocidades diferentes e até mesmo “reinicializadas”.

Um mundo de pessoas digitais poderia ser radicalmente distópico (ambientes virtuais usados para consolidar o poder absoluto de algumas pessoas sobre outras) ou utópico (sem doenças, pobreza material ou violência não consensual, e com muito mais sabedoria e autocompreensão do que é possível hoje). De qualquer forma, pessoas digitais poderiam permitir que uma civilização se espalhasse pela galáxia e durasse por muito tempo.

Muitas pessoas acreditam que esse tipo de grande civilização futura estável está no horizonte eventualmente (seja por meio de pessoas digitais ou outras tecnologias que aumentem o controle sobre o ambiente), mas não se preocupam em discutir isso por parecer algo muito distante.

Artigo principal: Pessoas digitais seriam mais importantes ainda

O futuro de longo prazo pode chegar muito mais rápido do que pensamos

Modelos de crescimento econômico padrão implicam que qualquer tecnologia que automatize totalmente a inovação causaria uma “singularidade econômica”: a produtividade iria para o infinito neste século. Isso ocorreria porque criaria um poderoso ciclo de feedback: mais recursos → mais ideias e inovações → mais recursos → mais ideias e inovações…

Esse ciclo não seria sem precedentes. Eu acho que, de certa forma, esse é o modo “padrão” de funcionamento da economia – ao longo de grande parte da história econômica até alguns séculos atrás.

História econômica: mais produção → mais pessoas → mais ideias → mais produção…

Mas na “transição demográfica” de alguns séculos atrás, o passo “mais produção → mais pessoas” desse ciclo foi interrompido. O crescimento populacional se estabilizou, e mais produção levou a pessoas que se tornaram mais ricas, em vez de, simplesmente, mais pessoas:

Economia atual: mais produção → pessoas mais ricas → mesmo ritmo de ideias…

O ciclo de retroalimentação poderia voltar, se alguma outra tecnologia restaurasse a dinâmica de “mais produção → mais ideias”. Uma dessas tecnologias poderia ser o tipo certo de IA: o que chamo de PASTA, ou Processo para Automatizar o Avanço Científico e Tecnológico.

Futuro possível: mais produção → mais IAs → mais ideias → mais produção…

Isso significa que nosso futuro radical de longo prazo poderia chegar muito rapidamente depois que o PASTA for desenvolvido (se for desenvolvido).

Também significa que, se os sistemas PASTA forem desalinhados – perseguindo objetivos incompatíveis com os humanos – as coisas podem rapidamente sair de controle.

Artigos principais:

• O Duplicador: a clonagem instantânea faria a economia mundial explodir
• Prevendo a IA Transformadora, parte 1: qual tipo de IA?
• Porque o alinhamento da IA pode ser difícil com o Deep Learning moderno

O PASTA parece que será desenvolvido neste século

Não é controverso dizer que um sistema de IA altamente geral, como o PASTA, seria significativo. A questão é: quando (se algum dia) tal coisa existirá?

Nos últimos anos, uma equipe da Open Philanthropy investigou essa questão sob várias perspectivas.

Um dos métodos de previsão observa que:

• Nenhum modelo de IA até hoje foi nem mesmo 1% tão “grande” (em termos de cálculos realizados) quanto um cérebro humano, e até recentemente isso não seria viável financeiramente – mas isso mudará relativamente logo.
• Até o final deste século, será financeiramente possível treinar modelos de IA enormes muitas vezes; treinar modelos do tamanho do cérebro humano em tarefas extremamente difíceis e caras; e até talvez realizar tantos cálculos quanto foram feitos “pela evolução” (por todos os cérebros animais na história até hoje).

As previsões desse método estão alinhadas com a pesquisa mais recente dos pesquisadores de IA: algo como PASTA é mais provável do que não é, de existir neste século.

Vários outros ângulos também foram examinados.

Um desafio para essas previsões: não há um “campo de previsão de IA” e nenhum consenso de especialistas comparável ao que existe em torno das mudanças climáticas.

É difícil ter confiança quando as discussões em torno desses tópicos são pequenas e limitadas. Mas acho que devemos levar a sério a hipótese do “século mais importante” com base no que sabemos agora, até que e a menos que, um “campo de previsão de IA” se desenvolva.

Artigos principais:

• Cronologias da IA: quais são os argumentos e como os especialistas se posicionam (recapitula os outros e discute como devemos raciocinar sobre tópicos como esse, onde não está claro quem são os “especialistas”)
• Prevendo a IA Transformadora: qual é o ônus da prova?
• Estamos “tendendo em direção” da IA Transformadora?
• Prevendo a IA Transformadora: o método das “Âncoras Biológicas”

Não estamos prontos para isso

Quando falo sobre estar no “século mais importante”, não me refiro apenas a eventos significativos que vão ocorrer. Quero dizer que nós, as pessoas que vivem neste século, temos a chance de ter um impacto enorme em um número gigantesco de pessoas no futuro – se conseguirmos entender a situação o suficiente para encontrar ações úteis.

Mas esse é um grande “se”. Muitas das ações que podemos realizar podem tanto melhorar quanto piorar as coisas (e é difícil dizer qual delas).

Ao confrontar a hipótese do “século mais importante”, minha atitude não corresponde às atitudes familiares de “empolgação e movimento” ou “medo e evasão”. Em vez disso, sinto uma mistura estranha de intensidade, urgência, confusão e hesitação. Estou olhando para algo maior do que eu jamais esperava enfrentar, me sentindo despreparado e ignorante sobre o que fazer em seguida.

Com isso em mente, em vez de fazer uma “chamada à ação”, faço uma chamada à vigilância:

• Se você for convencido pelos argumentos desta série, não se apresse para “fazer algo” e depois siga em frente.
• Em vez disso, tome as ações robustamente boas que puder hoje e, caso contrário, se coloque em uma posição melhor para tomar ações importantes quando a hora chegar.
• Para aqueles que buscam uma ação rápida que torne mais provável a ação futura, veja esta seção de “Uma chamada à vigilância.”

Artigos principais:

• Como aproveitar o melhor do século mais importante
• Uma chamada à vigilância

Uma metáfora para o meu estado mental é que parece que o mundo é um conjunto de pessoas em um avião decolando em alta velocidade pela pista:

E sempre que leio comentários sobre o que está acontecendo no mundo, as pessoas estão discutindo como ajustar o cinto de segurança da forma mais confortável possível, dado que o usar faz parte da vida, ou dizendo que os melhores momentos da vida são sentar com sua família e assistir às linhas brancas passarem voando, ou discutindo de quem é a culpa por haver um rugido de fundo que dificulta ouvir uns aos outros.

Não sei para onde realmente estamos indo, nem o que podemos fazer a respeito. Mas me sinto bastante seguro ao dizer que, como civilização, não estamos prontos para o que está por vir, e precisamos começar, levando isso mais a sério.

Agradecimentos

Eu não faço praticamente nenhuma reivindicação de originalidade. A grande maioria das afirmações, observações e percepções desta série veio de alguma combinação de:

• Anos de discussões com outras pessoas, particularmente nas comunidades do altruísmo eficaz e dos racionalistas. É difícil rastrear ideias específicas com pessoas específicas nesse contexto, mas sei que uma grande parte do meu pensamento vem, pelo menos proximamente, de Carl Shulman, Dario Amodei e Paul Christiano, e que o trabalho de Nick Bostrom e Eliezer Yudkowsky foi muito influente de modo geral. (Também entendo que futuristas e transhumanistas anteriores influenciaram essas pessoas e comunidades, embora eu não tenha me envolvido diretamente com seus trabalhos.)
• Análises detalhadas realizadas pela equipe de investigações de visões de mundo da Open Philanthropy, composta por Ajeya Cotra e Tom Davidson (especialmente), bem como Nick Beckstead, Joe Carlsmith e David Roodman. Também me baseei fortemente em relatórios de Katja Grace e Luke Muehlhauser.

Além disso, agradeço a:

• Ajeya Cotra, María Gutiérrez Rojas e Ludwig Schubert pela ajuda com as visualizações.
• Várias pessoas pelo feedback em rascunhos anteriores:
  • Minha irmã Daliya Karnofsky, minha esposa Daniela Amodei e Elie Hassenfeld: agradecimentos especiais por lerem os primeiros (e menos legíveis) rascunhos e frequentemente dado feedback detalhado em várias iterações.
  • Pessoas que serviram como “leitores beta” e deram grandes quantidades de feedback, sobre particularmente o que estava ou não fazendo sentido para elas: Alexander Berger, Damon Binder, Lukas Gloor, Derek Hopf, Mike Levine, Eli Nathan, Sella Nevo, Julian Sancton, Simon Shifrin, Tracy Williams. (Além de várias outras pessoas já mencionadas acima.)