Prevendo a IA transformadora, parte 1: Qual tipo de IA?

PASTA: Processo para automação do avanço científico e tecnológico

Esta é a primeira de quatro postagens resumindo centenas de páginas de relatórios técnicos focados quase inteiramente na previsão de um número. Provavelmente, este é o único número para o qual eu mais valorizo ter uma boa estimativa: o ano em que a Inteligência Artificial Transformadora será desenvolvida.⁶⁴

Por “IA Transformadora”, o que quero dizer é “IA poderosa o suficiente para nos levar a um futuro novo e qualitativamente diferente”. A Revolução Industrial é o exemplo mais recente de um evento transformador; outros incluiriam a Revolução Agrícola e o surgimento da humanidade.⁶⁵

Este artigo vai se concentrar em analisar um tipo particular de Inteligência Artificial que acredito que poderia ser transformadora: sistemas de Inteligência Artificial que conseguem automatizar essencialmente todas as atividades humanas necessárias para acelerar o avanço científico e tecnológico. Chamarei esse tipo de tecnologia de Processo para Automatizar o Avanço Científico e Tecnológico, ou PASTA.⁶⁶ (Quero dizer que PASTA se refere a um único sistema ou a uma coleção de sistemas que podem fazer coletivamente esse tipo de automação.)

O PASTA poderia resolver o mesmo tipo de gargalo discutido em O Duplicador e Isto não pode continuar — a escassez de mentes humanas (ou algo que desempenhe o mesmo papel na inovação).

O PASTA poderia, portanto, acarretar uma ciência explosiva, culminando em tecnologias tão impactantes quanto pessoas digitais. E dependendo dos detalhes, os sistemas PASTA poderiam ter objetivos próprios, o que poderia ser perigoso para a humanidade e isso importaria muito para que tipo de civilização acabaria se expandindo pela galáxia.

Ao falar sobre o PASTA, estou tentando, em parte, me livrar de alguma bagagem desnecessária no debate sobre “inteligência artificial geral”. Não acredito que precisemos da inteligência artificial geral para que este século seja o mais importante da história. Algo mais restrito — como o PASTA poderia ser, ou seria, suficiente para isso.

Para tornar essa ideia um pouco mais concreta, o restante desta postagem discutirá:

• Como o PASTA poderia (hipoteticamente) ser desenvolvido por meio de métodos de aprendizado de máquina mais ou menos modernos.
• Porque isso poderia acarretar um progresso científico e tecnológico explosivo — e, porque isso poderia ser perigoso por meio de sistemas PASTA com objetivos próprios.

Artigos futuros discutirão daqui a quanto tempo podemos supor que algo como o PASTA seja desenvolvido.

Fazendo o PASTA

Começarei com uma caracterização muito breve e simplificada do aprendizado de máquina, que você pode pular clicando aqui.

Existem essencialmente duas maneiras de “ensinar” um computador a realizar uma tarefa: Programação tradicional. Nesse caso, você programa instruções passo a passo e extremamente específicas para concluir uma tarefa. Por exemplo, o programa de jogo de xadrez Deep Blue executa, essencialmente, instruções⁶⁷ desse tipo:

• Receba uma representação digital de um tabuleiro de xadrez, com números indicando qual peça de xadrez está em cada casa; (b) quais lances seriam legítimos; (c) quais posições do tabuleiro contariam como xeque-mate.

• Verifique como cada movimento legal modificaria o tabuleiro. Em seguida, verifique o quão “bom” é o tabuleiro resultante, de acordo com regras como: “Se a rainha do outro jogador foi capturada, isso vale 9 pontos; se a rainha do Deep Blue foi capturada, isso vale 9 pontos.” Essas regras podem ser bastante complexas,⁶⁸  mas todas foram programadas precisamente por humanos.

Aprendizagem de Máquina. Isso é essencialmente “treinar” uma Inteligência Artificial para executar uma tarefa por tentativa e erro, em vez de fornecer instruções específicas. Hoje, a maneira mais comum de fazer isso é usando uma “rede neural artificial” (RNA), que você pode pensar como sendo um “cérebro digital” que inicia em um estado vazio (ou aleatório): que ainda não foi programado para fazer coisas específicas.

Por exemplo, o AlphaZero — uma Inteligência Artificial usada para dominar vários jogos de tabuleiro, incluindo xadrez e Go — faz algo mais parecido com isso (embora também tenha elementos importantes de “programação tradicional”, que estou ignorando aqui visando simplificar as coisas):

• A Inteligência Artificial joga uma partida de xadrez contra si mesma (escolhendo um movimento legal, modificando o tabuleiro do jogo digital adequadamente e, em seguida, escolhendo outro movimento legítimo, etc.) Inicialmente, ela joga fazendo movimentos aleatórios.
• Cada vez que as Brancas vencem, ela “aprende” um pouco, ajustando a configuração da RNA (“cérebro digital”) — fortalecendo ou enfraquecendo as conexões entre alguns “neurônios artificiais” e outros. Os ajustes fazem com que a RNA forme uma associação mais forte entre os estados do jogo, como, por exemplo, o que ela acabou de perceber e “As brancas vão vencer”. E vice-versa quando as Pretas vencem.
• Depois de um número muito grande de jogos, a RNA se tornou eficaz em determinar — a partir de um estado de jogo de tabuleiro digital —  qual lado provavelmente vencerá. A RNA agora pode selecionar movimentos que tornam seu próprio lado o mais propenso a vencer.
• O processo de “treinamento” da RNA exige muita tentativa e erro: inicialmente ela é péssima no xadrez e precisa jogar muitas partidas para “conectar seu cérebro corretamente” e se tornar boa. Porém, uma vez que a RNA tiver sido treinada pela primeira vez, seu “cérebro digital” será consistentemente bom no jogo de tabuleiro que aprendeu; ela poderá derrotar seus oponentes repetidamente.

A última abordagem é central para muitos dos progressos recentes na IA. Isso é especialmente verdadeiro para tarefas para as quais é difícil de “escrever todas as instruções”. Por exemplo, os humanos conseguem escrever algumas diretrizes razoáveis para ter sucesso no xadrez, mas sabemos muito pouco sobre como nós mesmos classificamos imagens (determinar se alguma imagem é de um cachorro, gato ou outra coisa). Portanto, o aprendizado de máquina é particularmente essencial para tarefas como classificação de imagens.

O PASTA poderia ser desenvolvido via aprendizado de máquina? Uma maneira óbvia (mas irreal) de fazer isso pode ser algo assim:

• Em vez de jogar xadrez, uma Inteligência Artificial poderia jogar um jogo chamado “Provocar o avanço científico e tecnológico”. Ou seja, ela poderia fazer “movimentos” como: baixar artigos científicos, adicionar notas a um arquivo, criar desenhos e instruções para novos experimentos, projetar processos de fabricação.
• Um painel de juízes humanos poderia assistir do “lado de fora” e dar sua avaliação subjetiva de quão rápido o trabalho da Inteligência Artificial está causando avanço científico/tecnológico. A Inteligência Artificial poderia, portanto, ajustar sua configuração ao longo do tempo, aprendendo quais tipos de movimentos causam o avanço científico e tecnológico mais efetivamente conforme a avaliação dos juízes.

Isso seria extremamente impraticável, pelo menos em comparação com o jeito que acredito que as coisas são prováveis de acontecer, mas espero dar uma intuição inicial sobre o que um processo de treinamento poderia estar tentando realizar: ao fornecer um sinal de “como a Inteligência Artificial está se saindo”, isso poderia permitir que uma Inteligência Artificial atingisse seu objetivo por meio de tentativa e erro e ajustes na sua configuração interna.

Na realidade, eu suporia que o treinamento seria mais rápido e prático devido a coisas como:

• Diferentes IAs poderiam ser treinadas para desempenhar diferentes tipos de funções relacionadas à aceleração da ciência e tecnologia: escrever trabalhos acadêmicos, projetar e criticar projetos e processos de fabricação, etc. Em muitos casos, os humanos que já estão envolvidos nessas atividades poderiam gerar muitos dados sobre como realizar bem as tarefas, o que poderia ser usado para o tipo de treinamento descrito acima. Uma vez que diferentes IAs pudessem desempenhar uma variedade de funções importantes, as IAs “gerentes” poderiam ser treinadas para supervisionar e alocar o trabalho de outras IAs.
• As IAs também poderiam ser treinadas para serem juízes. Talvez uma Inteligência Artificial pudesse ser treinada para avaliar se um artigo contém ideias originais e outra pudesse ser treinada para avaliar se um artigo contém erros.⁶⁹ Essas IAs “juízes” poderiam então ser usadas para treinar uma terceira Inteligência Artificial com mais eficiência, aprendendo assim a escrever artigos originais e corretos.
• De maneira mais geral, as IAs poderiam aprender a fazer todos os tipos de outras atividades humanas, ganhando habilidades humanas genéricas, como a capacidade de aprender com livros didáticos e a capacidade de “fazer um brainstorming de soluções criativas para um problema”. As IAs boas nessas coisas poderiam então aprender ciência a partir de livros didáticos como um ser humano normal, e fazer um brainstorming sobre como fazer uma descoberta como um ser humano normal faria, etc.
  • A distinção aqui é entre “usar inúmeros exemplos para conectar um cérebro” e “um cérebro já conectado usando alguns poucos exemplos para aprender rapidamente, como faz um cérebro humano”.
  • Aqui seriam necessárias muitas tentativas e erros para que a RNA se tornasse boa em habilidades humanas “genéricas”, mas depois disso a RNA treinada poderia aprender como fazer um trabalho científico específico tão eficientemente quanto um humano aprende como fazê-lo. (De certa forma, podemos imaginar que ele foi “treinado por meio de tentativa e erro massivamente para conseguir aprender certos tipos de coisas sem precisar de tanta tentativa e erro”.)
  • Existem algumas evidências preliminares (por exemplo, aqui) de que os sistemas de Inteligência Artificial poderiam passar por esse padrão de “aprender ‘o básico’ usando uma tonelada de tentativa e erro, assim como aprender sub-habilidades usando menos tentativas e erros.”⁷⁰
• Eu particularmente não espero que tudo isso aconteça como parte de um processo de desenvolvimento único e deliberado. Com o tempo, espero que diferentes sistemas de Inteligência Artificial sejam utilizados para tarefas diferentes e cada vez mais amplas, incluindo, principalmente, tarefas que ajudem a complementar as atividades humanas no avanço científico e tecnológico. Poderia haver muitos tipos de sistemas de IA, cada um com seu próprio modelo de receita e retroalimentação, e suas habilidades coletivas poderiam crescer a ponto de, em algum momento, algum conjunto deles conseguir realizar tudo (com relação ao avanço científico e tecnológico) que anteriormente exigiria o trabalho de um ser humano. (Por conveniência, porém, às vezes me referirei a um conjunto como PASTA no singular.)

O desenvolvimento do PASTA quase certamente será muito mais difícil e mais caro do que foi o desenvolvimento do AlphaZero. Pode ser necessário muita engenhosidade para contornar os obstáculos que existem atualmente (o cenário descrito acima é certamente radicalmente simplificado e está lá para fornecer intuições básicas). Mas a pesquisa de Inteligência Artificial está ficando simultaneamente mais barata⁷¹ e melhor financiada. Argumentarei em artigos futuros que as chances de desenvolver o PASTA nas próximas décadas são substanciais.

Impactos do PASTA

Avanço científico e tecnológico explosivo

Eu já falei sobre a ideia de uma potencial explosão em avanço científico e tecnológico, que poderia levar a um futuro radicalmente desconhecido.

Enfatizei que tal explosão poderia ser causada por uma tecnologia que “aumentou drasticamente o número de ‘mentes’ (humanos, ou pessoas digitais, ou IAs avançadas) impulsionando o avanço científico e tecnológico”.

O PASTA se encaixaria bem nessa definição, especialmente se fosse tão bom (ou melhor) quanto os humanos em encontrar maneiras melhores e mais baratas de fabricar mais sistemas PASTA. O PASTA teria todas as ferramentas necessárias para uma explosão de produtividade que eu havia planejado anteriormente para as pessoas digitais:

• Os sistemas PASTA poderiam fazer cópias de si mesmos, incluindo cópias temporárias, e executá-las em velocidades diferentes.
• Essas cópias poderiam se envolver no tipo de ciclo descrito em O Duplicador: “mais ideias [incluindo ideias para fazer mais/melhores sistemas PASTA] → mais pessoas [nesse caso mais sistemas PASTA] → mais ideias→…”

_{Obrigado a María Gutiérrez Rojas por estes gráficos., uma variação de gráficos semelhantes de O duplicador e Pessoas digitais seriam mais importantes ainda Ilustrando a dinâmica do crescimento explosivo. Aqui, em vez das pessoas terem ideias que aumentariam a produtividade, são os algoritmos de Inteligência Artificial (indicados por ícones de rede neural) que teriam essas ideias.}

Por que essa retroalimentação não se aplica aos computadores e IAs atuais? Porque os computadores e IAs atuais não conseguem fazer todas as coisas necessárias para ter novas ideias e serem copiados com mais eficiência.

Eles desempenham um papel na inovação, mas a inovação acaba sendo prejudicada pelos humanos, cuja população não cresce tão rapidamente. Isso é o que o PASTA mudaria (e é também o que pessoas digitais mudariam).

Além disso: ao contrário das cópias digitais de humanos, os sistemas PASTA poderiam não estar vinculados à sua identidade e personalidade existentes. Um sistema PASTA poderia fazer rapidamente qualquer edição em sua “mente” que o tornasse mais eficaz em impulsionar a ciência e a tecnologia. Isso poderia (ou não, dependendo de muitos detalhes) levar ao autoaperfeiçoamento recursivo e a uma “explosão de inteligência.”

Mas mesmo que isso não desse certo, ser simplesmente tão bom quanto os humanos em criar mais sistemas PASTA poderia causar um avanço explosivo pelas mesmas razões que as pessoas digitais causariam.

IA desalinhada: objetivos misteriosos e potencialmente perigosos

Se o PASTA fosse desenvolvido como descrito acima, é possível que soubéssemos muito pouco sobre seu funcionamento interno.

O AlphaZero — como outros sistemas modernos de deep learning — é, em certo sentido, muito mal compreendido. Sabemos que ele “funciona”. Mas não sabemos realmente “o que ele está pensando”.

Se quisermos saber por que o AlphaZero fez uma determinada jogada de xadrez, não podemos olhar dentro de seu código para encontrar ideias como “Controle o centro do tabuleiro” ou “Tente não perder minha rainha”. A maioria do que vemos é apenas um vasto conjunto de números, denotando a força das conexões entre diferentes neurônios artificiais. Assim como no cérebro humano, podemos apenas adivinhar o que as diferentes partes do “cérebro digital” estão fazendo⁷² (embora existam algumas tentativas iniciais de fazer o que se pode chamar de “neurociência digital”.)

Os desenvolvedores do AlphaZero (discutido acima) não precisavam de muita visão de como seus processos de pensamento funcionariam. Na maioria das vezes, eles apenas o configuraram para haver muitas tentativas e erros e evoluir para obter um resultado específico (ganhar o jogo que se está jogando). Os humanos também evoluíram principalmente por tentativa e erro, com pressão de seleção para obter resultados específicos (sobrevivência e reprodução — embora a seleção funcionasse de maneira diferente).

Assim como os humanos, os sistemas PASTA poderiam ser bons em obter os resultados que estão sob pressão para obter. Mas, assim como os humanos, eles poderiam aprender a pensar ao longo do caminho e a fazer todo tipo de coisas, e isso não seria necessariamente óbvio para os designers se isso estivesse acontecendo.

Talvez, por serem otimizados para impulsionar o avanço científico e tecnológico, os sistemas PASTA tenham o hábito de aproveitar todas as oportunidades que encontrarem para fazê-lo. Isso poderia significar que eles — se tiverem a oportunidade — tentarão preencher a galáxia com assentamentos espaciais duradouros dedicados à ciência.

Talvez o PASTA surja como um subproduto de outro objetivo. Por exemplo, talvez os humanos tentem treinar sistemas para ganhar dinheiro ou acumular poder e recursos, e configurá-los para fazer avanços científicos e tecnológicos será apenas uma parte disso. Nesse caso, talvez os sistemas PASTA acabem apenas como buscadores de poder e recursos e procurem colocar toda a galáxia sob seu controle.

Ou talvez os sistemas PASTA acabem com objetivos “aleatórios” muito estranhos. Sistemas PASTA podem desenvolver um foco excessivo no controle de energia se recompensados por isso, mesmo que o objetivo original seja diferente. Essa tendência pode levar a ações prejudiciais à medida que o sistema ganha poder. É crucial garantir o alinhamento de objetivos, monitorar o sistema e priorizar a transparência para evitar riscos.(Analogia: os humanos sofrem pressão de seleção para transmitir seus genes, mas muitos acabam se preocupando mais com poder, posição, prazer, etc. do que com genes.)

Essas são possibilidades assustadoras se estivermos falando de sistemas de Inteligência Artificial (ou coleções de sistemas) que podem ser mais capazes do que humanos em pelo menos alguns domínios.

• Os sistemas PASTA poderiam tentar enganar e derrotar os humanos para atingir seus objetivos.
• Eles poderiam ter sucesso total, se conseguissem ser mais espertos e/ou superar os humanos em número , hackear sistemas críticos e/ou desenvolver armas mais poderosas. (Assim como os humanos geralmente conseguem derrotar outros animais para atingir seus objetivos.)
• Ou poderia haver conflito entre diferentes sistemas PASTA com objetivos diferentes, talvez parcialmente (mas não totalmente) controlados por humanos com objetivos próprios. Isso poderia levar ao caos generalizado e a um resultado de longo prazo difícil de prever, possivelmente muito ruim.

Se você estiver interessado em mais discussões sobre se uma Inteligência Artificial poderia ou teria seus próprios objetivos, sugiro conferir: Porque o alinhamento da Inteligência Artificial pode ser difícil com o Deep Learning moderno (Postagem de convidado), Superintelligence (Super-inteligência), The case for taking AI seriously as a threat to humanity, (O caso para levar a Inteligência Artificial a sério como uma ameaça à humanidade – artigo da Vox, Draft report on existential risk from power-seeking AI (Rascunho do relatório sobre o risco existencial da busca de poder por IA) (análise da Open Philanthropy) ou um dos muitos outros artigos sobre este tópico.⁷³

Conclusão

É difícil prever como seria um mundo com o PASTA, mas duas possibilidades importantes seriam:

• O PASTA poderia – ao causar uma explosão na taxa de avanço científico e tecnológico – levar rapidamente ao desenvolvimento de algo como pessoas digitais e aos tipos de mudanças no mundo descritas em Pessoas digitais seriam mais importantes ainda.
• O PASTA poderia levar a uma tecnologia capaz de eliminar os seres humanos, como as armas biológicas devastadoras ou exércitos de robôs. Essa tecnologia poderia ser usada por humanos para seus próprios propósitos, ou humanos poderiam ser manipulados para usá-la para ajudar o PASTA a perseguir seus próprios fins. De qualquer maneira, isso poderia levar à distopia ou à extinção humana.

As próximas 3 postagens argumentarão ser provável que o PASTA seja desenvolvido neste século.

Notas

⁶⁴_{Claro, a resposta poderia ser “Daqui a um milhão de anos” ou “Nunca”.}

⁶⁵_{Veja esta seção de Forecasting TAI with Biological Anchors (Cotra (2020) (Prevendo a Inteligência Artificial Transformadora com âncoras biológicas) para uma definição mais completa de “IA transformadora”.}

⁶⁶_{Sinto muito. Mas acredito que o resto da série será um pouco mais divertido de ler dessa maneira.}

⁶⁷_{Os exemplos aqui são obviamente simplificados. Por exemplo, tanto o Deep Blue quanto o AlphaGo incorporam quantidades substanciais de “busca em árvore”, um algoritmo programado tradicionalmente, que possui seu próprio processo de “tentativa e erro”.}

⁶⁸_{E eles podem incluir a simulação de longas cadeias de estados futuros do jogo.}

⁶⁹_{Algumas IAs poderiam ser usadas para determinar se os artigos são contribuições originais com base em como eles forem citados posteriormente; outras poderiam ser usadas para determinar se os artigos são contribuições originais com base apenas no conteúdo do artigo e na literatura anterior. O primeiro poderia ser usado para treinar o último, fornecendo um sinal do tipo “Está correto” ou “Está errado” para julgamentos de originalidade. Métodos semelhantes poderiam ser usados para treinar IAs para avaliar a exatidão dos trabalhos.}

⁷⁰_{Por exemplo: https://openai.com/blog/improving-language-model-behavior/}

_{⁷¹Devido a melhorias no hardware e software.}

⁷²_{É até pior que código espaguete.}

⁷³_{Mais livros: Human Compatible, Life 3.0, e The Alignment Problem.}