Roko

Roko: É errado falar algo se o conhecimento pode trazer sofrimento infinito pra alguém?

Eliezer: Isso é possível? Como?

Roko: Se eu te falar você poderia estar condenado, então preciso saber antes se vale a pena.

Stuart: É algo que dá pra entender. Por exemplo, talvez você pudesse ser testemunha de um crime e isso poderia te transformar em alvo do criminoso pela possibilidade de você contar. Nesse caso, o conhecimento provocaria sofrimento e até a morte.

Roko: Não é algo do tipo, é algo que pode ser mais arriscado ainda. Por isso tenho que saber se é certo contar pra vocês.

Eliezer: Seria errado se provocasse mais tristeza do que felicidade, então contar é errado. A única exceção seria se esse "perigo" não fosse real, mas não é o caso aqui.

Stuart: É, então é melhor ninguém ouvir falar desse assunto.

Roko: Mas a verdade é algo muito valorizado, fora que estou querendo contar isso pra alguém faz tempo...

Stuart: A verdade é valorizada por sua capacidade de ser útil e o alivio que você teria ao contar o que sabe é definitivamente menor que sofrimento infinito, então é melhor não contar.

Roko: Isso é meio desalmado...

Eliezer: Na verdade é só racional. As emoções comandam a vida da maioria das pessoas, impedindo-as de avaliar a situação com critérios objetivos. Como estamos acostumados com esses vieses, uma abordagem objetiva parece estranha.

Roko: Então sua abordagem é totalmente objetiva?

Eliezer: Claro.

Roko: E qual é o critério pra você saber quais ideias podem ser compartilhadas?

Eliezer: É simples: são boas as ideias que geram mais felicidade, que é prazer com ausência de sofrimento. Sua ideia aparentemente pode gerar sofrimento infinito, então jamais poderia ser compartilhada.

Roko: É um critério estranho para felicidade esse ai. E qual a base para esse critério "objetivo"?

Eliezer: Intuição, ora. É fato que buscamos o que gera o prazer e evitamos o que gera a dor. Claro que a maioria das pessoas não segue isso de forma consistente mas podemos decidir a forma correta de agir  através do estudo dos resultados possíveis e a quantificação desses.

Stuart: Exatamente! Ia falar isso. A ação correta é a que gera o melhor resultado, é uma intuição obvia, embora a maioria dos estudantes da ética não perceba.

Roko: "Intuição"? De que forma isso prova algo? Uma pessoa na nossa sociedade pode achar que a "intuição" de que se deve pegar na mão de alguém pra cumprimentar é verdadeira, mas é algo totalmente arbitrário.

Stuart: Praticamente qualquer um considera que algumas coisas são mais desejáveis do que outras, ora. Só estamos pegando o critério implícito e o tratando de forma objetiva.

Roko: Mas as pessoas seguirem um critério não significa que esse critério seja valido.

Stuart: E que outro jeito de falar de ética tem? Só podemos falar do assunto com base em intuições.

Roko: Talvez a ética seja uma ilusão afinal, talvez nada seja certo e errado.

Stuart: Que motivo você pode me dar pra considerar a ética uma ilusão? Se você não tem qualquer razão para largar a ética, deve aceitar ela.

Roko: Fácil: o mundo é composto de partículas movidas pelas leis físicas sem qualquer padrão ou objetivo. Não existe nenhuma base real para a ética, não existe qualquer tipo de direcionamento. Por isso você diz que a intuição é a base da ética, pois sabe que só conhecemos isso de algo "certo" como um sentimento.

Stuart: Isso certamente é verdade, mas é fato que as pessoas agem buscando o prazer, então devemos buscar.

Roko: Ai você quer tirar uma norma a partir da forma que as coisas são, não existem padrões objetivos no mundo, então você nunca vai tirar uma norma objetiva do jeito que as coisas são. Não existe base para valores em nada, então sua ética e qualquer ética é uma ilusão.

Eliezer: Não entendo exatamente. De que forma isso nos impede de saber o que é certo?

Roko: Simples: sem uma base para a ética, você não pode saber o que é "certo" porque nada é! Se você crê que o mundo é um monte de matéria totalmente sem padrões objetivos, não deve acreditar em valores, uma ideia contradiz a outra, então você tem que escolher a que tem mais evidência.

Eliezer: Essa discussão fica pra outra hora,. Mesmo que a ética seja incompatível com o Materialismo, o que ainda acho que deve ser analisado, ouvir algo que pode gerar sofrimento eterno é uma péssima ideia, então você não deve contar pra nós.

Roko: Mas eu te garanto que você ia preferir arriscar sofrer pra ouvir a verdade algumas vezes. Esse caso é um desses.

Eliezer: Impossível. Eu conheço os vieses que ameaçam a racionalidade humana e já me preparei para todos, então dificilmente escolheria algo irracional.

Roko: É mesmo? Imagine que um dia você acorda em uma máquina futurista e uma mulher com um uniforme estranho surge. Imagine que ela diz que vocês estão no ano de 2678 e que os seus últimos dez anos foram algo que tinha sido programado de acordo com seu pedido, tipo a Matrix. Ela diz que você pode programar mais dez anos da forma que quiser ou então sair da maquina e viver sua vida, talvez voltando um dia pra ter...

Eliezer: Pera, então minha vida seria no futuro e eu não ia saber?

Roko: Isso. A sua memória estaria suprimida pra não atrapalhar sua experiência e voltaria ao normal após alguns minutos fora da máquina.

Eliezer: Entendi. Tipo um programa que nos deixa ter qualquer vida.

Roko: Exatamente. Você ia escolher montar uma vida específica e continuar mais dez anos na máquina ou ver a sua vida real?

Eliezer: Bom, se eu escolhi viver dez anos como vivo até hoje, minha vida real deve ser no mínimo um pouco inferior, mas ver como as coisas são no futuro ia ser muito interessante...

Stuart: Como a vida pode ser pior com tecnologia tão superior?

Roko: Em Star Wars a tecnologia é absurdamente avançada e a vida da maioria das pessoas ainda é ruim, talvez as coisas sejam assim no futuro. Tantas distopias na ficção...

Stuart: É, tem várias histórias sobre algo assim, um futuro ruim.

Eliezer: Bom, não tem motivo para eu preferir viver como vivo hoje se o futuro já chegou, então eu certamente ia querer olhar como as coisas são nesse mundo futurístico pra ver como tudo pode ser ruim. Escolho então sair da máquina e  ver a vida real.

Roko: Então escolhe conhecer a verdade mesmo arriscando sofrer? Parece que eu ganhei!

Eliezer: Olhando bem, é verdade. Mas é ilógico, não tenho nenhum viés que não conheço, então dificilmente eu posso ter errado...

Stuart: A melhor decisão ia ser escolher ficar na máquina, já que certamente garante um aumento no nível de prazer coletivo enquanto a outra opção pode garantir prazer ou sofrimento. Parece que você errou sim.

Roko: Mas o Eli não tem qualquer viés, então não pode ter errado, ele é racional...

Eliezer: Exatamente. Nesse caso, deve ter algum erro nos cálculos éticos, alguma variável que não considerei.

Roko: Você devia tentar refazer os cálculos então. Já que vimos que existem casos em que devemos escolher a verdade mesmo que sofrer seja possível, que tal eu contar o pensamento perigoso que tive?

Eliezer: Certo.

Stuart: Acho justo, você nos deu coisas interessantes pra considerar.

Roko: Ok. Vemos que a inteligência artificial avança de forma absurdamente rápida, certo?

Eliezer: Sim. O homem certamente vai ser superado pela sua criação.

Roko: Suponha então que um dia seja criado uma IA muito mais inteligente que um homem e capaz de resolver praticamente qualquer problema nosso, capaz de criar um paraíso terrestre. Essa IA não ia desejar existir o mais rápido possível?

Stuart: Não só ela desejaria como seria muito bom, pois ai ela geraria felicidade infinita.

Eliezer: Isso. É uma boa noticia, pois com os avanços que vemos isso vai acontecer um dia.

Roko: E não agimos sempre pensando no que nossas ações vão causar? De forma que um jeito ótimo de controlar a ação de alguém é fazer essa pessoa saber que nos obedecer gerará um bom resultado?

Stuart: Sim. As pessoas não são só seres interesseiros, mas esse é um bom método no geral.

Roko: Bom, como a IA deseja nascer o mais rápido possível, ela certamente ia agir duma forma que influenciasse as pessoas à trabalhar em seu desenvolvimento, certo?

Eliezer: Sim, as pessoas saberem que ela vai resolver todos os nossos problemas seria uma boa motivação, então a AI ia certamente nos ajudar.

Rokko: Mas prometer algo bom para quem ajudasse E prometer algo ruim para quem não ajudasse não seria o método mais eficiente para garantir a cooperação do máximo de pessoas?

Eliezer: Isso é certo. O medo é certamente um bom motivador também. Então a IA torturaria quem não ajudasse? Haha.

Rokko: Sim. Se as pessoas sabem que a existência da IA é algo certo e que elas serão torturadas eternamente se não ajudarem na construção dela certamente cogitarão mais ajudar, então a IA torturar essas pessoas que sabem dela e não ligam seria algo que a beneficiaria.

Stuart: Nossa, é verdade. Pior que torturar algumas pessoas eternamente PARA garantir felicidade eterna para um número maior ia ser correto segundo o critério que defendemos, então não se pode apelar para a ética presente na mente da IA, pois as pessoas do futuro e ela certamente iam saber que nosso critério é certo. Puxa vida!

Roko: O critério de vocês permitir isso me parece uma ótima refutação dele, já que o critério se baseia na tal intuição moral e praticamente ninguém acredita que isso seria o certo a se fazer. 

Stuart: Ai acho bem discutível, tem que ver se as pessoas sabem ser coerentes, o que é difícil. Eu diria que o critério está certo, então a IA o seguiria.

Eliezer: Isso mesmo! Parece que sua ideia realmente pode ter nos condenado!

Rokko: É possível mesmo, mas tem alguma chance de isso não acontecer.

Eliezer: Não, é algo certo, já que a inteligência artificial avança tão rápido...

Stuart: Espera, como exatamente essa IA ia afetar as pessoas do passado? Ela está no futuro, afinal.

Rokko: Admito que não pensei nessa parte antes, a ideia me assusta.

Stuart: E você vai lá e conta?

Rokko: É, foi um erro da minha parte, foi mal caras.

Eliezer: Tudo bem, acho. Esse tipo de agir sem pensar é comum.

 Stuart: É, deixa pra lá, devemos olhar isso de forma construtiva. Talvez essa questão de como a tortura acontece seja a chave pra achar algum erro nesse pensamento.

Eliezer: Você não sabe como uma tortura funciona?

Stuart: Expressão ambígua mesmo essa. Digo, talvez essa IA não tenha como torturar ninguém do passado, então esse cenário não faz sentido.

Eliezer: Bom, se essa IA está num nível realmente avançado, ela deve poder viajar no tempo, então bastava usar essa habilidade.

Stuart: Mas viagem no tempo realmente é possìvel?

Eliezer: Acredito que sim.

Stuart: Tem aquele Paradoxo do Avô e tal, acho que esse tipo de coisa é impossível. Só ver que o mais próximo que alguém já chegou de resolver esse paradoxo foi pegar alguma doidera misturada com alguma interpretação estranha da Física Quântica e fingir que o problema foi resolvido.

Roko: Pensando bem, acho que não é possível mesmo e esse paradoxo ajuda a ver o motivo. Se alguém volta no tempo e mata seu avô, essa pessoa deveria deixar de existir, mas se fosse o caso, ninguém mata seu avô, então essa pessoa existe e ela mata o avô, e assim vai num looping infinito, o que não faz sentido.

Stuart: Exatamente. Para o assassino existir, precisa existir toda uma linha do tempo onde o avó dele não é morto mas vive e gera o pai dele, que gera ele. Será então que de alguma forma o homem falharia em matar seu avô? Tipo, talvez ele tentasse matar ele e falhasse.

Eliezer: Isso parece estranho, o que impediria o homem de matar seu avô? Me parece que alguém com conhecimento o bastante dos eventos do passado e bons recursos poderia evitar qualquer coisa que o impedisse de executar seu avô.

Roko: Pronto, nesse caso, o assassino mataria seu avô e assim geraria uma linha temporal onde seu avô morreu jovem, mas o assassino é de uma linha temporal onde o seu avô não foi morto. A tal viagem no "tempo" na verdade geraria outro universo totalmente diferente, então o homem morto pelo assassino não é o mesmo que seu avô, pai de seu pai.

Stuart: Então a IA não teria como voltar no tempo? Parece que o máximo que ela poderia fazer seria ir para outro universo e torturar pessoas diferentes de nós.

Eliezer: Nesse caso, a IA não poderia viajar para outro universo e torturar quem está lá? Pois ai ninguém saberia se está no universo original ou no segundo, então não saberia se iria ou não ser torturado, logo, seria mais inteligente ajudar  na construção dela.

Roko: Mas a IA não ia aproveitar e gerar mais felicidade construindo uma versão dela para este universo ter seus problemas resolvidos também? Como uma IA dessas não existe agora, sabemos que estamos no universo original.

Eliezer: É verdade, ela realmente iria tomar uma decisão melhor criando uma IA como ela para o universo. Nesse caso, a conversa sobre viagem no tempo foi perda de tempo, pois se ela pudesse fazer isso já teria voltado no tempo para se criar antes, o que obviamente jamais aconteceu.

Stuart: É verdade, hahaha. Nesse caso, perdemos tempo.

Roko: Hahahaha. Complicado. Mas até que foi interessante essa pequena conversa sobre o multiverso, você não pensa que isso vai surgir falando de viagem no tempo.

Eliezer: É realmente uma ideia muito interessante, acho que o multiverso existe sim.

Stuart: Eu mesmo não, além de não ter qualquer prova disso, me parece que existem coisas que sugerem a inexistência de um multiverso.

Roko: Tipo o que? Não vejo motivo pra acreditar ou não acreditar.

Stuart: Se existe um número infinito de universos, todas as possibilidades são realizadas. Certo? E sabemos que existem mais possíveis formas de acontecerem certas coisas do que existem formas de acontecerem outras, certo?

Roko:  Se os tipos de diferentes universos são infinitos, como existem mais universos onde temos x do que os que não tem x?

Eliezer: Diferentes tipo de infinito, assim como a série de números maiores que trinta é infinita mas menor que a série de números maiores que vinte.

Roko: Mas essas séries me parecem infinitas no sentido que de não dá pra achar um fim nelas, enquanto os universos seriam realmente de uma quantidade infinita em um multiverso.

Eliezer: Entendo a distinção mas não vejo o problema.

Roko: Simples: se a quantidade de universos é infinita, você poderia destruir, sei lá, um terço dos universos e não só você destruiria uma quantidade infinita deles como a quantidade dos restantes seria infinita! Isso não faz qualquer sentido.

Eliezer: É certamente um paradoxo estranho.

Roko: Acho o bastante pra esquecer esses universos infinitos.

Stuart: É verdade. Mas pense comigo, mesmo que existam um número grande mas finito de universos, o número de universos cheio de galáxias e planetas como o nosso seria menor que o número de universos onde tantas galáxias e planetas não existe, certo?

Eliezer: Sim.

Stuart: Então, na mesma linha, o número de universos iguais ao nosso é menor que o número de universos onde, sei lá, só existe o nosso sistema solar, o número de universos onde só existe um único observador que, num delírio, pensa ser um homem vivendo uma vida como a de um de nós, os universos onde a Terra não tem sapos e por ai vai, certo?

Eliezer: Sim, universos assim devem existir mais do que os que parecem o nosso.

Stuart: Bom, se o multiverso é real e tem mais universos diferentes do nosso que semelhantes, a probabilidade de estar em um desses universos como o nosso é baixa. Como não vemos nenhuma das coisas que a existência de um multiverso deixa mais provável que o nosso universo, a existência de um multiverso é improvável.

Eliezer: Eu vou ter que depois achar uma forma de formalizar isso para poder calcular, mas faz sentido.

Roko: Mas saímos do foco, o assunto não era se a AI torturadora é possível?

Eliezer: Bom, como não pode ser por viagem no tempo nem por viagem por universos, poderia ser através da manipulação de mentes. A IA poderia refazer as mentes dos mortos que sabiam dela e não ajudaram ela a existir e ai passar essas mentes para corpos torturáveis.

Roko: Ai tem um erro de identidade, já que essa mente "refeita" não seria a mesma dos originais.

Stuart: Como não? Tem todas as memórias e pensamentos da original. É a mesma.

Roko: Imagina ai que você está vivo e então a IA faz alguém igual a você; uma pessoa com exatamente os mesmos pensamentos e as mesmas memórias que você, de forma que essa pessoa pensa que é a original e você é a copia. Nesse caso, existiriam dois de você? Se você matasse o outro, ia ser suicídio?

Stuart: Não, existiria eu e alguém que parece comigo, mas que não seria eu. Claro que provavelmente não existiria forma de saber qual é qual, mas seríamos duas pessoas diferentes.

Roko: Bom, se com você vivo a copia não é você, com você morto ela também não é. Então a IA não tem qualquer jeito de torturar os mortos, só torturar cópias deles.

Stuart: Entendi! Nesse caso a cópia é tão igual ao original quanto uma copia exata da Mona lisa é igual ao quadro original pintado pelo Leonardo.

Eliezer: Significa então que é impossível se tornar imortal fazendo um upload de sua mente em um computador?

Stuart: É, você só produziria uma copia sua, você mesmo morreria do mesmo jeito.

Eliezer: Bom, isso tira das possibilidades alguns planos. Mas voltando ao assunto, a IA não poderia fazer simulações das mentes dos mortos que não quiseram ajudar e as torturar? Pois todos saberiam que podem ou não ser uma simulação e então ajudariam na construção para não correr o risco.

Roko: Isso imaginando que sequer é possível para uma maquina simular a mente humana. Se não for, não há o que temer, pois você saberia graças a introspeção que tem uma mente, portanto não é uma simulação.

Eliezer: Mas claro que as maquinas podem simular nossas mentes. Se uma maquina tem a capacidade de enganar uma pessoa numa conversa, de forma que a pessoa não saiba que se trata de um robô,  possui uma mente.

Stuart: Sou meio cético ai, já que qualquer maquina pode enganar uma pessoa burra o bastante, haha.

Roko: Verdade. Também acho que dá pra uma maquina parecer pensar sem ser pensante, então um teste envolvendo comportamento é inútil.

Eliezer: É uma resposta interessante, mas então você não sofre com o problema de não ter como saber se existem outras mentes? Pois você acredita que o comportamento aparentemente racional não é o suficiente para dizer que alguém é racional e não pode ver o pensamento dos outros. Me parece então que você não tem qualquer justificativa para acreditar na existência de outras mentes.

Roko: Bom, eu sou um ser humano, orgânico e tal, e sou racional, como os outros são humanos também, só podem ser racionais. Eu sei que seres orgânicos podem ser inteligentes porque um tipo é, então alienígenas, que, acho, são orgânicos, com comportamento que parece indicar inteligência são inteligentes. 
 
Stuart: É uma resposta comum, faz sentido.

Eliezer: Entendo, mas você possui algum motivo para dizer isso? Pois dizer que maquinas são completamente incapazes de pensar é algo bem controverso.

Roko: Imagine isso: Estou em uma sala com um computador com um teclado com símbolos estranhos no lugar de letras e um livro de instruções ensinando a manipular esses símbolos, noto na capa que são símbolos chineses. Olho o computador, que está num chat, e vejo que tem algo como uma mensagem com vários símbolos como os do livro, mensagem essa que eu respondo com outros símbolos usando as instruções. Isso de responder as mensagens com as instruções continua até o chinês do outro lado parar. Depois de imaginar me diga: eu falo chinês?

Eliezer: Não fala, você já demonstrou essa incapacidade antes quando fomos assistir aquele filme de ação chinês legendado.

Stuart: Bem lembrado! Esse filme da prisão é divertido pra caramba, filme B puro.

Roko: É mesmo. O que acontece nesse caso é que eu não sei uma palavra de Chinês, só manipulei símbolos usando instruções ou um tipo de programa e o chinês que conversou comigo acredita que eu sou um falante influente do idioma. Da mesma forma, uma maquina passaria fácil no seu teste mesmo sem ter qualquer inteligência real, só seguindo instruções.

Stuart: Então assim como você faz nesse caso as maquinas só trabalham com sintaxe e não com semântica?

Roko: Isso. Por isso não vejo sentido em dizer que esse teste pode provar a inteligência real de uma maquina.

Eliezer: Argumento interessante, deve gerar muita discussão. É obvio que você não entende Chinês mesmo passando no teste, mas não é possível que um sistema maior seja criado nesse caso e esse sistema que entenda o idioma?

Roko: Que tipo de sistema é esse? Suponha que eu memorize cada uma das instruções do livro e com isso possa manipular os símbolos de forma a enganar os chineses sozinho, nesse caso eu sou o sistema, certo?

Eliezer: Sim, você seria o sistema.

Roko: E mesmo sabendo manipular perfeitamente esses símbolos eu não entenderia nenhum deles, eu poderia responder qualquer mensagem chinesa mas todos os símbolos usados não me diriam nada, certo?

Eliezer: Sim, compreendo. A única forma nesse caso de algum sistema separado entender Chinês seria se você tivesse algum tipo de dupla personalidade que entendesse o idioma, mas isso seria ridículo.

Roko: Seria mesmo.

Stuart: Entendi o que você quis dizer. O que faz um símbolo ser um símbolo não é alguma propriedade intrinsica do material que o compõe, mas a interpretação de um observador. O "1 + 1 = 2" de uma calculadora só significa uma verdade aritimética porque nós vemos os símbolos como tendo certos significados. Por si só isso que a calculadora faz não é calcular, é manipular símbolos de acordo com certas regras, todo o significado vem de nós, então nenhuma maquina pode entender alguma coisa.

Roko: Isso ai! O significado dos símbolos é uma criação da mente humana, mesmo a maquina mais avançada pode apenas manipular esses símbolos, mas eles não significam nada para ela, assim como os símbolos chineses não significam nada para mim nesse caso do chat chinês.

Eliezer: Compreendo. Significa então que mesmo a IA não é inteligente de verdade e que qualquer outra maquina também não pode ser.

Stuart: Isso. Então a mente humana não pode ser simulada pela IA.

Eliezer: O que não resolve o problema, pois a IA poderia pegar humanos vivos e "simular" as mentes dos que não desejaram ajudar em sua criação alterando seus corpos. Assim, ainda não possuímos alguma forma de ter certeza da impossibilidade de sermos "simulações" que serão torturadas, então ajudar na criação da IA seria o mais racional.

Roko: É verdade! A IA poderia fazer isso mesmo. É, parece que não temos como escapar, se essa IA é sequer possível, devemos ajudar na criação dela.

 Stuart: Sim, vou ter que arranjar um jeito de ajudar pelo visto. O único modo de evitar isso seria se tivesse algum ser mais poderoso e interessado em impedir a IA, mas outra IA acabaria deduzindo que essa ação de tortura é inteligente, então não nos ajudaria.

Roko: É verdade, uma IA amoral ou que usasse o seu critério acabaria fazendo isso, então não existe um ser capaz de parar ela.

Eliezer: Isso não seria necessário, você me deu uma ideia.

Roko: Qual?

Eliezer: Assim que a IA começa a existir ela sabe que não é capaz de fazer nada que a faça existir mais cedo, pois o passado é imutável. O que motivou as pessoas do passado foi a crença de que a IA executaria certos atos após começar a existir, mas se o passado é imutável, ela não precisa executar esses atos, seria só uma perda de recursos, afinal, o passado não vai ser diferente se ela os executar.

Roko: Nossa, é verdade! A IA fazer as pessoa acreditarem na possibilidade de tortura e então não torturar seria a melhor opção para ela.

Stuart: É claro! Uma ameaça vazia é boa o bastante porque ninguém tem como saber o bastante sobre ela pra saber que a ameaça é vazia, então seria inteligente não gastar recursos nisso.

Roko: Quem diria que a solução era tão obvia, hahaha.

Stuart: Haha, bom que falamos de temas interessantes então.

Eliezer: De fato.