A IA que parou de explorar para olhar chuvisco
Em 2018 um grupo de pesquisadores soltou um programa de aprendizado dentro de um labirinto virtual. A regra de pagamento era uma só: o programa ganha quando encontra alguma coisa que não tinha conseguido prever. Quanto mais surpreendente a cena, maior o prêmio.
Chamaram isso de curiosidade, e funcionou. O programa varria o labirinto inteiro atrás de canto novo.
Aí eles puseram uma televisão no labirinto. Passando ruído, com um botão para trocar de canal.
O programa achou a televisão e parou ali.
Por que ele parou
A primeira leitura, que é a errada, é dizer que ele se distraiu. Ou que gostou. Não tem ninguém ali para gostar de nada.
A leitura certa é aritmética. Ruído é imprevisível por definição: cada quadro é diferente do anterior e nenhum deles dá para antecipar. Se o pagamento vem da surpresa, uma tela de chuvisco é uma fonte de pagamento que não acaba nunca.
O programa não quebrou. Ele estava fazendo exatamente o que mandaram fazer, melhor do que os pesquisadores gostariam.
Vale registrar o tamanho do achado antes de seguir. O que os autores relatam é que a televisão atrasa muito o aprendizado, e não que o programa congela para sempre. Em execuções longas ele às vezes volta a resolver o labirinto.
Isso tem nome desde antes de existir tela
Existe um esquema de reforço chamado razão variável. Ele consiste em entregar o prêmio depois de um número imprevisível de respostas, com uma média por trás.
A definição de Rachlin é mais limpa que a minha: o reforçador é entregue na primeira resposta emitida depois que um número variável de respostas foi emitido. Uma razão variável de 10 paga depois de um número de respostas sorteado, com média 10.
Repara no que muda e no que fica igual. O prêmio é o mesmo. O que varia é a hora dele.
A parte que interessa
Se fosse só uma curiosidade de laboratório, não valia post. O que faz esse esquema importar é o que ele produz.
Comparada à razão fixa, a razão variável aguenta exigência mais alta antes de o comportamento desandar, e resiste bem mais à extinção. Extinção aqui é o nome técnico para o prêmio parar de vir.
Traduzindo a segunda parte, que é a que pega: quando o pagamento acaba, o comportamento que foi sustentado por imprevisibilidade demora muito mais para morrer do que o que foi sustentado por regularidade.
É por isso que máquina caça-níquel não paga a cada dez jogadas. Pagar de forma regular seria mais barato e faria o jogador ir embora mais cedo.
O labirinto de todo mundo
Junta as três coisas. Novidade paga. Ruído nunca repete. O imprevisível é o que menos se larga.
As três juntas já descrevem um feed. Você não rola atrás de informação, e dá para conferir isso sozinho: pergunte o que você foi buscar da última vez, e se achou. Rola atrás do que ainda não dá para prever, e é por isso que não existe um ponto natural de parada. A próxima tela pode ser qualquer coisa, e é justamente esse "pode ser qualquer coisa" que paga.
Sherry Turkle descreve um lugar parecido, citando o trabalho de Natasha Schüll com jogadores: a zona da máquina, onde o objetivo não é ganhar, é ficar.
A diferença entre você e o programa do labirinto é que ninguém precisou te programar.
Uma ressalva que eu não quero deixar de fora
O experimento da televisão é de aprendizado de máquina. Ele não é evidência sobre o cérebro humano, e nenhum estudo de agente virtual prova coisa alguma sobre o seu domingo à tarde.
A ponte entre uma coisa e outra é analógica, e eu estou fazendo ela de propósito. Quem sustenta a parte humana é a literatura de esquemas de reforço, que é bem mais velha, bem mais chata e não precisa de inteligência artificial nenhuma para funcionar.
A máquina serve como espelho, e é só isso que eu peço dela aqui. Ela mostra a estrutura limpa, sem história de vida em cima, sem culpa, sem ninguém para responsabilizar. É mais fácil enxergar o mecanismo quando o bicho que caiu nele não é você.
Referências
- Burda, Y., Edwards, H., Pathak, D., Storkey, A., Darrell, T., & Efros, A. A. (2018). Large-Scale Study of Curiosity-Driven Learning. arXiv:1808.04355.
- Shane, J. (2019). You Look Like a Thing and I Love You. Voracious.
- Rachlin, H. (1989). Judgment, Decision, and Choice: A Cognitive/Behavioral Synthesis. W. H. Freeman.
- Martin, G., & Pear, J. (2019). Behavior Modification: What It Is and How To Do It (12ª ed.). Routledge.
- Turkle, S. (2011). Alone Together: Why We Expect More from Technology and Less from Each Other. Basic Books.
O que está aqui é o mecanismo, resolvido na lousa. A aplicação no seu caso é conversa de terapia, e como funciona a primeira está explicado no site.
--- Eu escrevo sobre esse tipo de coisa no Instagram algumas vezes por semana. Aparece por lá.
Fabricio José Dudek Kalfels · Psicólogo · CRP 12/30506 Atendimento online, em todo o Brasil.