Comparando com os livros mais vendidos de “psicologia popular”, o Rápido e Devagar: duas formas de pensar é um bom livro introdutório. Não é atoa que incluí dos melhores livros de Psicologia para iniciantes.
Mas é só um começo. É bom já começar sabendo que há problemas nele. O próprio autor, Daniel Kahneman, vencedor de um prêmio Nobel, admitiu os erros.
Dá uma olhada na tradução livre de um publicação no Retraction Watch:
“Eu confiei demais em estudos de baixa potência:” ganhador do Prêmio Nobel admite erros
Embora seja a coisa certa a se fazer, nunca é fácil admitir o erro – principalmente quando você é um cientista extremamente famoso cujo trabalho está sendo dissecado publicamente. Então, embora não seja uma retratação, achamos que vale a pena notar: um pesquisador ganhador do Prêmio Nobel admitiu em um blog que se baseou em estudos fracos em um capítulo de seu livro best-seller.
O blog – de Ulrich Schimmack, Moritz Heene e Kamini Kesavan – criticou as citações incluídas em um livro de Daniel Kahneman , um psicólogo cuja pesquisa iluminou nossa compreensão de como os humanos formam julgamentos e tomam decisões e lhe rendeu metade do Prêmio Nobel de 2002 . em Economia .
De acordo com o blog de Schimmack et al ,
…os leitores de seu livro [de Kahneman] “Thinking Fast and Slow” não devem considerar os estudos apresentados como evidência científica de que sinais sutis em seu ambiente podem ter fortes efeitos em seu comportamento fora de sua consciência.
Notavelmente, Kahneman aproveitou o tempo para postar uma resposta detalhada no blog, escrevendo:
O que o blog acertou é que eu depositei muita fé em estudos de baixa potência. Como apontado no blog, e anteriormente por Andrew Gelman, há uma ironia especial em meu erro porque o primeiro artigo que Amos Tversky e eu publicamos foi sobre a crença na “lei dos pequenos números”, que permite aos pesquisadores confiar na resultados de estudos de baixa potência com amostras excessivamente pequenas. Também citamos Overall (1969) por mostrar “que a prevalência de estudos deficientes em poder estatístico não é apenas um desperdício, mas na verdade pernicioso: resulta em uma grande proporção de rejeições inválidas da hipótese nula entre os resultados publicados”. Nosso artigo foi escrito em 1969 e publicado em 1971, mas não consegui internalizar sua mensagem.
Entramos em contato com Kahneman, que confirmou que realmente postou essa resposta no blog Replicability-Index. É louvável que alguém de sua estatura reserve um tempo para reconhecer e responder às críticas de seu trabalho de maneira tão transparente. (Isso também lhe rendeu elogios do estatístico da Columbia Andrew Gelman.)
O blog – que fará mais sentido para pessoas versadas em estatística – é sobre as citações de Kahneman de pesquisas sobre “priming“, em que a memória de algo pode influenciar inconscientemente o comportamento de uma pessoa daqui para frente.
Como os autores observam em seu blog sobre o trabalho de Kahneman:
No início de 2012, Doyen e colegas publicaram uma falha em replicar um estudo proeminente de John Bargh que foi apresentado no livro de Daniel Kahneman. Alguns meses depois, Daniel Kahneman se distanciou da pesquisa de Bargh em um e-mail aberto endereçado a John Bargh.
Assim, os pesquisadores decidiram classificar os estudos citados por Kahneman de acordo com seu poder e uma medida conhecida como “índice R”, descrita aqui. Como Schimmack, Heene e Kesavan escrevem em seu blog:
Para corrigir a inflação no poder, o R-Index usa a taxa de inflação. Por exemplo, se todos os estudos forem significativos e o poder médio for de 75%, a taxa de inflação será de 25%. O R-Index subtrai a taxa de inflação da potência média. Assim, com resultados 100% significativos e poder observado médio de 75%, o R-Index é de 50% (75% – 25% = 50%). O R-Index não é uma estimativa direta do poder real. Na verdade, é uma estimativa conservadora do poder real se o R-Index estiver abaixo de 50%. Assim, um R-Index abaixo de 50% sugere que um resultado significativo foi obtido apenas capitalizando o acaso, embora seja difícil quantificar em quanto.
Eles concluíram:
Os resultados são surpreendentes e de cair o queixo. O capítulo cita 12 artigos e 11 dos 12 artigos têm um índice R abaixo de 50. A análise combinada de 31 estudos relatados nos 12 artigos mostra resultados 100% significativos com poder observado médio (mediano) de 57% e uma taxa de inflação de 43%. O índice R é 14.
Kahneman respondeu:
O argumento é inescapável: estudos com pouca potência para a detecção de efeitos plausíveis devem ocasionalmente retornar resultados não significativos, mesmo quando a hipótese da pesquisa é verdadeira – a ausência desses resultados é evidência de que algo está errado no registro publicado. Além disso, a existência de um efeito de gaveta de arquivo substancial mina as duas principais ferramentas que os psicólogos usam para acumular evidências para uma ampla hipótese: meta-análise e replicação conceitual. Claramente, a evidência experimental para as ideias que apresentei naquele capítulo era significativamente mais fraca do que eu acreditava quando a escrevi. Isso foi simplesmente um erro: eu sabia tudo o que precisava saber para moderar meu entusiasmo pelas descobertas surpreendentes e elegantes que citei, mas não pensei nisso.
Ele concluiu:
Ainda estou apegado a todos os estudos que citei, e não deixei de acreditar neles, para usar a frase de Daniel Gilbert. Eu ficaria feliz em ver cada um deles replicado em uma grande amostra. A lição que aprendi, no entanto, é que os autores que revisam um campo devem ser cautelosos ao usar resultados memoráveis de estudos de baixa potência como evidência de suas alegações.
***
Os erros não são motivo para lamentar ou diminuir o autor. Pelo contrário, um cara como o Kahneman ter a humildade de admitir os erros é um ótimo sinal de confiabilidade. Ciência é assim, novos estudos aparecem, adquirimos novos conhecimentos. O mais importante não é ter o conhecimento certo em um dado momento no tempo, mas ter a capacidade de melhorar esse conhecimento sempre.
