[정보📚] 대니얼 카너먼이 '점화효과'에 대한 기존 주장을 철회하다

[보미코(five0141)]

[원문]

Although semantic, associative, and form priming are well established,[58] some longer-term priming effects were not replicated in further studies, casting doubt on their effectiveness or even existence.[59] Nobel laureate and psychologist Daniel Kahneman has called on priming researchers to check the robustness of their findings in an open letter to the community, claiming that priming has become a "poster child for doubts about the integrity of psychological research."[60] In 2022, Kahneman described behavioral priming research as "effectively dead."[61] Other critics have asserted that priming studies suffer from major publication bias,[11] experimenter effect[12] and that criticism of the field is not dealt with constructively.[62]

[번역문]

의미적, 연상적, 형태적 점화 효과는 확고히 자리 잡고 있지만,[58] 일부 장기간에 걸친 점화 효과는 후속 연구에서 재현되지 않아 그 효과성이나 심지어 존재 자체에 의문이 제기되고 있습니다.[59] 노벨상 수상자이자 심리학자인 대니얼 카너먼은 학계에 보내는 공개 서한에서, 점화 효과가 "심리학 연구의 진실성에 대한 의구심을 보여주는 대표적인 사례(poster child)"가 되었다고 주장하며, 점화 연구자들에게 자신들의 연구 결과가 얼마나 탄탄한지(robustness) 점검할 것을 촉구했습니다.[60] 2022년에 카너먼은 행동 점화 연구가 "사실상 죽었다(effectively dead)"고 표현했습니다.[61] 다른 비평가들은 점화 연구가 심각한 출판 편향[11]과 실험자 효과[12]를 겪고 있으며, 해당 분야에 대한 비판이 건설적으로 다뤄지지 않고 있다고 주장했습니다.[62]

출처: 영어 위키백과의 '점화효과Priming (psychology)' 항목

------------

[원문]

If a large and diverse body of published evidence supports a conclusion, you must believe in it. You are not allowed to believe onIy results that seem plausible to you.

I will now share a personal experience of belief perseverance that I cannot shake. Ten years ago, when I was young and foolish, I published Thinking, Fast and Slow. An important chapter in that book was concerned with behavioral priming. For example, the famous study in which people who have been made to think of old age walk more slowly than they normally would. I felt at the time that the evidence was important to my view. And I credited the author of that particular study, John Bargh, with being a significant influence on my work.

The spectacular results that I described in that chapter were mentioned in most reviews of my book and came up more often than anything else in the letters that I got about it. I was completely committed to believing those findings, and in arguing about them I made what I thought was a good point about science, that belief in results is not optional, that if a large and diverse body of published evidence supports a conclusion, you must believe in it. You are not allowed to believe onIy results that seem plausible to you.

Well, I was wrong, at least in that case. The studies of behavioral priming that I had cited in the chapter were largely discredited in the famous replication crisis of psychology. I'll come back later to what the authors of those studies made of this. As you may now expect they didn't change their mind, but I did. And I publicly retracted the chapter.

However, it turns out that I onIy changed my mind about the evidence. My view of how the mind works didn't change at all. The evidence is gone, but the beliefs are still standing. Indeed, I cannot think of a single important opinion that I have changed as a result of losing my faith in the studies of behavioral priming, although they seemed quite important to me at the time.

(중략)

The last anecdotes that I want to share with you are about the replication crisis, which turns out to be relevant to the topic of adversarial collaboration in several ways. I already mentioned that the early focus of the replication crisis was behavioral priming. Specifically, someone failed to replicate Bargh's iconic study of slow walking. I got actively engaged because I believed in Bargh's work. A former student had told me sometime earlier that she didn't believe the study and wanted to replicate it. And my answer to her was "don't try to replicate because you will fail. I would also fail, and yet I believe the results. These experiments demand a sort of artistic directorial skill that neither you nor I possess. But I believe that John Bargh does, and that he is capable of replicating his own results. And that's enough for me." 

I now think that this was probably another error of judgment on my part, but at that time, when I heard there would be a workshop on the problem of priming, I volunteered because I wanted to argue the case that some social psychologists have skills that are unique but solid. 

However, during the two-day workshop that we had on that problem, I was impressed by the strength of the sentiment that was building up against priming. When I came home, I wrote a letter to a list of priming researchers whose names I got mostly from Bargh. In the letter, I warned the researchers about a looming train-wreck that would be especially damaging to their students on the job market. I identified myself as a general believer and reiterated my skepticism about replications by investigators who lack the special skills needed for successful priming research. That's what I believed then. I suggested an idea that I call "daisy chain" replications, where a group of labs that agree on the phenomenon and agree that behavioral priming is real get together. Each lab picks its favorite result. The result of lab A is replicated by lab B, the result of B replicated by C, and so on. 

Social psychologists circled the wagons and developed a strong antipathy for the replicators. A President of the American Psychological Society called them "methodological terrorists." 

One week later, the letter was leaked and published in Nature with an incendiary title: "Nobel Laureate tells social psychologists to clean up their act." I had naively failed to anticipate this outcome. Then all hell broke loose.

Believe it or not. I've been blamed for causing the replication crisis by attracting media attention to a minor problem. Some social psychologists have wondered about my motives for wanting to destroy social psychology by that letter, and I lost many friends.

The crisis provides ample evidence for the thesis that I'm developing today. People didn't change their minds. Social psychologists circled the wagons and developed a strong antipathy for the replicators. A President of the American Psychological Society called them "methodological terrorists," and another eminent psychologist suggested that people who have ideas of their own would not get involved in replications. There were essentially no takers for my suggestion that priming researchers should proactively replicate each other's work. This eventually convinced me that they did not have real confidence. They believed their findings were true, but they were not quite sure they could replicate them, and they didn't want to take the risk—another instance of belief perseverance.

[번역문]
방대하고 다양한 발표된 증거가 어떤 결론을 뒷받침한다면, 당신은 그것을 믿어야만 합니다. 자신에게 그럴싸해 보이는 결과만 골라서 믿는 것은 허용되지 않습니다.

이제 저는 도저히 떨쳐낼 수 없는 '신념 고수(belief perseverance)'에 대한 제 개인적인 경험을 말씀드리고자 합니다. 10년 전, 제가 아직 젊고 어리석었을 때 저는 《생각에 관한 생각(Thinking, Fast and Slow)》을 출간했습니다. 그 책의 중요한 장 하나가 '행동 점화(behavioral priming)'를 다루고 있었습니다. 예를 들어, 노년에 대해 생각하게끔 유도된 사람들이 평소보다 더 천천히 걷게 된다는 유명한 연구 같은 것 말입니다. 당시 저는 그 증거가 제 관점에 매우 중요하다고 느꼈습니다. 그래서 그 특정 연구의 저자인 존 바그(John Bargh)가 제 작업에 지대한 영향을 미쳤다고 공을 돌리기도 했습니다.

제가 그 장에서 묘사한 놀라운 결과들은 제 책의 서평 대부분에서 언급되었고, 책과 관련해 제가 받은 편지에서도 다른 어떤 내용보다 자주 등장했습니다. 저는 그 발견들을 전적으로 믿었으며, 그에 대해 논쟁할 때 제가 과학에 관해 꽤 훌륭한 주장을 펼치고 있다고 생각했습니다. 즉, 연구 결과에 대한 믿음은 선택 사항이 아니며, 방대하고 다양한 발표된 증거가 어떤 결론을 뒷받침한다면 그것을 믿어야 한다는 것이었습니다. 자신에게 그럴듯해 보이는 결과만 믿어서는 안 된다고 말이죠.

하지만, 적어도 그 경우에는 제가 틀렸습니다. 제가 그 장에서 인용했던 행동 점화 연구들은 심리학계의 그 유명한 '재현성 위기(replication crisis)'를 거치며 상당 부분 신빙성을 잃었습니다. 그 연구의 저자들이 이 상황을 어떻게 받아들였는지에 대해서는 나중에 다시 이야기하겠습니다. 지금쯤 짐작하시겠지만 그들은 마음을 바꾸지 않았고, 저는 마음을 바꿨습니다. 그리고 저는 공개적으로 그 장의 내용을 철회했습니다.

그러나 결과적으로 저는 오직 '증거'에 대해서만 마음을 바꾼 셈이 되었습니다. 인간의 마음이 어떻게 작동하는지에 대한 제 관점은 조금도 변하지 않았으니까요. 증거는 사라졌지만, 신념은 여전히 남아 있습니다. 실제로, 당시에는 제게 꽤 중요해 보였음에도 불구하고 그 행동 점화 연구들에 대한 믿음을 잃은 결과로 제가 바꾼 중요한 의견은 단 하나도 떠오르지 않습니다.

(중략)

제가 여러분과 나누고 싶은 마지막 일화들은 재현성 위기(replication crisis)에 관한 것인데, 이는 여러 면에서 '적대적 협력(adversarial collaboration)'이라는 주제와 관련이 있습니다. 앞서 저는 재현성 위기의 초기 초점이 행동 점화(behavioral priming)에 맞춰져 있었다고 언급했습니다. 구체적으로 말하자면, 누군가가 천천히 걷기에 관한 존 바그(John Bargh)의 상징적인 연구를 재현하는 데 실패한 일이 있었습니다. 저는 바그의 연구를 믿었기 때문에 이 문제에 적극적으로 관여하게 되었습니다. 언젠가 제 예전 학생 중 한 명이 그 연구를 믿지 않으며 직접 재현해 보고 싶다고 말한 적이 있습니다. 그때 저는 이렇게 대답했습니다. "재현하려고 시도하지 마, 실패할 테니까. 나도 실패할 거야. 하지만 난 그 결과를 믿어. 이 실험들은 너나 나한테는 없는 일종의 예술적인 연출 능력을 필요로 해. 하지만 나는 존 바그에게는 그런 능력이 있고, 그가 자신의 결과를 재현할 수 있다고 믿어. 나한테는 그걸로 충분해."

지금 생각해보면 이 역시 제 판단 착오였던 것 같습니다. 하지만 당시에는 점화 문제에 관한 워크숍이 열린다는 소식을 듣고, 일부 사회 심리학자들이 독특하면서도 탄탄한 기술을 가지고 있다는 주장을 펼치고 싶어 자원해서 참석했습니다.

그러나 그 문제를 다룬 이틀간의 워크숍 동안, 저는 점화 연구에 반대하여 고조되고 있는 정서가 얼마나 강력한지 실감하게 되었습니다. 집으로 돌아온 후, 저는 주로 바그에게서 받은 명단을 바탕으로 점화 연구자들에게 편지를 썼습니다. 그 편지에서 저는 다가오는 거대한 재난(looming train-wreck)이 특히 구직 시장에 나온 그들의 학생들에게 큰 타격을 줄 것이라고 연구자들에게 경고했습니다. 저는 스스로를 전반적으로 점화 효과를 믿는 사람이라고 밝히며, 성공적인 점화 연구에 필요한 특별한 기술이 부족한 연구자들의 재현 실험에 대한 저의 회의적인 시각을 다시 한번 강조했습니다. 그것이 제가 당시에 믿었던 바였습니다. 저는 그 현상에 동의하고 행동 점화가 실재한다고 믿는 연구실들이 함께 모여 진행하는 소위 "데이지 체인(daisy chain)" 재현이라는 아이디어를 제안했습니다. 각 연구실이 가장 선호하는 결과를 선택하면, A 연구실의 결과를 B 연구실이 재현하고, B의 결과는 C가 재현하는 식으로 꼬리를 무는 방식입니다.

사회 심리학자들은 방어 태세를 취하며 결속했고(circled the wagons), 재현 연구자들에 대해 강한 반감을 갖게 되었습니다. 미국심리학회(American Psychological Society)의 한 회장은 그들을 가리켜 "방법론적 테러리스트"라고 부르기도 했습니다.

일주일 후, 이 편지는 유출되어 네이처(Nature)지에 실렸고, 거기에는 "노벨상 수상자, 사회 심리학자들에게 스스로 문제를 바로잡으라고 일침을 가하다"라는 자극적인 제목이 달렸습니다. 저는 순진하게도 이런 결과를 전혀 예상하지 못했습니다. 그리고 엄청난 아수라장이 벌어졌습니다.

믿기지 않으시겠지만, 저는 사소한 문제에 언론의 관심을 끌어들여 재현성 위기를 초래했다는 비난을 받았습니다. 일부 사회 심리학자들은 제가 그 편지로 사회 심리학을 파괴하려 한 동기가 무엇인지 의심했고, 저는 많은 친구를 잃었습니다.

이 위기는 제가 오늘 전개하고 있는 주제에 대한 충분한 증거를 제공합니다. 사람들은 마음을 바꾸지 않았습니다. 사회 심리학자들은 방어 태세를 취하며 재현 연구자들에 대해 강한 반감을 갖게 되었습니다. 미국심리학회의 한 회장은 그들을 "방법론적 테러리스트"라고 불렀으며, 또 다른 저명한 심리학자는 자신만의 고유한 아이디어가 있는 사람이라면 재현 연구 따위에는 관여하지 않을 것이라고 말했습니다. 점화 연구자들이 서로의 연구를 선제적으로 재현해야 한다는 제 제안을 받아들이는 사람은 사실상 아무도 없었습니다. 이는 결국 그들에게 진짜 자신감이 없다는 것을 제게 확신시켜 주었습니다. 그들은 자신의 연구 결과가 사실이라고 믿었지만, 그것을 재현할 수 있을지는 확신하지 못했고 그 위험을 감수하고 싶어 하지 않았습니다. 이는 '신념 고수(belief perseverance)'의 또 다른 사례입니다.

출처: 엣지EDGE 재단, '적대적 협력Adversarial Collaboration: An EDGE Lecture by Daniel Kahneman' 

----------------

[보미코(five0141)]

https://www.edge.org/adversarial-collaboration-daniel-kahneman

[익명(dango30)]

ㄹㅇ인가

[보미코(five0141)]

서브리미널처럼 점화효과도 수십년도 전부터 nlp같은 유사심리학 사이비들이 환장하던 주제라 본문에 나온 것처럼 카너먼이 아니었어도 언젠가 터질 일이긴 했는데, 하필 카너먼 본인이 도화선에 불을 붙인 거라...

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[익명(112.154)]

하지만, 적어도 그 경우에는 제가 틀렸습니다. 제가 그 장에서 인용했던 행동 점화 연구들은 심리학계의 그 유명한 '재현성 위기(replication crisis)'를 거치며 상당 부분 신빙성을 잃었습니다. 그 연구의 저자들이 이 상황을 어떻게 받아들였는지에 대해서는 나중에 다시 이야기하겠습니다. 지금쯤 짐작하시겠지만 그들은 마음을 바꾸지 않았고, 저는 마음을 바꿨습니다. 그리고 """저는 공개적으로 그 장의 내용을 철회했습니다."""

[익명(106.101)]

내 작은 소원 중 하나가 교육학에서 심리학이 발 못붙히는 시대가 되는거임

[보미코(five0141)]

반대로 교육학은 심리학이라도 공부 좀 하고 써야 함

[ㅂㅇ(59.10)]

걍 생각인데 단기적 결정에 선입력된 정보가 (별 의미없는 바운더리 내에서)편견의 역할을 할수 있을것 같긴한대 그게 장기적인 영향을 미칠것 같지는 않음.

[진짜억울하네(later5752)]

장기적 영향에 대해서는 확실히 의견이 많고... 아주 체계적으로 발상하는, 카네만&튜버스키의 의견을 빌리자면, 시스템 2 식의 사고 체계에서는 점화의 효과가 미미해지는 것은 사실임 그리고 본인이 해당 도메인을 잘 알고 있어도 역시 그렇고

[진짜억울하네(later5752)]

사례로 언급된 존 바그의 노년 키워드 점화로 인한 보행 속도 감속 연구의 경우에는

[진짜억울하네(later5752)]

나중에 재현 시에 이중맹검과 적외선 센서 감지를 통해 측정을 했음둥 그리고 사고가 터진 것이 이중맹검 조건과 적외선 센서 조건(이 경우에는 이중맹검이 아니어도)에서는 평균적인 보행 속도의 유의미한 통계적 차이가 나타나지 않았음

[진짜억울하네(later5752)]

심리학에서는 이를 이중맹검의 중요성과 관찰자 ㅠㅕㄴ향

[진짜억울하네(later5752)]

을 가르칠 때 좋은 사례로서 가르치고 있름

[진짜억울하네(later5752)]

또한 점화의 효과에 대해서 아예 원천적으로 부정하지는 않았으면 함(물론 그렇지 않아보이기도 하지만). 사회심리학은 그 여건 상 점화 연구가 아주 많은 것은 사실이고 그 분야 틀딱 꼰대 아저씨들이 재현성 위기 이후에도 개지랄하는 것도 사실이지만(사회심리학 하는 양반들은 거지분 돈에 미쳐있는 탓일지도)

[진짜억울하네(later5752)]

작업 기억 개념 하에서 점화라는 개념 자체는 강력하게 지지 받고 실제 사회 분과를 제외하고도 많은 심리학의 분과에서 확인되고 있음.

[진짜억울하네(later5752)]

@진짜억울하네 재현성 위기 이후에도 개지랄하는 이유는 사회심리학이라는 분과가... (물론 카네만의 의견과는 조금 다르게 나는 상당히 나아졌다고 생각하긴 함) 아무래도 연구비를 타 먹으려면 신기한 연구! 정치적인 연구! 를 많이 해야 함. 안 그러면 연구비를 못 벌어오는 사유가 있기 때문에 사회심리학 응용해서 써먹는 산업 조직한테 밀려나고 인지신경 심리 쪽에도 밀려나니... 쉽지 않음.