일치되지 않는 음성과 입술은 당신의 뇌를 속인다

일치되지 않는 음성과 입술은 당신의 뇌를 속인다

좋은 소식은 인간의 두뇌가 유연하고 효율적이라는 것입니다. 이것은 우리가 세상을 이해하는데 도움이 됩니다. 그러나 나쁜 소식은 인간의 두뇌가 유연하고 효율적이라는 것입니다. 이것은 두뇌가 때때로 실수를 범하고 있다는 것을 의미합니다.

청각 및 시각적 연설에 두뇌가 연결하려고 할 때 긴장감이 재생되는 것을 볼 수 있습니다. 그래서 우리는 불량스런 쿵푸 영화를 믿을 수가 없습니다. 왜 우리는 유투브에서 횡설수설하는 원래 음성과 다르게 더빙한 동영상을 보는 것을 좋아합니까?

Baylor College of Medicine의 신경과학자인 John Magnotti는 "비슷한 입 움직임과 합리적인 내용으로 더빙함으로써 원저자가 한 말의 뜻을 완전히 바꿀 수 있다"고 말합니다. "때로는 뭔가가 약간 이상하다는 것을 알수도 있지만, 대개 설득력이 있습니다."

목요일 PLOS Computational Biology에 발표된 연구에서 Baylor College of Medicine의 신경 과학자인 Magnotti와 Micheal Beauchamp 박사는 잘 알려진 연설꾸밈 동영상을 보고 왜 우리의 두뇌가 이런 종류의 지각적 오류에 취약한지를 밝혀냈습니다. McGurk 효과라고 합니다. 두뇌가 말하는 것을 감지하는데 중요한 감각을 어떻게 통합하는지에 대한 수학적 모델을 비교함으로써, 그들은 두뇌가 말의 감각을 만들 때 시각, 청각 및 경험을 사용하는 것을 발견했습니다 입과 목소리가 같은 사람에게서 나올 확률이 높으면 두뇌가 그것을 결합합니다. 그렇지 않으면 분리되어 있습니다.

"당신이 누군가와 이야기할 때 당신은 단지 그들의 목소리를 듣고 있다고 생각할지도 모릅니다"라고 연구를 이끌었던 Beauchamp는 말했습니다. "그러나 그들의 얼굴이 하는 일이 실제로 당신이 인식하는 것에 깊은 영향을 미친다는 것이 밝혀졌습니다."

McGurk 효과는 Harry McGurk 이라는 심리학자가 "ba"라는 소리가 "ga"라는 소녀의 입술에 녹음된 비디오를 본 후 "da"라는 소리를 잘못 들었다고 믿었을 때 갑자기 발견되었습니다.

40년 후, 과학자들은 유아와 성인에서 수천 가지 연구에서 음성과 입의 성별이 일치하지 않는 경우와 시계가 아닌 사람이 접촉하는 경우에도 움직이는 입으로 다른 언어로의 효과가 있음을 입증했습니다.

그러나 McGurk 효과 또한 제한적입니다. 눈을 감고 듣기만 하면 "ba" 소리가 나고 입술을 조용히 보면 "Ga" 소리를 들을 것입니다. 더빙을 거꾸로하면 소리도 통합되지 않으며 이 효과는 특정 음절에만 수반됩니다.

왜 일부 입과 음성 조합은 착오를 일으키는데 다른 조합은 그렇지 못한 것일까요?

사람들이 말하기를 소리쳤다거나 입가가 움직이는 것처럼 보일 때 우리 두뇌는 끊임없이 계산하여 어떤 목소리가 어떤 입에 속하는지 파악합니다. 두뇌는 스스로에게 묻습니다. - 이 두가지가 함께 하는 것인가, 그렇지 않은 것인가?

McGurk 효과는 우리가 실수로 그것들을 합친 것입니다.

Beauchamp 박사는 "그들이 중간 정도의 유사성을 지니고 있어 그들과 어울리는 것이라면, 당신은 그것들을 함께 모아야한다"고 말했습니다. 그것이 바로 "ba"와 "ga"가 McGurk 박사의 "da"소리로 바뀌는 것처럼 보입니다.

두뇌가 특정 조합에 대한 경험을 토대로 가능한 음성 및 입술 일치를 선택하기 때문에 소리 "ba"와 입가 "ga"가 소리로 "ga" 및 "ba"와 같지 않은 불일치가 있다고 과거의 연구자들이 말합니다. "ga" 소리는 "ba"라고 하는 닫힌 입술에서 나오지 않습니다.

Beauchamp 박사는 "과학에서 우리는 사람들이 그렇게 했다고 가정하고 항상 모든 것을 합친 것"이라고 말했습니다. "그것은 옳지 않을 수도 있습니다."

그는 McGurk 효과를 결정하는 동일한 결정 과정이 우리가 취임 연설의 Bad Lip Reading 비디오 사운드 트랙에서 들리는 기괴한 것들로 Trump의 입술 움직임을 함께 모으게 한다고 생각합니다.

"현실 세계에서 목소리와 입 움직임이 시간적으로 너무 제한적이라면서 거의 같은 말하는 사람이 되어야 한다고 생각합니다." Magnotti 박사는 말했습니다. "그들이 충분히 잘 어울리는 한, 당신은 여전히 의미있는 것을 볼 수 있습니다."

이번 달 The Journal of Neuroscience에 보충된 보완 연구에서 Beauchamp 박사와 그의 제자인 Lin Zhu는 뇌가 입가의 움직임과 소리에 관한 정보를 뇌의 측두엽 위쪽에서 가장 잘 처리한다고 결론지었습니다.