칵테일 파티 효과 (뇌에서 확인되다)

Cocktail Party

혼잡한 파티 속을 헤치며 나가면서,  옛 친구를 한 명 만났다.  주위의 이야기 소리들에도 불구하고,그 친구의 말에만 집중하기 위해 다른 목소리들을 걸러내는 어려움이 없었던 적들이 있었다. “칵테일 파티 효과”라고도 불리는 이런 마술을 뇌가 해 보일 수 있는지가 처음으로 확인되었다. 이 발견은 많은 음성 중에서 한 음성만을 뽑아낼 수 있는 음성 인식 시스템을 만들어 내는데 도움이 될 수 있을 것이다.

WEAVING your way through a crowded party, you spot an old friend. Despite the surrounding chatter you have no trouble filtering out the other voices to focus on her words alone. How the brain performs this trick, dubbed the“cocktail party effect”, has been identified for the first time. The discovery could help generate voice recognition systems that pick out one voice among many.

우리가 어떻게 하나의 목소리에만 독점적으로 초점을 맞출 수 있는지에 대한 더 나은 견해를 얻기 위해서, 사람들이 한 번에 두 가지 목소리에 귀기울일 때 뇌의 활동을 San Francisco에 있는 the University of California, San Francisco의 Nima Mesgarani 와 Edward Chang이 연구했다.

To get a better idea of how we can focus exclusively on a single voice, Nima Mesgarani and Edward Chang at the University of California, San Francisco, investigated the brain activity of people as they listened to two voices at once.

간질이 있어서 치료를 위해서 음성이 처리되는 논의 청각 영역에 여러 개의 전극(electrode)을 삽입했던 세 명의 자원봉사자가  이 연구에 참여했다. 한 사람이 말하는 것을 녹음한 것을 각자가 귀기울이며 듣는 동안 이 영역에서 활동을 추적 관찰함으로써,  Mesgarani와 Chang은 특정한 소리의 주파수들에 대응해서만 활동적이 되는 뉴런(neuron)의 그룹을 확인할 수 있었다.

Their three volunteers had epilepsy, and as a treatment had an array of electrodes inserted into the auditory regions of their brains, where speech is processed. By monitoring activity in these areas while each person listened to a recording of one person speaking, Mesgarani and Chang were able to identify groups of neurons that appeared to be active only in response to specific sound frequencies.

연구원들은 이런 논의 활동을 스펙트로그램(소리의 모든 특성에 대한 판독)과 이런 것들이 일어났던 시간 프레임으로 변환하는 알고리듬을 개발하기 위한 충분한 정보를 모았다.

The researchers collected enough information to develop an algorithm that turned this brain activity into a spectrogram – a read-out of all the properties of sound, and the time frame in which they occurred.

이것을 통해, 한 사람이 어떤 단어를 언제 듣는지를 이 두 연구원이 말할 수 있었다. 예를 들어, “two”라는 단어는 고주파수에서 시작해서 저주파수로 끝난다. 팀이 자원봉사자들이 단어에 귀기울여 들을 때 뇌의 활동을 지켜보며,  자원봉사자들이 각 주파수를 맞추어 갈 때 뉴런들(neuron)이 자신의 활동을 변경시킨다는 것을 알 수 있었다.

This enabled the pair to tell when a person hears a certain word. For example, the word “two” starts at a high frequency and ends in a low frequency. When the team watched the brain activity of the volunteers as they listened to the word, they could see the neurons alter their activity as they tuned into each frequency.

이 두 연구원들은 자원자들사이에서 칵테일 파티 효과를 조사하기 위한 알고리듬을 사용했다. 먼저, 동시에 두 개의 녹음된 음성( 즉 남성 목소리 하나와 여성 목소리 하나)를 각 사람에게 들려주었다. 참가자들이 그 중에서 어떤 사람이 말하는 핵심 단어를 들을 때까지 두 음성을 모두 귀 기울여 듣도록 했고 그런 다음 그 음성에만 초점을 맞추도록 했다.

The pair used the algorithm to investigate the cocktail party effect in the volunteers. First, they played each person two voice recordings at the same time, one from a male and one from a female. The participants were told to listen to both voices until they heard a key word spoken by one of them, and then to focus only on that voice.

이 두 연구원들은 각 자원자들의 뇌 활동을 단순히 추적 관찰함으로써 (이것을 처음으로 수행했다) ,  자원자들이 어떤 화자에 귀 기울여 듣고 있는지를 이해할 수 있었다.  핵심 단어가 나온 후, 스펙트로그램을 보면 자원봉사자들의 청각 피질(auditory cortex)가 두 종류 음성의 조합보다는 하나의 음성에만 반응하고 있었다(Nature, DOI: 10.1038/nature11020). 스펙트로그램에 번역된 뇌의 활동이 다른 음성이 얘기했던 문장을 나타냈기 때문에, 알고리듬을 통해서 팀은 청취자들 잘못된 화자에 실수로 초점을 맞추었을 때를 표현할 수 있었다.

The pair were able to follow which speaker each volunteer was listening to, just by monitoring their brain activity – the first time this has been done. After the key word was spoken, the spectrogram showed that the volunteer’s auditory cortex was responding only to a single voice rather than a combination of the two (Nature, DOI: 10.1038/nature11020). The algorithm also enabled the team to tell when listeners mistakenly focused on the wrong speaker, as the translated brain activity in the spectrogram represented a sentence spoken by the other voice.

“나는 전에 이와같은 것을 본 적이 없었다.”고 Cambridge 대학의 신경과학자인 Martin Vestergaard이 얘기한다. Mesgarani와 Chang이 소리를 처리하는 것과 관련된 영역보다는 화자의 목소리 특성을 평가하는 것과 관련된 영역을 살펴봤기 때문에, 뇌가 다른 것들로부터 한 종류의 목소리를 뽑아내는 어떤 특성을 이용해서 한 종류의 목소리를 향상시킬 수 있다는 것을 두 과학자가 보일 수 있었다고 Vestergaard이 말한다.

“I’ve never seen anything like this before,” says Martin Vestergaard, a neuroscientist at Cambridge University. Because Mesgarani and Chang looked at brain areas involved in assessing the vocal characteristics of a speaker, rather than just those involved in processing sound, they were able to show that the brain can rapidly enhance a voice with certain characteristics to single it out from others, Vestergaard says.

시끄러운 방에서 음성을 해독하기 위해 몸부림치고 있는 음성 인식 시스템에서 칵테일 파티 효과를 복제하는데 이 알고리듬이 도움이 되기를 과학자들은 바라고 있다.

The researchers hope the algorithm could help to replicate the cocktail party effect in voice recognition systems, which struggle to decipher speech in a noisy room.

원문 (Source ) : http://www.newscientist.com/article/mg21428613.800-cocktail-party-effect-identified-in-the-brain.html