VR의 추운 겨울을 구할 3D 오디오 기술에 대한 간략한 분석
가상현실 기술은 20세기에 개발된 새로운 실용기술이다. 가상현실 기술에는 컴퓨터, 전자정보, 시뮬레이션 기술이 포함되며, 기본 구현 방식은 컴퓨터가 가상 환경을 시뮬레이션하여 사람들에게 환경에 대한 몰입감을 주는 것입니다. 사회적 생산성과 과학기술의 지속적인 발전으로 인해 사회 각계각층에서 VR 기술에 대한 수요가 점점 더 커지고 있습니다. VR 기술도 큰 발전을 이루었고 점차 과학기술의 새로운 분야가 되었습니다. 아래는 3D 오디오 기술이 어떻게 VR을 추운 겨울로부터 구할 수 있는지에 대한 간략한 분석을 정리한 것입니다.
최근 사람들은 VR의 겨울이 다가오고 있다는 말을 자주 한다. 최근 아주 좋은 설명을 봤습니다. "한때 기업가와 투자자들의 지나친 기대와 열정을 품었던 VR 산업은 롤러코스터 같은 한 해를 보냈습니다." 거품이 줄어든다. 합리적으로 생각하라. VR 산업의 핵심 기술 노드인 3D 오디오는 오늘날 주목을 받을 만합니다. 저는 3D 오디오 기술이 어떻게 VR을 추운 겨울로부터 구할 수 있는지에 대한 합리적인 분석을 제공하기 위해 왔습니다.
바이두에서 'VR Winter'를 검색하면 166만 개의 결과가 나왔습니다.
"자본의 얼굴 변화: 6개월, VR은 카니발에서 암울함으로"(박긱, 2016년 9월 7일), "수많은 자본과 기업가를 끌어모은 VR 산업이 추위에 빠진 것 같다" 겨울”(중국 기업가, 2016년 8월 26일), “VR 스타트업에 추운 겨울이 다가오고 있습니까? 자본 전문가의 말을 들어보세요!”(NetEase News, 2016년 5월 27일), “VR이 곧 다가올 것입니다! 추운 겨울" (소후뉴스, 2016년 5월 11일)…
사람들은 아직도 2015년 하반기부터 2016년 초까지 VR 열풍을 기억하고 있다. 창업자부터 투자자까지 누구나 VR에 관심을 갖는다. 무한한 열정과 희망으로. 컴퓨터 배경에서 VR로 전환한 사람들은 실제로 적지 않습니다. 그들은 이 "핫스팟"을 발견하고 대기업을 나와 VR 산업에 뛰어 들었습니다.
업계에는 고품질 목표가 부족하고 핵심 기술 노드는 아직 돌파되지 않았습니다. VR은 옹알이를 하는 아기와 같으며 아직 초기 단계이고 성숙 단계와는 거리가 멀습니다. VR의 겨울이 왔다고 하기보다는 이전의 버블이 합리적으로 터지고 있다고 말하는 것이 더 낫다.
여기서 '핵심 기술 노드' 중 하나가 공간 음향 기술이다. 오늘날 사람들은 이를 3D 오디오라고 부르는 것을 선호합니다.
유명 VR 제작사 Jaunt의 수석 오디오 엔지니어인 Adam Summer는 "(VR에서) 청각이 50%를 차지하고, 시각이 나머지 50%를 차지한다"고 말했습니다.
p>
청각은 공간에서의 인간 위치, 물체와의 거리 인식 등을 결정합니다. 시각은 단서를 제공하고 청각은 단서가 실제인지 확인합니다. 시각적 몰입이 없으면 모든 이미지의 진정성이 상실됩니다. 청각 문제를 해결하지 않으면 가상현실은 가상현실이 될 수 없습니다. 3D 오디오는 우리가 말하는 VR 시대가 실제로 도래했는지 여부를 결정한다고 할 수 있습니다.
먼저 3D 오디오에 대해 알아볼까요
3D 오디오란 무엇인가요? 간단히 말해, 3D 오디오는 청취자가 사운드를 완벽하게 복원할 수 있도록 해주는 가장 현실적인 사운드 시뮬레이션 기술입니다. 필드를 라이브 장면과 유사한 장면으로 전환합니다. 비슷한 이름으로는 파노라마 사운드 솔루션과 몰입형 오디오가 있습니다. "현실적"이 아닌 완전히 현실적이고 "현실적인" 사운드를 얻을 수 있습니다.
세계에서 가장 성숙한 공간 오디오 제작 회사 중 하나인 VisiSonics의 창립자 중 한 명인 Ramani Duriswamy는 다음과 같은 말을 했습니다. "듣는 소리가 극도로 실제적일 때"
인간의 귀에는 소리를 분석하고 위치를 찾기 위한 소리 신호에 대한 자체 분석 시스템이 있습니다. 공간의 어느 지점에서든 사람의 귀(고막 앞)로 전달되는 신호는 필터링 시스템으로 설명할 수 있습니다. 음원+필터(전달 기능)는 소리가 양쪽 귀의 고막에 도달하기 전에 신호를 얻습니다. .
소리가 어떻게 귀에 전달되는지는 신경 쓸 필요가 없지만, 음원과 귀에 도달하기 전의 신호, 그리고 소리 사이에는 차이가 있다는 것만 알면 됩니다. 우리의 왼쪽 귀와 오른쪽 귀로 듣는 소리는 다릅니다.
이는 우리의 진화 때문일 수 있습니다. 어두운 밤에는 시각이 위치를 찾을 수 없지만, 귀는 왼쪽 귀와 오른쪽 귀의 다양한 소리를 통해 위치를 파악하고 방어할 수 있습니다.
이 필터(전달 함수)를 HRTF(머리 관련 전달 함수)라고 합니다. 공간의 모든 방향에서 양쪽 귀까지의 필터 뱅크가 있으면 전체 공간 방향의 사운드 신호를 복원하는 필터 매트릭스를 얻을 수 있습니다.
HRTF는 매우 개인적입니다. 모든 사람은 성장하면서 청각에 대한 자신만의 인식을 갖게 됩니다. 더욱이, 우리 각자는 머리 크기가 다르고, 귀 사이의 거리가 다르며, 귀 내부의 윤곽과 소용돌이도 다릅니다. 게다가 우리는 성장하면서 자신만의 독특한 듣기 습관을 갖게 됩니다. 모든 사람이 듣는 동일한 물체에서 나는 소리는 실제로 약간 다르다고 말할 수 있습니다.
인간의 귀가 실제로 듣는 소리를 어떻게 복원할 수 있을까요? 이에 대한 과학자들의 탐구는 오늘날 새로운 것이 아닙니다. 거의 100년 전인 1933년에 AT&T Bell Labs는 이 기술을 시카고 세계 박람회에 선보였습니다. 이 회사의 인간 음성 연구 부서에서는 기계화된 인공 머리를 만들었습니다. 그들은 이 더미에 "오스카"라는 이름을 붙였습니다. 오스카는 귀에 두 개의 마이크를 설치하고 전시실에 앉아 주변 소리를 포착합니다. 오스카는 무엇을 듣든 녹음할 수 있습니다.
AT&T Bell Labs에서 제공하는 솔루션을 Binaural Audio라고 합니다.
바이노럴 녹음 기술은 실제 사람의 머리 모양과 왼쪽 귀와 오른쪽 귀 사이의 거리를 시뮬레이션해 실제 사람이 듣는 소리에 가까운 소리를 녹음할 수 있다. 이것은 물리적 수준에서 HRTF를 복원하는 효과적인 "멍청한 방법"입니다. 이 경로를 따라 독일 마이크 회사인 Neumann은 1973년부터 1992년 사이에 바이노럴 녹음 기술에서 다양한 혁신을 이루었습니다. 더 나은 무선 장비, 고막의 시뮬레이션된 더미 귀에 마이크를 배치하는 등의 작업이 포함됩니다.
금세기에는 산업 수요가 크지 않아 바이노럴 녹음 기술의 발전 속도가 더디다. 이 VR 열풍이 도래할 때까지 기다렸다가 다시 무대로 돌아왔습니다. 오큘러스 리프트(Oculus Rift), 소니 모피어스(Sony Morpheus), 삼성 기어(Samsung Gear) 등이 가져온 VR의 인기로 인해 3D 오디오 기술은 '르네상스'를 열었습니다. 그래서 VR 오디오라고도 불립니다.
3D 오디오 기술의 난점은 무엇인가요?
VR이 좀 더 실감나는 몰입감을 구현하려면 3D 오디오가 필요합니다. Jaunt의 수석 오디오 엔지니어인 Adam Somers는 THE VERGE와의 인터뷰에서 이렇게 설명했습니다. "몰입 측면에서 청각이 50%를 차지하고 시각이 나머지 50%를 차지합니다."
Jaunt는 미국의 유명 기업 VR 제작사는 지난해 상하이 중국문화산업기금(CMC)과 디즈니로부터 6500만 달러의 투자를 받았다.
그러나 바이노럴 녹음 기술 자체로는 듣는 동안 고개를 돌리는 기능을 지원할 수 없습니다. 플레이어가 VR 게임을 할 때 뒤에서 소리가 들리면 본능적으로 고개를 돌려 뒤를 돌아보는 반응을 보입니다. 이때 소리가 눈앞에 계속된다면 몰입도가 크게 떨어지게 됩니다.
실제 음장을 복원하는 또 다른 기술인 서라운드 오디오는 듣는 동안 고개를 돌리는 것을 지원하지 않습니다. 서라운드 사운드는 여러 개의 물리적 스피커를 사용하여 360도 음장을 생성하고 서로 다른 방향의 사운드가 서로 다른 스피커/스피커를 통해 재생됩니다. 이 기술로 가장 유명한 회사는 DTS와 Dolby입니다.
예를 들어 서라운드 사운드 극장에서는 청중 주위에 많은 스피커/스피커가 배치됩니다. 화면 왼쪽에서 폭발이 발생하면 오른쪽이 아닌 왼쪽 스피커에서 소리가 나옵니다. 플레이어의 위치가 고정되어 있기 때문에 청취자는 고정된 지점에서 가장 사실적인 시뮬레이션 음장만 들을 수 있습니다.
이 문제를 어떻게 해결할 것인가? 계산이 최우선 과제가 되었습니다.
바이노럴 녹음 기술로 소리를 얻은 후 HRTF를 복원한 후 모든 방향의 HRTF를 복원하도록 계산하여 음장을 자연스럽게 변화시키는 공간 오디오 집합을 합성합니다. 머리가 돌아가고 위치가 이동됩니다.
라디오, 녹음, 계산, 렌더링(처리, 렌더링)이라는 세 가지 링크 중에서 가장 강력한 기술 장벽은 계산 링크에 있습니다.
핵심 알고리즘은 다양한 공간 음향 회사를 테스트하는 성능 지표입니다. Two Big Ears의 기업 슬로건은 다음과 같습니다: "우리는 수학을 통해 당신이 최고가 되는 데 집중할 수 있습니다." 아일랜드에 본사를 둔 이 회사는 현재 공간 오디오 기술을 선도하고 있습니다.
일부 팀에서는 계산량을 줄이기 위해 몇 가지 서투른 방법을 사용했습니다. 예를 들어 3dio는 모든 방향에서 동시에 HRTF를 녹음할 수 있는 무선 장비를 최대한 많이 만들었습니다.
보통 기업의 3D 오디오 핵심 알고리즘 기술 수준을 판단하는 데는 세 가지 지표를 사용할 수 있습니다.
1. 현지화(Localization): 사운드의 위치를 지정하는 것을 말합니다. 서라운드 사운드는 360도 사운드 평면에서 더 나은 시뮬레이션 효과를 갖지만 상단 및 하단 360도를 시뮬레이션하기가 어렵습니다. VR 오디오의 어려움은 상하 360도 사운드를 시뮬레이션하는 것이기도 합니다. 실감나는 업다운을 구현할 수 있는 기술이 더욱 발전했습니다.
2. 전파: 소리는 닫힌 공간에서 한 번만 전달되는 것이 아니라 무수한 반사(반향)를 통해 이해할 수 있습니다. 전파는 사용자가 실제로 실제 공간에 있는 것처럼 느낄 수 있는지 여부를 설명하는 데 사용됩니다. 현실감이 강할수록 좋습니다.
3. 폐색: 소리 전송 과정에서 중간에 장애물이 있으면 이 장애물이 소리 전파에 영향을 미칩니다. VR 오디오 기술이 장애물이 소리에 미치는 영향을 잘 시뮬레이션할 수 있다면 잘 만들어진 VR 오디오입니다.
위 세 가지 점을 제외하면 현재 가장 최첨단의 공간 오디오 솔루션은 Ambisonic 기술입니다. 따라서 앰비소닉이 가능한지 여부는 기업의 기술 수준을 판단하는 지표이기도 하다.
앰비소닉 역시 음장 시뮬레이션 방식이지만 물리학, 수학, 컴퓨터 분야에서 팀의 종합적인 능력을 테스트합니다. 팽창된 풍선처럼 소리를 받는 공간의 위치를 상상해 보면 공간의 모든 곳에서 전달되는 음파가 풍선 표면에 힘을 가하게 됩니다.
Ambison은 이 간단한 원리를 이용해 공간에 여러 개의 스피커를 배치하여 실제 상황에 맞게 풍선에 가해지는 음파의 힘을 시뮬레이션한 다음 HRTF를 계산하고 복원합니다.
Ambisonic을 통해 얻은 오디오 데이터는 가장 포괄적인 데이터이며, 다른 오디오 형식으로 변환될 수 있습니다. 예를 들어 Ambisonic이 이미지의 jpg인 경우 Dolby 7.0, Dolby 5.1 및 기타 오디오 형식은 픽셀과 동일합니다.
3D 오디오 기술 산업의 현황을 어떻게 평가해야 할까요?
3D 오디오 기술은 모든 응용 시나리오를 변화시킬 것입니다. 전체 공간 오디오 산업에는 두 가지 기회가 있습니다.
첫 번째 기회는 HRTF 기능, 전파 및 기타 기술, 즉 오디오를 복원하는 방법에 핵심이 있는 오디오 엔진을 구축하는 것입니다. 게임에서 가능한 한 현실적으로 스테레오로 제공됩니다. 현재의 간단한 접근 방식은 VR 게임에 다양한 가상 스피커를 배치하고 Oculus Audio SDK(HRTF 및 반사 등 기타 효과 구현)와 협력하여 공간 오디오를 구현하는 것입니다.
단순하지 않고 강력한 컴퓨팅 능력을 갖춘 팀이 필요한 방법이 많습니다. 2013년 에든버러에서 설립된 Two Big Ears는 선두주자 중 하나입니다. 그들이 만드는 플러그인은 아마도 업계에서 기술적으로 가장 진보된 플러그인 중 하나일 것입니다.
두 번째 기회는 3D 오디오를 실생활에 적용하는 것, 즉 파노라마 영상으로 VR 오디오를 여러 각도에서 녹음하는 방법을 구현하는 것입니다. 이렇게 사용자가 파노라마 영상을 시청하면서 고개를 돌리면 사운드가 동적으로 조정됩니다. 응용 시나리오 측면에서 3D 오디오 기술은 가상 콘서트에 특히 중요합니다.
현재 글로벌 시장을 고려하면 3D 오디오 자체의 기술적 어려움으로 인해 아직 완벽한 솔루션을 제공할 수 있는 회사나 팀이 없습니다. 유명 오디오 회사인 DTS의 기술은 이미 상대적으로 가깝습니다. 그러나 최종 버전은 아직 공개되지 않았으며 매우 높은 가격이 책정될 가능성에 직면해 있습니다.
가장 주목받는 7개의 3D 오디오 기술 팀
1. VisiSonics
VisiSonic 팀은 가장 먼저 시작되었습니다. 2015년 10월 미국. 3월 Oculus와 협력 체결. Oculus는 Oculus Audio SDK에 사용하기 위해 RealSpace3D라는 기술을 구입했습니다. 그들은 상단이 있는 기둥 모양의 장치와 공 모양의 장치로 구성된 3D 오디오 및 비디오 동시 녹음 장치를 설계했습니다. 공 모양의 장치에는 64개의 마이크가 있습니다. 하드웨어 수준에서 이 기술은 최고 수준이며 여전히 세계적 리더입니다.
2. TwoBigEars
스코틀랜드 에든버러에 위치한 팀은 최근 Facebook에 인수되었습니다. 핵심 기술은 3Dception이라는 3D 오디오 엔진입니다. 플러그인 관점에서 볼 때 이 팀은 현재 기술적으로 세계에서 가장 앞서 있습니다. Facebook에 인수되기 전에는 이 팀이 HTC Vive 오디오의 컴퓨팅 렌더링에 사용되었다는 소문이 돌았습니다.
3. 3diosound
이 회사는 현재 시장에서 공간 오디오 녹음 분야 최고의 회사입니다. 그들은 8개의 귀를 가진 무선 장치를 생산했습니다.
4. ThriveAudio
이 회사는 Tilt Brush와 함께 Google에 인수되었으며 Google VR 전략 레이아웃의 일부입니다. 팀은 아일랜드의 Trinity College Dublin 출신입니다. 그들은 두 개의 특허를 신청했다고 주장합니다.
5. MintMuse
이전에 미국 샌디에고에 있었다가 최근 상하이로 이전한 팀입니다. 주요 크리에이티브 팀은 Qualcomm 출신입니다. 그들은 렌더링 품질, 알고리즘 최적화 및 지연과 같은 영역에 중점을 두고 있으며, 현재는 하드웨어 제작을 포함하지 않습니다. 이 팀이 목표로 하는 솔루션 그룹은 사운드 녹음 전문가입니다. 그들은 사운드 녹음자가 파노라마 사운드를 편집하면서 완성된 제품 효과를 실시간으로 모니터링하여 전체 작업 흐름을 단순화할 수 있도록 하는 전문적인 VR 파노라마 사운드 튜닝 소프트웨어를 개발하고 있습니다.
6. Waves
이스라엘에 위치한 공간 오디오 기술 회사로 이전에는 플러그인, 음향 효과 등 전문 스튜디오 도구를 만들었으며 많은 파트너와 협력하고 있습니다. Abbey Road와 같은 유명 스튜디오.
7. 임펄소닉(Impulsonic)
미국 노스캐롤라이나 대학교 컴퓨터 공학과에서 배양된 팀입니다. 주로 VR 게임 및 애플리케이션용 3D 오디오 개발을 목표로 하는 제품의 이름은 Phonon입니다. 2012년에 설립되었습니다. 설립자 Anish Chandak 박사는 "게임 디자이너와 개발자가 고품질 공간 오디오를 더 쉽게 만들 수 있도록 돕는 것"이라는 설립 당시의 아이디어가 매우 간단했다고 말했습니다. 대부분의 수익은 Phonon의 라이선스 수입에서 나옵니다. 이들은 지난해 미국 국립과학재단으로부터 투자를 받았으며 이들의 연구는 일부 정부과제에도 적용됐다.
VR 게임을 만드는 대부분의 스튜디오는 아직 3D 오디오 기술을 대규모로 사용하기 시작하지 않았습니다. 주된 이유는 "빈곤"입니다. 이제 '추운 겨울'이 다가왔으니 우리는 더욱 가난해질 것입니다. 실제로 좋은 콘텐츠가 없는 이러한 게임 스튜디오에서는 여전히 서라운드 사운드 기술을 사용하고 있으며 일부 괴짜 스타일 스튜디오에서만 일부 공간 오디오 기술을 적용하기 시작했습니다. 3D 오디오 기술은 여전히 매우 최첨단 기술입니다.
하지만 3D 오디오는 VR 산업 전체의 기초 기술 분야다.
핵심 기술만이 애플리케이션 수준에서 다음 혁신 지점을 기다릴 수 있습니다. 드론을 만드는 DJI가 그 예다. 드론이 비즈니스 모델이 되기 오래 전부터 DJI의 크리에이티브 팀은 비행 제어의 기술적 측면에 대해 장기적인 연구와 노력을 기울여 왔다.
VR이 모든 사용자가 하루 동안 사용할 가치가 있다면 기술의 모든 측면에서 '몰입형 경험'을 허용할 만큼 충분히 성숙해졌을 것입니다.
VR을 저장하려면 3D 오디오로 시작하세요.
확장: VR 소개
소위 가상 현실은 이름에서 알 수 있듯이 가상과 현실의 결합입니다. 이론적으로 가상현실 기술(VR)은 컴퓨터를 이용해 가상 세계를 생성하고 경험할 수 있는 컴퓨터 시뮬레이션 시스템으로, 사용자가 그 환경에 몰입할 수 있도록 해준다. 가상현실 기술은 컴퓨터 기술로 생성된 실생활 데이터, 즉 전자신호를 다양한 출력장치와 결합해 사람이 느낄 수 있는 현상으로 변환하는 기술이다. 육안으로 볼 수 없는 것을 입체 모형으로 표현한 것입니다. 이러한 현상은 우리가 직접 볼 수 있는 것이 아니라 컴퓨터 기술을 통해 시뮬레이션된 현실 세계이기 때문에 가상현실이라고 합니다.
가상현실 기술은 점점 더 많은 사람들에게 인정을 받고 있으며, 사용자는 가상현실 세계에서 가장 현실감 있는 느낌을 경험할 수 있으며, 현실 세계에서는 가상 환경의 진정성을 구별하기가 어렵습니다. , 몰입감을 느끼게 함과 동시에 가상 현실은 청각, 시각, 촉각, 미각, 후각 및 기타 지각 시스템과 같은 인간이 가지고 있는 모든 지각 기능을 갖추고 있으며, 마지막으로 초강력 시뮬레이션 시스템을 갖추고 있습니다. 인간-컴퓨터 상호 작용을 진정으로 실현합니다. 상호 작용을 통해 사람들은 마음대로 작업할 수 있으며 작업 과정에서 환경으로부터 가장 현실적인 피드백을 얻을 수 있습니다. 가상현실 기술이 많은 사람들에게 사랑받는 이유는 바로 가상현실 기술의 존재감, 다중지각, 상호작용성 등의 특성 때문입니다. ;