AI Noise Removal: Clean Up Audio

나는 화요일 밤 11시에 그녀가 전화했을 때 프로듀서의 목소리에서 느껴진 공황을 아직도 기억한다. "인터뷰가 사용할 수 없어," 그녀가 말했다. "전체 녹음에 걸쳐 계속해서 배경 소음이 있고, 우리는 36시간 후에 생방송이야." 그 당시 나는 오디오 후반 작업 전문가로 거의 15년 동안 일해왔고, 이 위기의 변형을 수십 번 들은 적이 있었다. 그녀가 아직 몰랐던 것은 AI 노이즈 제거 기술이 이제는 8시간의 힘든 수작업을 20분 이내에 달성할 수 있는 지점에 도달했다는 것이었다. 그리고 내가 손으로 달성할 수 있는 것보다 더 나은 결과를 냈다.

그날 밤은 내가 오디오 정리를 접근하는 방식의 전환점을 나타냈다. 그녀가 나에게 보낸 인터뷰는 모든 것이 잘못되어 있었다: 60Hz의 HVAC 진동, 간헐적인 교통 소음, 의자 squeaks, 그리고 누군가의 핸드폰이 테이블 위에서 울리는 소리까지. 5년 전이라면, 이는 스펙트럼 편집, 여러 번의 노이즈 감소, 그리고 일시적인 소리의 신중한 수동 제거가 필요한 악몽 같은 프로젝트였을 것이다. 대신, 나는 이를 AI 기반 노이즈 제거 도구에 로드하고 알고리즘이 오디오 프로필을 90초 동안 분석하도록 했고, 불필요한 소음을 외과적으로 제거하면서 화자의 목소리의 모든 뉘앙스를 보존하는 모습을 지켜보았다. 그 과정에서 말하는 데 있어 자연스러운 품질을 주는 미세한 호흡 패턴까지 포함되었다.

오디오 정리 기술의 혁명

AI 노이즈 제거는 1990년대 디지털 오디오 워크스테이션이 도입된 이후 오디오 후반 작업에서 가장 중요한 발전 중 하나를 나타낸다. 전통적인 노이즈 감소 도구는 상대적으로 간단한 원리로 작동했다: "청결한" 노이즈의 섹션에서 노이즈 프로필을 식별한 다음, 그 프로필을 전체 녹음에서 빼는 것이었다. 이 접근법은 심각한 한계가 있었다. 비정상적인 노이즈(시간에 따라 변하는 소리)에서 고군분투하며, 종종 목소리가 텅 비거나 로봇처럼 들리게 만드는 아티팩트를 도입했으며, 수용 가능한 결과를 얻기 위해 상당한 수동 개입이 필요했다.

최신 AI 노이즈 제거 도구는 수백만 시간의 오디오로 훈련된 딥 러닝 모델을 사용한다. 이 모델들은 원치 않는 소리와 원하는 소리를 구별하는 기술을 학습했으며, 이는 인간의 인식을 모방하고 종종 초월하는 정교함을 가진다. 이 기술은 같은 시간 및 주파수 도메인에서 오디오를 동시에 분석할 수 있는 합성곱 신경망을 사용하여, 전통적인 알고리즘이 결코 할 수 없었던 방식으로 맥락을 이해한다. AI 모델이 배경 소음이 있는 목소리에 직면했을 때, 단순히 주파수를 뺏는 것이 아니라 방대한 데이터 세트에서 학습한 패턴에 따라 깨끗한 목소리가 어떻게 들려야 하는지를 재구성한다.

실용적인 함의는 놀랍다. 내 스튜디오에서는 한때 6-8시간이 걸리던 정리가 이제 30-45분만에 끝난다. 그러나 더 중요한 것은 품질이 극적으로 향상되었다는 점이다. 나는 최근에 혼잡한 카페에서 녹음된 다큐멘터리 인터뷰를 작업했다—10년 전에는 거의 회복할 수 없는 일이었다. AI 모델은 에스프레소 머신의 쉿 소리, 배경 대화, 의자 긁는 소리, 문 벨 소리를 성공적으로 제거하면서도 주제의 목소리의 따뜻함과 존재감을 유지했다. 감독은 그것이 같은 녹음이라는 것을 믿을 수 없었다.

이 기술의 특히 강력한 점은 동시에 여러 유형의 소음을 처리할 수 있다는 것이다. 전통적인 도구는 각각의 문제를 별도로 해결해야 했다: 먼저 윙윙 소리, 그 다음 쉿 소리, 그 다음에는 일시적인 소음. 각 패스는 오디오 품질을 약간 저하 시켰다. AI 모델은 모든 것을 한 번에 처리하며, 다양한 노이즈 유형이 상호작용하는 방식을 이해하고 무엇을 보존하고 무엇을 제거할지에 대해 지능적 결정을 내린다. 이 단일 패스 처리 방식은 다단계 전통 처리로는 도달할 수 없는 방식으로 오디오 품질을 보존한다.

AI가 제거할 수 있는 것과 없는 것 이해하기

AI 노이즈 제거의 인상적인 능력에도 불구하고, 그 한계를 이해하는 것이 중요하다. 나는 AI가 마법이라고 가정하는 사람들을 많이 봤다—뭐든지 고칠 수 있다고. 그것은 불가능하며, 한계를 아는 것이 녹음 및 후반 작업 중 더 나은 결정을 내리도록 도와준다.

"전통적인 노이즈 감소는 해머를 가지고 얼룩을 지우려는 것과 같았다—문제를 없앨 수는 있지만, 주변의 모든 것을 손상시킬 것이다. AI는 외과의사가 칼로 접근하는 것과 같다."

AI는 일관된 배경 소음을 제거하는 데 뛰어난 성능을 보인다: HVAC 시스템, 컴퓨터 팬 소음, 전기 윙윙거림, 교통 소음 및 주변 방의 톤. 바람 소리를 처리하는 데 특히 뛰어난데, 이는 역사적으로 오디오 정리에서 가장 어려운 문제 중 하나였다. 현대 AI 모델은 마이크에 부딪히는 바람과 음악이나 말에서의 합법적인 저주파 내용을 구별할 수 있다. 이는 불과 5년 전에는 불가능해 보였던 일이었다. 나는 최근에 바람이 10-15초마다 마이크에 부딪히는 야외 인터뷰를 정리했다. AI는 바람 소음을 매우 깔끔하게 제거하여, 인터뷰가 스튜디오에서 녹음되지 않았다는 것을 전혀 알 수 없게 했다.

이 기술은 간헐적인 소음도 놀랍게 잘 처리한다: 문 닫는 소리, 전화 벨소리, 키보드 클릭 소리, 종이 부스럭거리는 소리. 이러한 일시적인 소리는 말과 음악과 비슷한 주파수 대역을 차지하기 때문에 도전적이다. AI 모델은 시간적 맥락을 사용하여—이전과 이후에 어떤 소리가 있었는지를 이해하며—거기 있어야 했던 오디오를 재구성한다. 그러나 한계가 있다. 일시적인 소음이 원하는 오디오를 완전히 가리는 경우(조용한 음성 구간에서 큰 충돌 소리처럼), AI조차도 한 번도 녹음되지 않은 것을 복구할 수 없다.

AI가 어려움을 겪는 부분은 바람 소리가 원하는 신호와 음조가 유사할 때이다. 만약 누군가가 말을 하고 있고, 다른 사람이 비슷한 크기로 배경에서 말을 한다면, AI 노이즈 제거는 이들을 깨끗하게 분리하는 데 어려움을 겪을 것이다. 음악이 보컬 녹음에 스며들거나, 하나의 악기만 필요할 때 여러 악기가 동시에 연주되는 경우에도 마찬가지이다. 이러한 상황에는 노이즈 제거 모델이 아니라 소스 분리 모델이 필요한데, 그 경우에도 결과는 혼합될 수 있다.

또 다른 한계는 극단적인 노이즈 수준과 관련이 있다. 신호 대 노이즈 비율이 약 -10 dB보다 나쁜 경우(즉, 노이즈가 원하는 신호보다 상당히 더 큰 경우), 최고의 AI 모델조차도 고군분투할 것이다. 나는 클라이언트의 요청으로, 스피커보다 더 시끄러운 고장난 에어컨이 있는 방에서 팟캐스트 에피소드를 녹음한 상황을 통해 이를 힘겹게 배웠다. AI는 많은 노이즈를 제거했지만, 결과로 나온 오디오는 처리된 품질을 가지고 있어 방해가 되었다. 교훈: AI 노이즈 제거는 강력하지만, 좋은 녹음 관행을 대체할 수는 없다.

적절한 AI 노이즈 제거 도구 선택하기

AI 노이즈 제거 도구 시장은 지난 3년간 폭발적으로 성장했다. 내가 2019년에 이 기술을 사용하기 시작했을 때는 아마도 세 가지 진지한 선택지가 있었다. 오늘날에는 수십 가지가 있으며, 무료 플러그인부터 수천 달러에 달하는 엔터프라이즈 수준의 솔루션까지 다양하다. 적절한 도구를 선택하는 것은 특정 요구 사항, 예산 및 워크플로에 따라 달라진다.

전문 작업의 경우, 나는 주로 세 가지 도구를 사용한다: iZotope RX 10의 Dialogue Isolate 및 Voice De-noise 모듈, Adobe Podcast의 Enhance Speech, 및 Descript의 Studio Sound. 각 도구는 고유한 강점을 가지고 있다. iZotope RX는 정밀 작업의 금본위기로 남아 있다. 그 AI 모델은 예외적으로 투명하게 작동한다—그 노이즈를 제거하면서도 하위 도구들이 유발하는 "처리된" 품질을 도입하지 않는다. 인터페이스는 필요할 때 세밀한 제어를 제공하지만, AI는 충분히 똑똑하기 때문에 매개변수를 조정할 필요가 거의 없다. 40개의 녹음 세션에서 일관성이 없는 방 소음에 대한 최근 오디오북 프로젝트에서 RX의 Dialogue Isolate는 수동으로 달성할 수 없었던 완벽한 일관성을 만들어냈다.

Adobe Podcast의 Enhance Speech는 단순성과 효과성으로 주목할 만하다. 팟캐스트 및 인터뷰 콘텐츠에 대해 놀라울 정도로 잘 작동하는 원버튼 솔루션이다. 나는 RX의 정밀함이 필요하지 않은 빠른 회전율의 프로젝트에 이를 사용한다. AI 모델은 특히 말에 맞춰 훈련되었으며, 그로 인해 목소리 특성을 아름답게 보존하면서 배경 소음은 공격적으로 제거한다. 제한 사항은 최소한의 제어를 할 수 있다는 점이다; 본질적으로 켜고 끄는 스위치랄 수 있다. 내 팟캐스트 작업의 70%에 대해서는 그 정도가 완벽하게 충분하다.

Descript의 Studio Sound는 흥미로운 중간 지점을 차지한다. 전체 편집 환경에 통합되어 있어 워크플로를 상당히 간소화한다. AI는 여러 화자를 처리하고 편집 간 일관성을 유지하는 데 특히 뛰어나다. 나는 원격 인터뷰 정리에 특히 유용하다고 생각하는데, 각각의 참여자가 다른 음향 환경에서 녹음했을 때에도 뚜렷한 결과를 제공한다. Studio Sound는 Zoom 전화를 재구성할 수 있다.