비빔밥에서 고추장만 덜어내는 기술? AI 음원 분리가 바꾼 음악 산업의 대항해 시대 > 소식

안녕하세요 사운드캣입니다.

야르~

여러분 이미 완벽하게 비벼진 비빔밥에서 고추장만 쏙 꺼내는 게 과연 가능할까요?

​

우유를 섞어버린 카페라테에서 완벽하게 흰 우유와 검은 에스프레소를 다시 추출해 내는 것은요?

​

불과 몇 년 전만 해도 음악 프로듀싱과 오디오 엔지니어링 세계에서 이미 완벽하게 하나로 뭉쳐진 마스터 음원(믹스다운 파일)의

악기나 보컬을 따로 분리하는 건 일반인 수준에서는 황당하고 불가능해 보이는 영역이었습니다.

​

과거에는 원하는 소리를 분리하려면 상극의 주파수를 맞춰 위상을 반전시키거나(Phase Inversion), 파형을 오려내는 위상 캔슬링 편법을 쓰곤 했습니다.

​

전문가들은 스펙트라레이어스(SpectraLayers)나 아이조톱 RX(iZotope RX) 같은 고가의 전문 스펙트럼 에디터를 들고,

오디오 파형을 미켈란젤로처럼 한 땀 한 땀 마우스로 깎아내야 했죠.

​

하지만 복잡한 음악의 경우 전문가가 오랜 시간 작업을 해도 결과물은 완벽하지 않아, 마치 물속에서 중얼거리는 듯 먹먹하고

깔끔하지 않은 소리가 나기 일쑤였습니다.

말 그대로 엔지니어의 장인 정신과 고통을 담보로 한 작업이었습니다.

​

하지만 딥러닝 인공지능(AI)과 신경망 기술이 폭발한 지금, 상황은 완전히 역전되었습니다.

버튼 하나 누르고 10초만 기다리면 완성되는 시대가 된 것입니다.

1. AI 음원 분리 기술, 지금 어디까지 왔을까?

현재 AI의 발전으로 인하여 오디오 생태계는 그야말로

스템 분리(Stem Separation) 기술의 전쟁터입니다.

​

불과 3~4년 사이에 단순한 연구용 알고리즘 수준을 넘어

현업 프로들의 필수 소프트웨어에 깊숙이 이식되었습니다.

주요 AI 음원 분리 소프트웨어 & 웹 서비스 간단 분석

극상의 음질을 추구하는 '알고리즘 최고봉' 그룹

MVSEP (and UVR5 - Ultimate Vocal Remover 5)

< 남녀 보컬도 분리해내는 MVSEP, 클릭시 전에 포스팅한 글로 이동 >

특징: 최신 머신러닝 모델(bs_reformer, Demucs, MDX-Net 등)을 사용자가 직접 선택해 테스트할 수 있습니다. 남녀 듀엣 보컬을 분리한다거나 합창단 음원에서 합창 Part(합창단 베이스, 테너, 알토, 소프라노)를 분리하고 드럼 개별 파트를 분리하는 실험적 모델도 제공합니다.

​

LALAL.ai

특징: 자체 개발한 'Andromeda(안드로메다)' 신경망 엔진을 탑재한 대표적인 웹/앱/플러그인 서비스입니다.

보컬, 드럼, 베이스 외에도 피아노, 신시사이저, 어쿠스틱/일렉 기타, 관현악까지 섬세하게 추출합니다.

​

LANDR Stems (AudioShake 엔진 기반)

특징: 마스터링 플랫폼으로 유명한 LANDR이 선보인 스템 분리 서비스입니다.

메이저 레이블과 음악 퍼블리셔들이 사용하는 AudioShake의 AI 알고리즘을 이식받았습니다.

메인 작업 환경을 지키는 'DAW 내장형' 그룹

Apple Logic Pro (스템 스플리터)

특징: Apple Silicon 칩의 NPU 연산 능력을 극대화하여 미친 듯한 처리 속도를 자랑합니다.

우클릭 한 번으로 보컬, 드럼, 베이스, 기타, 피아노, 기타 악기를 즉시 분리합니다.

​

Ableton Live 12 (Stem Separation)

특징: Live 12.3 업데이트를 통해 스템 분리 기능을 탑재했습니다. 전문 플랫폼인 Moises의 개발사 'MOISES AI' 엔진을 내장했으며, 고속(High Speed) 모드와 고품질(High Quality) 모드를 선택할 수 있습니다.

타임 셀렉션 기능을 통해 특정 구간만 떼어내는 가벼운 작업에 유용합니다.

​

Steinberg SpectraLayers Pro 13

 

특징: 복원과 음향 편집 분야의 '끝판왕'입니다. 단순히 AI가 분리해 주는 것에 그치지 않고, 분리된 오디오의 스펙트로그램 파형을 눈으로 보면서 미세한 잡음을 연필 도구로 지우거나 수정할 수 있습니다. ARA2를 지원하여 Cubase, Nuendo 등과 완벽하게 연동됩니다.

엘레먼트 버전은 큐베이스 프로에 들어있기도 합니다.

뮤지션 연습과 멀티 플랫폼 그룹

Moises.AI (모이세스)

특징: 뮤지션들의 연습용 앱으로 시작해 현재는 프로급 툴로 성장했습니다. 에이블톤 라이브에 들어 있는 엔진이 바로 MOISES입니다.

메인 보컬과 백킹 보컬을 완벽히 나누고, 어쿠스틱/일렉 기타, 리드/리듬 기타까지 미세하게 분리해 주는 정교함이 매력입니다.

​

Gaudio Studio (가우디오 스튜디오)

특징: 국내 음향 AI 기술 기업인 가우디오랩(Gaudio Lab)이 개발한 GSEP 모델 기반의 서비스입니다. 드럼 추출 시 라이브 공간감(Room Sound)과 울림을 억지로 지우지 않고 자연스럽게 남겨두어, 인위적인 느낌이 적고 음악적인 분위기를 살려내는 독특한 특성을 지닙니다.

실시간 및 기타 독특한 툴들

zplane Peel Stems 2

특징: 오디오 프로세싱의 명가 zplane이 만든 '실시간 플러그인'입니다. 오프라인 AI 연산이 아닌, 불과 245ms(밀리초)의 초저지연(Low Latency) 상태로 라이브 무대나 믹싱 중 실시간으로 보컬, 드럼, 베이스 음량을 줄이거나 끄는 연출이 가능합니다.

​

RipX DAW

특징: RipX는 음원 분리를 한단계 확장해서 기존 음원을 분리한 것을 MIDI 노트처럼 시각화하여 음정과 박자를 자유자재로 수정할 수 있는 작업 환경을 제공합니다.

​

전문 독립형 소프트웨어의 진화

DAW외에도 전문 소프트웨어도 등장하는데요.

오픈소스 진영의 전설인 UVR5(Ultimate Vocal Remover v5)는 엔지니어들 사이에서 가성비 '마법 툴'로 불립니다.

파이썬 기반의 머신러닝 모델(Demucs, MDX-Net 등)을 활용해 가장 정교한 분리 성능을 자랑하죠.

​

DJ 및 라이브 무대

DJ들이야 말로 그동안 전문가에게 MR이나 리믹스 작업을 맡기는 경우가 많았는데

Serato DJ, Rekordbox, Traktor 같은 DJ 프로그램들은 실시간 음원 분리 엔진을 탑재하면서

자유의 날개를 달았다고 해도 과언이 아닙니다.

​

DJ가 곡을 재생하는 도중 버튼 하나로 즉석에서 보컬만 끄거나, 드럼 비트만 남겨 다른 곡과 섞는 '실시간 리믹스'를

아주 쉽게 할 수 있게 되었습니다.

​

생성형 음악 AI와의 결합

 

수노(Suno)나 우디오(Udio) 같은 AI 음악 생성 서비스는 음악을 새로 만들어내는 것에 그치지 않고,

자신이 생성한 음악의 스템 파일을 바로 추출해 주는 기능까지 제공하며

음악 제작의 허들을 완전히 무너뜨렸습니다.

​

이처럼 창작자에게 판타지 영화 속 초능력을 쥐여준 AI 음원 분리 기술.

​

과연 이 기술은 오디오 산업에 어떤 위대한 축복을 내렸으며, 동시에 어떤 날카로운 가시를 숨기고 있을까요?

2. 음악 생태계를 바꾼 4가지 축복 (빛)

① 전설의 음원을 되살리는 오디오 타임머신

가장 영화 같은 변화는 오디오 복원과 리마스터링 분야에서 일어났습니다.

​

과거에는 화재나 보관 부주의로 원본 멀티트랙 테이프(각 악기가 따로 녹음된 개별 트랙)가 손실되면,

오래된 명곡을 현대적인 사운드로 재가공하는 것이 사실상 불가능했습니다.

가장 대표적인 역사적 사건이 바로 2023년 공개된 비틀즈(The Beatles)의 마지막 신곡 'Now and Then'입니다.

​

1970년대 존 레논이 피아노를 치며 카세트테이프에 대충 녹음한 조악한 음원에서, 영화 <반지의 제왕>으로 유명한 피터 잭슨 감독의 음원 분리 AI 기술을 이용해 피아노 소리와 잡음을 깔끔하게 지우고 존 레논의 보컬만 깨끗하게 떼어냈습니다.

​

50년 전 죽은 거장의 목소리가 AI라는 타임머신을 타고 살아 돌아와 폴 매카트니, 조지 해리슨, 링고 스타의 연주와 완벽하게 어우러진 이 순간은 오디오 역사상 가장 감동적인 순간 중 하나였습니다.

② 프로듀서와 DJ를 위한 무한한 샘플링 파라다이스

힙합과 전자 음악의 핵심은 기존 곡의 일부분을 잘라내어 새로운 곡을 만드는 '샘플링(Sampling)'입니다.

​

과거에는 유명 곡의 보컬 아카펠라나 드럼 브레이크 리듬을 얻으려면,

음악 기획사가 리믹스 콘테스트 등을 위해 공식 스템(Stem) 파일을 풀어주기만을 기다려야 했습니다.

사운드캣에서도 이런 파일을 받아서 리믹스 콘테스트를 열기도 했었죠.

하지만 지금은 프로듀서가 원하는 순간

아무 노래에서나 마음에 드는 베이스 라인이나 몽환적인 신디사이저 소리를 쏙 솎아낼 수 있습니다.

​

아이디어를 구상하고 실험하는 속도가 과거와는 비교할 수 없을 정도로 빨라졌으며,

DJ들은 라이브 무대에서 매번 완전히 새로운 조합의 매시업(Mash-up) 트랙을 선보일 수 있게 되었습니다.

③ 1:1 맞춤형 AI 족집게 과외 선생님

음악을 배우는 학생이나 카피 연주를 해야 하는 뮤지션들에게 이 기술은 최고의 카피 스승입니다.

"이 곡 베이스 라인이 드럼 킥 소리에 묻혀서 전혀 안 들려!"라며 귀를 스피커에 바짝 대고 애를 쓰던 시대는 끝났습니다.

커뮤니티에서도 OOO곡의 베이스라인 좀 따주세요.하는 글이 하루에도 몇개씩

올라왔죠.

​

이제는 베이스 트랙만 따로 '솔로(Solo)'로 떼어내어 정밀하게 들어볼 수 있습니다.

​

보컬 지망생들은 원곡에서 보컬만 제거해 원작과 완벽히 동일한 톤의 MR을 만들어 연습하고,

반대로 보컬 트랙만 분리해 가수의 숨소리, 비브라토, 미세한 음정 변화까지 모니터링하며 가창 테크닉을 정밀 분석합니다.

드럼 연주자 역시 복잡한 파동 속에 묻힌 하이햇과 스네어의 미세한 리듬 뉘앙스를 눈과 귀로 확인하며 연습할 수 있습니다.

④ 방치되어 있던 레거시 음원의 재발견과 자산화

음반 제작사와 레이블 입장에서도 AI 음원 분리는 방치된 보물 상자를 열어주는 열쇠입니다.

 

80~90년대 제작되어 2채널 스테레오 음원 형태로만 먼지를 뒤집어쓰고 있던 자사 아티스트들의 옛 음원들을 스템별로 분리해,

최근 유행하는 Dolby Atmos(공간 음향) 포맷으로 재믹싱하여 리마스터 앨범으로 재출시하는 신규 비즈니스 모델이 활발히 작동하고 있습니다.

​

아카이브에 잠들어 있던 옛 음악들이 최신 음향 기술을 만나 새로운 수익원으로 재탄생하고 있는 것이죠.

3. 섣부른 환상이 가져온 4가지 위험과 한계 (그림자)

① 저작권과 윤리적 경계선의 무분별한 실종

소스를 추출하는 버튼을 누르는 것이 너무 쉬워지다 보니, '기술적 가능성'이 '법적 허용'인 것으로 착각하는

권리 침해 사례가 폭발적으로 늘고 있습니다.

원작자의 동의 없이 상업용 음원에서 보컬을 추출해 자기가 만든 비트에 얹은 뒤

사운드클라우드, 유튜브, 틱톡 등에 배포하는 행위가 일상화되었습니다.

​

더 큰 문제는 이렇게 추출한 보컬 스템을 AI 음성 학습 데이터로 밀어 넣어

아티스트의 목소리를 복제(Voice Cloning)하는 악용 사례입니다.

실제로 2023년 드레이크(Drake)와 더 위켄드(The Weeknd)의 목소리를 추출해

AI로 만든 가짜 신곡 'Heart on My Sleeve'가 전 세계를 흔들었던 것처럼

"소스 분리가 쉬워졌다고 해서 그 소스의 소유권까지 나에게 오는 것은 아니다"라는

기본적인 법적·도덕적 의식이 기술의 폭주를 따라가지 못하고 있습니다.

​

② 솔로 버튼을 누르면 드러나는 '물속 사운드'의 비극

AI가 아무리 정교해졌다고 해도, 오디오 신호 처리 기술 기준에서 완전히 무결점인 상태는 아닙니다.

​

분리된 악기 트랙을 전체 믹스 안에서 묻혀 들을 때는 그럴싸하지만,

해당 트랙만 단독(Solo)으로 켜고 모니터링해 보면 기술적 한계가 명확히 드러납니다.

​

AI가 주파수를 강제로 찢어내는 과정에서 원본 데이터의 알맹이가 깎여 나가며

발생하는 특유의 위상 캔슬링(Phase Cancellation)이나,

마치 물속에서 소리를 지르는 듯 웅웅거리는 스펙트럼 아티팩트(Artifact) 현상이 여전히 잔재합니다.

​

특히 고음역대의 심벌즈나 리버브 잔향, 잔소리 같은 요소들은 서로 복잡하게 얽혀 있어

AI도 깔끔하게 떼어내지 못하고 거친 잔상을 남깁니다.

​

이런 잔상 소스는 고해상도 음반을 제작해야 하는 프로들의 하이엔드 믹스/마스터링 환경에서는

전체적인 음질을 저하시키는 주범이 됩니다.

​

비빔밥에서 고추장을 강제로 털어내도 밥알에 붉은 고추장 물이 들어있는 것과 정확히 같은 이치입니다.

③ "나중에 AI로 떼어내지 뭐" – 현장 엔지니어링의 안일함

프로 스튜디오 현장에서 가장 심각하게 우려하는 부작용은 바로 기본기의 와해입니다.

전통적인 오디오 레코딩은 마이크의 각도를 1mm 단위로 조절하고, 방음과 흡음을 세밀하게 세팅하며,

공간음이 다른 마이크로 흘러 들어가는 '블리드(Bleed)' 현상을 최소화하기 위해 수많은 노하우를 동원합니다.

​

레코딩 단계에서부터 완벽한 톤을 만들어내는 것이 엔지니어의 핵심 경쟁력이었죠.

그러나 AI 분리 기술이 보편화되면서 일부 현장에서는

"녹음할 때 드럼 소리가 마이크에 좀 섞여 들어가거나 울려도 나중에 스템 분리기로 떼어내서 보정하면 돼"

라는 식의 안일한 접근이 조금씩 퍼지고 있습니다.

​

이는 초기 소스 자체의 퀄리티를 저하시키고, 오디오 음향학에 대한 깊이 있는 이해와

현장 노하우를 경시하게 만드는 씁쓸한 부작용을 낳고 있습니다.

​

④ 사운드 질감의 하향 평준화 위험

AI 스템 분리를 거친 소스는 필수적으로 원본의 다이내믹스와 주파수 응답을 일부 손실합니다.

​

이러한 소스로 제작된 음악들이 시장에 범람하면, 대중과 젊은 창작자들의 '손상된 오디오 신호'에

익숙해지게 됩니다.

이는 결과적으로 정교하게 다듬어진 아날로그 질감이나 깊이 있는 3차원적 음장감보다는,

디지털적으로 찢겨서 딱딱해진 '편평한 사운드'를 당연하게 받아들이는 사운드 질감의 하향 평준화를

초래할 수 있다는 지적도 나옵니다.

4. 스마트한 음원 분리 활용 가이드

그렇다면 우리는 이 강력하면서도 위험한 기술을 어떻게 다루어야 할까요?

​

현명한 뮤지션과 엔지니어들은 스템 분리를 '완성품을 만들어주는 자판기'가 아니라 '훌륭한 밑 작업용 보조 도구'로 활용합니다.

​

 스템 분리 기술 200% 스마트하게 활용하는 법

메인 소스가 아닌 '레이어링(Layering)' 용도로 활용하라

추출한 스템 소스를 단독으로 크게 트는 대신,

기존 드럼이나 베이스 사운드 뒤에 살짝 깔아주어 질감과 풍성함을 더하는 백업 용도로 쓰면

아티팩트(잡음)는 숨기고 효과만 극대화할 수 있습니다.

​

위상(Phase) 보정과 믹스 기법을 병행하라

분리된 스템 소스에는 특유의 위상 왜곡이 생깁니다.

EQ로 아티팩트가 심한 주파수 대역(특히 2kHz~6kHz 사이의 찌그러지는 구간)을 살짝 눌러주고,

디노이저(De-noiser)나 로우패스 필터를 적용하면 훨씬 자연스러운 소리를 얻을 수 있습니다.

​

학습과 아이디어나 가이드 트랙으로 한정하라

상업 음반의 최종 마스터링 단계에 AI로 분리한 소스를 직접 집어넣는 것은 위험합니다.

대신 데모 곡 작업, 카피 연습, 보컬 가이드 트랙, 라이브 공연용 MR 생성 등

보조적인 단계에서 적극 활용할 때 가장 높은 효율을 발휘합니다.

마무리하며

AI 발전으로 인한, 음원 분리 기술은 음악 생태계라는 거대한 화폭 위에 등장한 가장 초현대적인 '마법의 붓'입니다.

이 붓을 어떻게 쓰느냐에 따라 잊혀가던 전설의 음원을 부활시키는 위대한 문화적 유산이 될 수도 있고,

남의 작품을 무단으로 훼손하고 오디오의 본질적인 깊이를 얕게 만드는 칼날이 될 수도 있습니다.

훌륭한 요리사는 성능 좋은 전자레인지나 가공식품이 나왔다고 해서

칼을 다루는 기본기와 원재료를 손질하는 감각을 잊지 않습니다.

AI라는 유능한 비서가 제공하는 편의성을 스마트하게 누리되,

진짜 명곡을 만드는 핵심은 결국 정교한 원음의 가치를 알아보는 엔지니어의 깊은 청각과,

타인의 권리를 존중하는 창작자의 윤리의식에 있음을 잊지 말아야 할 때입니다.