YuE2 모델이란 무엇인가 로컬 AI 음악 생성과 악보 편집까지
YuE2 모델은 가사와 스타일 설명을 넣으면 보컬과 반주가 포함된 한 곡을 만드는 오픈 웨이트 음악 생성 모델입니다. 멜로디와 화성을 악보 형태로 수정한 뒤 다시 렌더링할 수도 있습니다. 완성된 오디오가 한 번 나오면 끝나는 도구보다 곡의 계획을 고치며 결과를 반복 제작하고 싶은 사람에게 더 맞는 구조입니다.
음악 생성 AI를 로컬에서 돌리는 일은 아직 무거운 작업입니다. 그래서 설치 버튼을 누르기 전에 GPU 환경과 비상업 라이선스부터 확인해야 합니다. YuE2 공식 문서는 BF16을 지원하는 NVIDIA GPU와 24GB VRAM을 기본 실행 환경으로 안내합니다.
YuE2 공식 모델 카드에 실린 아키텍처 다이어그램입니다. 자료 제공 : M-A-P (Multimodal Art Projection)
YuE2 모델이란 무엇인가
YuE2는 M-A-P가 공개한 30억 파라미터 규모의 음악 생성 모델입니다. 공식 모델 카드에 따르면 스타일 프롬프트와 가사를 입력받아 곡을 만듭니다. 결과물에는 보컬과 반주가 함께 들어가고 기본 출력은 48kHz 스테레오 오디오입니다.
이름이 비슷한 기존 YuE와 구분할 필요가 있습니다. 기존 YuE 연구는 공개 모델 계열이었고 긴 형식의 가사 기반 노래 생성을 겨냥했습니다. YuE2는 여기에 편집 가능한 기호 음악 계획과 새로운 오디오 디코더를 더한 후속 런타임입니다. 따라서 오래된 YuE 설치 글의 모델 이름과 실행 명령을 YuE2에 그대로 적용하면 맞지 않을 수 있습니다.
공식 문서의 기본 입력은 두 가지입니다. style에는 장르, 악기, 보컬 특성, 언어, 템포 같은 지시를 넣습니다. lyrics에는 [Verse], [Chorus]처럼 구간을 표시한 가사를 넣습니다. 좋은 결과는 분위기를 뜻하는 형용사를 길게 늘어놓을 때보다 곡의 구성과 보컬, 악기를 구체적으로 적을 때 나옵니다.
YuE2가 일반 음악 생성 모델과 다른 이유
대부분의 음악 생성 서비스는 프롬프트를 넣고 결과를 듣는 흐름이 중심입니다. YuE2도 바로 생성할 수 있습니다. 다만 원하면 멜로디와 화성을 포함한 계획을 먼저 만들 수도 있습니다. 그 계획을 고친 뒤 합성 단계로 넘기는 방식입니다.
공식 모델 카드가 설명하는 흐름은 음악 계획, 의미 토큰, 음향 잠재 표현, VAE 디코더 순서입니다. 여기서 사용자가 직접 다룰 수 있는 지점은 음악 계획입니다. 멜로디만 가져오거나 멜로디와 코드 진행을 함께 다루는 방식, 그리고 직접 오디오를 생성하는 방식을 선택할 수 있습니다.
계획은 ABC 표기법으로 내보내고 수정할 수 있습니다. 후렴의 음 진행을 바꾸거나 화성을 조정한 뒤 같은 스타일과 가사로 다시 합성하는 식입니다. 원하는 결과가 나올 때까지 프롬프트를 처음부터 바꾸는 방식보다 무엇을 바꾸려는지 분명할 때 특히 유용합니다.
다만 ABC를 조금 고친다고 기존 오디오의 한 구간만 정확히 교체되는 것은 아닙니다. 계획을 바탕으로 다시 생성하는 과정이므로 보컬의 질감, 편곡, 세부 연주가 함께 달라질 수 있습니다. 수정 전 결과물과 설정을 따로 보관해 두고 한 번에 여러 항목을 바꾸지 않으면 비교가 쉬워집니다.
YuE2 음악 생성에 필요한 GPU와 소프트웨어 환경
공식 생성 문서는 Python 3.12와 BF16을 지원하는 NVIDIA GPU, 24GB VRAM을 지원 기준으로 제시합니다. 모델 파일을 내려받는 것만으로는 부족합니다. 이 사양을 갖춘 GPU가 있어야 일반 노트북에서도 노래가 나옵니다.
기본 경로는 저장소를 내려받은 뒤 Python 패키지를 설치하고 YuE2Pipeline으로 m-a-p/YuE2-3B 가중치를 불러오는 방식입니다. 생성 결과와 함께 중간 산출물을 보관하면 VAE만 바꿔 디코딩하거나 같은 조건을 다시 확인할 수 있습니다.
GPU 메모리가 부족한 환경에서 비공식 양자화판이나 별도 UI를 쓰는 경우도 있습니다. 다만 이런 구성을 공식 지원 사양과 동일하게 보아서는 안 됩니다. 정식 문서가 안내하는 환경에서 먼저 짧은 가사로 생성 성공 여부를 확인하고 나서 긴 곡과 편집 기능을 시험하는 순서가 안전합니다.
YuE2에서 가사와 악보를 고쳐 다시 만드는 방법
가장 단순한 시작은 전체 곡을 한 번 만들어 보는 것입니다. 원하는 장르와 악기, 보컬 분위기를 style에 적고 가사 구간을 나눕니다. 이 단계에서는 곡의 큰 방향이 맞는지 듣는 데 집중하면 됩니다.
멜로디가 마음에 들지 않으면 멜로디 계획을 먼저 확인합니다. 코드 진행까지 고치고 싶다면 멜로디와 화성이 포함된 전체 계획을 선택합니다. ABC 표기법에 익숙하지 않다면 후렴의 한 마디, 코드 하나처럼 바꾸는 범위를 작게 잡습니다. 한 번에 복잡한 편곡을 손대는 쪽보다 결과 차이를 파악하기 좋습니다.
참조 오디오에서 멜로디를 얻어 새 스타일과 가사로 생성하는 커버 흐름도 공식 문서에 포함되어 있습니다. 이 경우 SheetSage2가 원본 오디오에서 멜로디나 코드 정보를 추출하고 YuE2가 이를 바탕으로 새 곡을 만듭니다. 입력으로는 직접 만든 음원이나 명확한 허가를 받은 음원만 써야 합니다. 다른 사람의 상업 음원은 저작권과 이용 약관 문제를 만들 수 있습니다.
YuE2와 Suno를 비교할 때 봐야 할 기준
YuE2 공식 모델 카드는 Suno v5와 v6을 포함한 자체 비교 결과를 공개하고 있습니다. 그 수치는 특정 벤치마크와 생성 설정에서 나온 공식 평가입니다. 모든 장르와 모든 프롬프트에서 같은 우위가 재현된다고 읽으면 안 됩니다.
192개의 WildSongBench 프롬프트 기준 노래 품질과 텍스트 정렬 비교 그래프. 자료 제공 : M-A-P (Multimodal Art Projection)
비교할 때는 점수 하나보다 작업 방식을 봐야 합니다. 빠르게 몇 곡을 만들어 듣고 공유하는 일이 목적이라면 웹 서비스의 편의성이 중요합니다. 반면 로컬 환경에서 가중치와 생성 산출물을 직접 관리하고 싶은 경우도 있습니다. 멜로디·화성 계획을 고친 뒤 다시 합성하는 과정을 원한다면 YuE2의 편집 구조가 장점이 될 수 있습니다.
반대로 YuE2는 설치와 모델 파일 관리, 충분한 GPU 메모리가 필요합니다. 사용자가 해결해야 할 문제가 늘어나는 만큼 결과를 통제할 여지도 생기는 선택지입니다.
YuE2 모델 라이선스와 사용 전에 확인할 한계
YuE2-3B 모델 카드와 공식 릴리스는 코드와 가중치의 라이선스를 CC BY-NC 4.0으로 표시합니다. 비상업 조건이 붙는 라이선스입니다. 그래서 상업적 이용이 얽힌 상황이라면 모델 제공자의 최신 조건을 직접 확인해야 합니다. 광고 수익이 있는 채널에 생성물을 올리거나 고객 작업에 쓰는 경우가 여기에 해당합니다.
또한 공식 모델 카드의 언어 표기는 중국어와 영어입니다. 한국어 가사를 넣은 결과가 자연스럽다고 보장하는 공식 지원 범위는 현재 문서에서 확인되지 않습니다. 한국어 곡을 만들 계획이라면 짧은 후렴부터 발음, 박자, 가사 전달력을 직접 들어 보고 판단하는 쪽이 좋을 것 같습니다.
AI가 만든 곡에도 저작권 문제는 남습니다. 특히 타인의 노래를 커버나 학습 재료로 쓰기 전에는 권리 범위를 먼저 확인해야 합니다. 입력 가사와 참조 음원, 특정 가수나 밴드를 그대로 흉내 내게 하는 지시, 생성물을 올릴 플랫폼의 정책은 각각 따로 확인해야 하는 항목입니다.
YuE2 모델 관련 자주 묻는 질문
YuE2는 한국어 가사로 노래를 만들 수 있나요?
입력 자체를 시험할 수는 있지만 공식 모델 카드가 명시한 언어는 중국어와 영어입니다. 한국어 발음과 가사 전달을 공식적으로 보장하는 문서는 확인하기 어렵습니다. 짧은 가사로 결과를 먼저 듣고 어색한 음절은 가사를 나누거나 표현을 바꿔 다시 확인하는 방법이 현실적입니다.
YuE2는 상업적으로 사용할 수 있나요?
공개된 YuE2-3B 모델 카드와 릴리스 기준 라이선스는 CC BY-NC 4.0입니다. 비상업 조건이 들어갑니다. 상업적 공개, 납품, 수익화 목적의 사용을 계획한다면 사용 전에 최신 라이선스 전문과 제공자의 별도 허가 조건을 확인해야 합니다.
YuE2 실행에는 어느 정도의 VRAM이 필요한가요?
공식 생성 문서는 BF16을 지원하는 NVIDIA GPU와 24GB VRAM을 지원 기준으로 제시합니다. 비공식 최적화 구성은 환경에 따라 달라질 수 있습니다. 공식 사양보다 낮은 메모리에서 실행에 성공한 사례를 일반적인 기준으로 기대하면 안 됩니다.
YuE2를 ComfyUI에서 사용할 수 있나요?
YuE2 공식 문서는 Python 패키지와 명령줄 중심의 사용법을 안내합니다. 커뮤니티가 만든 ComfyUI 연동 워크플로우는 버전과 배포 주체가 다양합니다. 설치 전 저장소의 유지 상태와 모델 출처를 확인해야 합니다. 문제가 생겼을 때 공식 Python 경로에서 동작을 먼저 확인하면 원인을 좁힐 수 있습니다.
이 글은 2026년 9월 18일 기준 공개된 YuE2 모델 카드, 공식 생성 문서, 공식 릴리스를 바탕으로 작성했습니다. 모델 가중치, 라이선스, 지원 환경, 커뮤니티 연동 방식은 바뀔 수 있으므로 설치·배포·수익화 전에 각 공식 페이지와 라이선스 전문을 다시 확인해야 합니다. 생성물의 이용과 입력 자료의 권리 확인 책임은 사용자에게 있습니다.
Leave a comment