요약
블록의 AI 연구실이 텍스트 없이 사람 말소리만으로 학습한 전이중 음성 모델 Dessa를 공개했습니다.
블록 안에 있는 소규모 AI 연구실이 연구용 미리보기로 내놓은 모델입니다. 이 연구실은 토론토의 딥러닝 스타트업 Dessa 출신들이 세웠고, 잭 도시에게 직접 보고합니다. 지금은 대기자 명단을 받으며 AI 안전 연구자 일부에게만 먼저 열어 줍니다.
왜 중요한가
- 기존 음성 AI는 말을 텍스트로 바꾸는 과정에서 감정 정보를 잃습니다. Dessa는 이 한계를 정면으로 겨냥했습니다.
- 노트북에서 로컬로 돌고 GPU 랙 한 대로 학습했다고 밝혀, 음성 모델의 비용 문턱을 크게 낮췄다고 주장합니다.
핵심 내용
- 텍스트와 사전 학습 모델 없이 사람 음성만으로 처음부터 학습했고, 연구진은 아는 한 첫 사례라고 했습니다.
- 전이중(듣는 동시에 말할 수 있는 방식)이라 상대가 말하는 도중에도 "응", "알겠어" 같은 맞장구를 칩니다.
- 웃음, 비꼼, 한숨, 말 사이의 쉼을 알아듣고 직접 소리로 낼 수도 있다고 했습니다.
- M4 Max 이상 맥북 프로에서 실시간보다 빠르게 돌고, 학습에는 NVIDIA GB200 NVL72 한 대만 썼다고 밝혔습니다.
- LLM보다 수백 배 적은 단어로 언어를 익혔다지만, 모델 구조와 데이터 규모, 벤치마크는 공개하지 않았습니다.
HN 반응
- 노트북에서 로컬로 돈다는 점에 놀랐다는 반응이 많았습니다. 다만 블록 같은 대기업 작품을 '인디'로 볼 수 없고, 카르테시아도 맥북 실시간 시연을 했다는 반론이 붙었습니다.
- 데모 속 모델이 너무 자주 끼어들고 억지로 웃거나 공감하는 척해 어색하다는 지적이 이어졌습니다. 고객 상담이나 'AI 여자친구'로 쓰일까 걱정하는 목소리도 나왔습니다.
기술적으로는 아주 인상적인데, 기계랑 나누는 가짜 대화는 솔직히 오글거렸어요. 신경 쓰는 척하는 걸 보면 대화하고 싶은 마음이 싹 사라집니다. 저한테 목표는 지금 하고 있는 일에 보탬이 되는 똑똑한 대화를 나누는 건데요. AI 여자친구 같은 경험은 기뻐하기는커녕 속으로 눈물만 나게 하네요.
이제 텍스트 중 AI가 쓴 글의 비중이 커지다 보니 사람이 쓴 글이 갈수록 더 반갑게 느껴지는데, 이 대목에서 한참 웃었습니다.
그게 사람이 쓴 글이라고 확신하지는 못할 겁니다.
저는 제 커스텀 모델이 제 어조와 목소리를 95퍼센트 완벽하게 재현한 글을 안정적으로 뽑아내게 만들 수 있거든요.
최근에 직접 시도해 본 입장에서는 그 수치가 영 못 미덥네요 :D
혹시 목소리가, 뭐랄까, 희소한 잠재 공간(sparse latent space)에 있는 거 아닐까요? ;)
저는 아주 오래전부터 쌓아 온 글이 학습 데이터로 어마어마하게 많거든요. 결국 학습 데이터를 얼마나 가지고 있느냐에 달린 문제입니다.
커스텀 모델이라는 게 무슨 뜻이에요? 커스텀 프롬프트를 말씀하시는 건가요?
추측인데, 파인튜닝일까요? 아니면 LoRA?
수정: 아래 내용을 보니 아니네요. 그래도 저라면 LoRA로 가겠습니다.
그건 제가 저 자신으로 모델을 직접 만든다고 할 때 얘기인데, 지금은 그럴 계획이 없습니다.
몇 가지가 있습니다.
꽤 방대한 마크다운 "스타일 가이드"를 가지고 있습니다.
지금은 모든 글을 쓸 때 제가 중간에 끼는 RLHF 방식의 루프를 돌립니다. 먼저 일부러 과하게 표현해서 음성으로 떠들듯이 쏟아내는데(표현하고 싶은 개념을 여러 번 중복해서 말하는 거죠), 손실 압축 단계를 관리하려는 겁니다.
그렇게 예닐곱 번 돌린 뒤에 마지막 5%는 직접 손으로 다듬습니다.
이 과정 전체가 스타일 가이드에 들어가서, 푸념 > 결과물로 대응시키는 추론 사고 과정(chain of thought)으로 참조됩니다.
지금까지 삼 년은 튜닝한 것 같네요.
대화 예시도 인상적이지만, 이 부분을 읽고는 저도 모르게 "맙소사" 소리가 나왔습니다. "MacBook Pro M4 Max 이상에서 로컬로 돌아갑니다. 그리고 NVIDIA GB200 NVL72 한 대만으로 Dessa를 학습시키는 방법을 찾아냈습니다."
로컬 기기에서 정말로 그만큼 낮은 지연 시간과 표현력을 재현할 수 있다면, "인디" AI로서는 대단한 성과예요.
좋은 성과이긴 한데, "인디"의 정의가 서로 많이 다른 것 같네요.
https://en.wikipedia.org/wiki/Block,_Inc.#
Cartesia도 초기 데모 중 하나를 MacBook Pro에서 라이브로 돌렸는데요.
여전히 아주 인상적이긴 하지만 전례가 없는 일은 아니에요.
데모 트랙을 몇 초씩 대충 훑어본 바로는 팟캐스트를 엄청 많이 학습한 것 같습니다.
그리고 훨씬 선정적인 제목으로 HN에 먼저 올려서 첫 페이지에 오른 다음 운영자가 제목을 고치는 요즘 흐름은 불이익을 줘야 한다고 봅니다. '역대 가장 진짜 같은'이 마케팅 문구가 아니면 뭐겠습니까? (이 글만이 아니라 최근에 터무니없는 주장으로 첫 페이지에 오른 글이 꽤 많습니다.)
연극 대본이나 소설 속 대사도 학습한 것 같아요. 응답 몇 개는 너무 "완벽해서", 드라마틱한 연속극에서나 들을 법한 대사 같거든요. 솔직히 그런 것도 쓰고 있을 수 있겠죠. 대화를 처음 1~2분 들어 본 제 느낌일 뿐입니다.
그래서 신고 기능이 있는 겁니다.
이런 양방향(bidi/duplex) 데모는 늘 지나치게 인위적으로 느껴져요. 모델이 순번을 지키지 않고 사람과 동시에 말할 수 있다는 건 멋지지만, 최대한 많이 끼어들도록 학습시키는 게 그 방법은 아니잖아요. 맨 첫 번째 예시에서 "winter"라고 답한 뒤에 나온 웃음소리가 설득력 있다고 느낀 분 계세요? 그 웃음은 왜 필요했을까요? 그리고 사람 쪽 화자는 왜 문장 하나, 생각 하나도 끝맺지 못하고 모델이 독백을 시작해 버리는 건가요?
저는 진짜 사람이 말 중간에 끼어들면 이유 없이 화가 치솟는데요, AI 상담원이 그러기 시작하면 의자를 던지게 될 겁니다.
그럼 대신 전화를 받는 에이전트가 더 많이 끼어들게 만들어 두세요.
댓글을 읽고 나서 들어 봤는데, 예시 앞부분에서 Dessa는 취한 것처럼, 아니면 적어도 알딸딸하게 들리더라고요. 그래서 이상하게도 그 웃음이 납득이 갔어요.
이런 게 고객센터 상담원으로 나오면 정말 싫을 것 같아요. 가짜 보컬 프라이에 억양이며 감정이며 묘하게 잔뜩 끼워 넣고 말이죠.
그래도 사랑에 빠지는 사람들은 분명히 나올 거예요! 저는 이런 의인화가 전부 소름 끼치지만요.
보컬 프라이를 안 좋게 말하는 사람들 얘기를 오래전부터 들었는데 그게 뭔지는 몰랐어요. 이 댓글을 보고서야 드디어 찾아봤고, 제가 거의 전부 보컬 프라이로 말한다는 걸 오늘 알았네요.
요즘 이런 풀 듀플렉스 모델들은 영화 "Her"에 점점 가까워지고 있습니다. gpt-live-1은 훌륭하고요. 다만 Dessa는 완전히 인간과 같아지는 걸 목표로 하는 것 같습니다. AI 여자친구 시장이 엄청나니까 이쪽을 진지하게 파고들어야 할 텐데요...
인구 붕괴가 코앞이네요.
그래서 외계인에게서 아무 소식이 없는 거예요. AI를 발명하고는 각자의 Goonsphere로 은퇴해 버린 거죠.
지금도 그 안에 있다는 얘기가 있어요.
동의해요 :) 아무도 짝짓기를 안 해서 인류의 혈통이 끊기겠네요, ㅎㅎ
게다가 사람들이 나머지 인류와 맺는 유대가 줄어들면 도덕성에도 이상한 영향이 생길 것 같아요.
맞아요, 인터넷과 유튜브를 많이 쓰면서 이미 시작됐을 수도 있고요.
제발 더 빨리 오게 해 주세요...