요약
PCA에서 확산 모델, GAN까지 생성형 AI의 수학을 하나의 유도 흐름으로 엮은 195쪽 입문서입니다.
저자 천톈화가 arXiv에 올린 단독 저서로, 5월 첫 공개 뒤 9월 개정판에서 그림 설명을 보강했습니다. 최신 모델 구조를 두루 훑는 대신 주요 생성 모델을 잇는 수학적 아이디어를 유도 과정 중심으로 정리하는 것이 목표라고 밝혔습니다.
왜 중요한가
- 따로따로 배우기 쉬운 VAE, 확산 모델, GAN을 잠재 변수, 변분 하한, 스코어 같은 공통 개념으로 묶어 서로의 관계를 보여 줍니다.
- 선형대수, 확률, 미적분을 예비 장으로 따로 떼지 않고 모델을 설명하는 흐름 안에서 필요할 때 풀어 줍니다.
핵심 내용
- PCA에서 출발해 확률적 PCA, VAE, 확산 모델(노이즈를 더했다가 거꾸로 걷어내며 데이터를 만드는 모델), 스코어 기반 모델 순으로 나아갑니다.
- 후반부는 정규화 흐름(되돌릴 수 있는 변환으로 확률을 정확히 계산하는 모델), 자기회귀 분해, GAN, Wasserstein GAN, 에너지 기반 모델을 다룹니다.
- 장 순서는 역사가 아니라 배우기 좋은 순서를 따르고, 뒷장이 앞 장의 개념을 이어받습니다.
- 브라운 운동과 포커-플랑크 방정식 같은 연속 시간 미적분을 한 장에 따로 담았습니다.
- 제목의 '작은'은 깊이가 아니라 다루는 범위를 뜻한다고 저자는 설명했습니다.
HN 반응
- 읽기 쉽다는 평과 함께, 신경망 구조를 다룬 플뢰레의 'The Little Book of Deep Learning'을 곁들여 읽으라는 추천이 이어졌습니다.
- 트랜스포머 기초서라는 해석에는 확산 모델 쪽에 가깝다는 반론과, DiT처럼 두 갈래가 합쳐져 여전히 쓸모 있다는 보충이 나왔습니다.
생성형 ML을 이제 막 시작하신다면 이 책을 Fleuret의 "Little Book of Deep Learning"과 함께 읽으시길 권합니다. 이 책이 확률과 연속 수학을 전부 다뤄 주고, 신경망 아키텍처 부분은 Fleuret의 책이 마무리해 줍니다.
저는 이 부분이 마음에 들지 않습니다.
저자가 벡터와, 기저가 주어졌을 때의 좌표 벡터가 다르다는 걸 알고 있으리라 확신합니다. 그저 이 서술 방식이 마음에 들지 않을 뿐입니다. 함수를 적용했는데 변화가 일어나지 않는다고 말하는 건 이상합니다.
그게 능동 변환과 수동 변환의 차이입니다. 제가 아는 한 수학자들은 보통 수동 변환으로 생각하고, 물리학자들은 둘 다 씁니다. 그리고 인용하신 건 수동 변환이고요.
변화는 일어납니다. 한 표현에서 다른 표현으로 바뀌는 거죠. 다만 그 표현이 가리키는 대상 자체는 그대로이고, 저는 그 점을 강조하는 게 합리적이라고 생각합니다.
저는 서술 방식이 마음에 들지 않는다고 했습니다.
유클리드 2차원 공간의 직선들의 집합은 벡터 공간입니다. R^3으로 가는 동형 사상이 있습니다. 원점을 고르고 x, y축을 정하면 ax + by + c = 0이 R^3의 튜플을 줍니다.
직선이 x이고 R^3의 튜플이 t인데, 이 서술은 (한 번도 도입되지 않은) t를 써야 할 자리에 x를 씁니다. 벡터와 좌표 벡터를 뒤섞고 있다는 얘기입니다.
effect(초래하다)*
머신러닝과 트랜스포머 뒤에 있는 수학을 배우고 싶은 분들께(적어도 어떻게 돌아가는지 아주 잘 감을 잡고 싶은 분들께) 또 한 권 강력히 추천하고 싶은 책이 Anil Ananthaswamy의 "Why Machines Learn: The Elegant Math Behind Modern AI"입니다. 작년에 읽었는데, 오늘의 AI에 이르게 한 ML의 가장 중요한 수학 개념과 발견들이 "어떻게, 왜" 나왔는지를 속도 조절도 훌륭하게, 직관을 차근차근 쌓아 가며 설명해 줘서 아주 좋았습니다. 선형대수, 통계, 다변수 미적분을 이미 깊이 이해하고 있지 않은 분들에게는 훨씬 부담이 덜한 입문서이면서도, 얻어 갈 것이 있을 만큼의 엄밀함은 갖추고 있습니다.
조언 감사합니다.
와, 이 책 의외로 잘 읽히네요! 선형대수 기초부터 시작하는 점이 마음에 듭니다.
제가 제일 좋아하는 작은 책은 François Fleuret의 The Little Book of Deep Learning입니다. https://fleuret.org/francois/lbdl.html
그 사이트에서 폰에 맞춘 PDF를 옵션으로 제공하는 게 정말 마음에 드네요. 세심하기도 해라!
Koreader의 리플로 기능이 마음에 드실 수도 있습니다. PDF 내용을 화면 너비에 맞는 한 단 레이아웃으로 맞춰 주고, 그 텍스트는 확대도 됩니다.
스캔한("디지털"이 아닌) PDF에서도 되나요? 지금까지 제일 골치 아팠던 부분이 그거라서요. 아직 Koreader는 써 보지 못했습니다.
Internet Archive에서 받은 PDF에서는 의외로 잘 되더라고요. 그런 PDF는 대체로 스캔본에 OCR을 입힌 것들입니다. 텍스트를 아예 선택할 수 없다면 안 될 것 같고요.
저는 독서량을 늘리려고 듀오를 샀어요.
기술 PDF나 책 읽기에는 잘 맞나요? 폼팩터를 보고 나니 아이패드보다 낫겠다 싶더라고요(덜 무겁고 배터리도 낫고). 제가 노리는 용도가 바로 그거예요. 2세대가 나올 때까지 기다릴까 싶기도 하고요.
제가 알기로는 아이패드 미니도 무게가 같고 화면은 조금 더 큽니다. 무광 디스플레이 옵션도 있고요.
저는 주머니가 커서 아마 주머니에 들어갈 겁니다. 그래도 폰은 따로 있어야 하겠지만요. 그래서 마음에 안 들어도 발목 잡히지 않게 1년 리스로 듀오를 주문해 뒀습니다.
솔직히 폰 대신 셀룰러 미니를 쓰는 것도 아예 고려해 보고 있긴 합니다.
제 낡고 후진 눈에는 이런 건 큰 화면이 필요해요. 하나 주문해 놨습니다. 화면 깨짐 문제 때문에 계속 망설이고 있지만요.
제 풀스택 JS 개발자 친구가 LLM 초창기에 면접 준비한다고 이 책을 공부했는데, 지금은 대대로 먹고살 만큼 부자가 됐어요. 인생이 갈리는 순간이었죠, 정말...
참고로 Fleuret의 책은 기초적인 딥러닝의 토대를 다루는 반면, 이 글의 책은 트랜스포머와 그 관련 기법에 필요한 토대를 다루는 듯합니다. 지금 "AI"라고 불리는 것에 나중에 덧붙은 이런 요소들은 합쳐 놓으면 원래의 딥러닝 개념들만큼, 적어도 그만큼은 복잡합니다. 기초적인 신경망만 배우는 것도 아니고요. 어쨌든 두 책이 같은 범위를 다루지는 않는 것 같습니다.
대충 훑어만 봤는데, 이 책 내용은 트랜스포머와는 거의 관련이 없어 보입니다. 오히려 확산 모델(이미지/영상 생성)에 더 맞을 수 있겠네요.
재미있는 건 이 두 세계(확산 모델과 트랜스포머)가 요즘 합쳐지기 시작했다는 점입니다. 예를 들어 DiT에서는 노이즈 예측에 트랜스포머 아키텍처를 씁니다. 그래서 이 책에서 배운 토대는 여전히 쓸모가 있을 겁니다.
아, 말씀이 맞는 것 같네요. 그래도 얼마 전까지의 딥러닝과 비교하면 확실히 한 단계 도약한 건 맞습니다.
풀어 볼 문제가 있는 딥러닝 책이 있을까요?
떠오르는 책들입니다.
Prince의 Understanding deep learning[1]. 이론 문제와 프로그래밍 문제가 모두 있습니다.
Bishop의 Deep learning - Foundations and concepts[2].
Calin의 Deep learning architectures - mathematical approach[3].
Petersen 등의 Mathematical theory of deep learning[4]. 장마다 연습문제는 몇 개 안 됩니다.
Dive into deep learning[5]. 이쪽은 프로그래밍 실습 위주입니다. 연습문제는 프로그래밍과 이론이 섞여 있습니다.
EECS 182/282A | Deep Neural Networks 2025(책은 아니고 버클리의 강의입니다)[6]. 과제만 훑어봤는데 아주 흥미로워 보입니다. 이론과 실습이 섞여 있습니다.
이론 문제로는 Bishop이 가장 낫다고 생각합니다. 너무 어렵지도 너무 쉽지도 않게 균형이 잡혀 있어요. 다만 프로그래밍 문제도 원한다면 Prince에 많이 있습니다. 버클리 강의도 현대적이고 폭넓어서 아주 흥미로워 보이고요.
[1] https://udlbook.github.io/udlbook/
[2] https://www.bishopbook.com/
[3] https://link.springer.com/book/10.1007/978-3-030-36721-3
[4] https://arxiv.org/abs/2407.18384
[5] https://d2l.ai/index.html
[6] https://berkeley-cs182.github.io/fa25/
https://www.deep-ml.com
저도 +1입니다. 저는 연습문제를 풀어야만 배워지거든요.
고맙습니다. 저는 이런 걸 전부 RAG 폴더에 넣어 두고, 나중에 프로젝트에서 필요할 때 씁니다.
백서와 책이 8GB쯤 됩니다...
이걸 작업 흐름에 어떻게 녹이고 계신지 정말 궁금합니다. 뭔가를 구현하려 할 때 에이전트가 이 책들을 엄밀한 참고 자료로 불러다 쓰게 하는 건가요? 그런 걸 해 볼 생각은 못 해 봤는데, 어떻게 하고 계신지, 효과는 어떤지 궁금하네요.