요약
앞뒤는 맞지만 어느 연구자 집단도 떠올리기 어려운 연구 방향을 골라 뽑는 방법이 나왔습니다.
마틴 와이스, 나심 라하만, 베른하르트 숄코프 등이 NeurIPS 2026 본 학회에 낸 논문입니다. 저자들은 과학 발견이 무엇이 참인지뿐 아니라 연구자가 무엇을 떠올릴 수 있는지에도 묶여 있다고 봤습니다. 언어 모델도 문헌에서 붐비는 영역만 섞어 내는 같은 편향을 물려받았다고 했습니다.
왜 중요한가
- LLM에 연구 아이디어를 맡기면 주제가 비슷한 쪽으로 몰린다는 문제를 수치로 보여 줬습니다.
- AI 아이디어 생성을 새로움과 품질만이 아니라, 기존 연구자 집단의 생각 범위 밖을 얼마나 탐색하는지로 평가하자고 제안합니다.
핵심 내용
- LLM 논문 16,068편을 개념 단위인 '아이디어 원자' 273개로 쪼갠 뒤, 조합의 일관성과 떠올리기 쉬운 정도를 두 모델로 따로 매깁니다.
- 2024년까지의 자료로만 학습해 후보의 1% 미만을 골랐더니, 2025년에 실제 나온 조합을 우연보다 35.9배 많이 맞혔습니다.
- Claude Opus 4.7은 연구를 진행할수록 해석 가능성(모델 내부 작동을 밝히는 분야) 쪽으로 쏠려 보고서 10개 중 8개가 됐습니다.
- 같은 과정에서 이 방법의 보고서는 해석 가능성 주제가 0개였고, 아이디어 묶음의 다양성도 LLM 기준선보다 높았습니다.
- 저자 중 두 명은 연구 탐색 도구를 파는 팁트리 어드밴스드 시스템스의 공동 창업자이고, 연구비도 이 회사가 댔습니다.
HN 반응
- 저자들의 아이디어 검색 도구 Lacuna를 약리학 등 자기 분야에 써 본 이용자들은 오류를 짚었고, 저자들은 머신러닝 밖은 자료가 부족하다고 인정했습니다.
- LLM이 벨크로 같은 발명을 떠올릴 수 있느냐를 두고는, 최근 수학 성과로 보아 이미 가능하다는 의견과 현실적인 시간 안에 나오느냐가 관건이라는 반론이 갈렸습니다.
공저자입니다. 제 박사후연구원 시절 첫 논문이 NeurIPS 메인 학회에 채택됐습니다.
저희는 머신러닝에서 다양한 아이디어를 뽑아내는 방법을 만들었습니다. 과학적으로 말이 되는데도, 지금 존재하는 어떤 연구 커뮤니티도 제안할 위치에 있지 않은 아이디어를 뽑는 방법입니다.
간단히 말하면 이렇게 돌아갑니다.
LLM 논문 16,068편(NeurIPS, ICLR, ICML, ACL, EMNLP, 2017~2025년)을 273개의 "아이디어 원자"로 쪼갭니다. 모든 논문과 모든 후보 아이디어는 원자의 집합이 됩니다.
정합성 모델(Coherence Model)을 학습합니다. 논문을 원자의 시퀀스로 보고 학습한 4,280만 파라미터짜리 트랜스포머입니다. 쉽게 말해 토큰이 아이디어인 언어 모델입니다.
인지적 가용성 모델(Cognitive-Availability Model)을 학습합니다. 연구자 39,791명의 출판 이력으로 학습한 듀얼 인코더이고, 각 사람이 다음에 어디로 갈 수 있을지를 예측합니다.
이 모델들로, 샘플링한 튜플의 점수를 상호 순위 융합(reciprocal rank fusion)으로 매깁니다. 서로 잘 어울리면서도 아무에게도 인지적으로 닿아 있지 않은 아이디어를 찾는 것입니다.
여러 방식으로 검증했습니다. 흥미로운 하나는 2024년 말까지의 논문을 전부 모은 뒤, 점수가 높은 튜플 중 무엇이 2025년 논문에 실제로 등장했는지 확인한 것입니다. 결과가 좋았습니다. 한 예로 ICLR 2025 구두 발표 논문은 정합성만으로는 1,489위였는데, 114만 개 샘플 중 상위 25위까지 올라갑니다.
웃긴 결과도 있습니다. Claude에게 ML 연구 아이디어를 내 보라고 하면 대개 해석 가능성(interpretability) 이야기가 나옵니다. 그 아이디어로 A100 몇 장을 붙여 autoresearch 파이프라인을 돌리면, 열 번 중 여덟 번은 결과도 해석 가능성입니다. 저희 Alien Sampling 방식은 Claude가 마음껏 파고들게 한 뒤에도 해석 가능성 아이디어가 0개였습니다.
또 CS/AI 대학원 학위가 있는 사람 50명에게 보수를 주고 연구 보고서를 평가하게 했습니다. 그 결과 Alien의 보고서가 평균 품질 순위가 가장 좋았고, 상위 5개 중 3개를 냈습니다.
아, 그리고 규모를 엄청나게 키워서 논문 수백만 편과 수천만 개의 개념 요소로 새 연구 제안 25,000건을 만들었습니다. 여기서 검색해 보실 수 있습니다: https://lacuna.tiptreesystems.com/explore?view=hypotheses
코드(MIT): https://github.com/alejandrohdez00/alien-space-of-science
Lacuna 도구의 규모에 정말 감탄했습니다. 그런데 제 박사 연구 분야인 틈새 주제(스테가노그래피, 은닉 통신)를 파 보니 기대가 한풀 꺾였습니다.
연구 문헌에는 노이즈가 많습니다. 분야에 사실상 아무 기여도 못 하는 논문이 많이 나오지만, 논문이 잔뜩 있다는 사실 자체가 그 개념이 중요하니 연구해야 한다는 신호를 보내곤 합니다.
제 경험상 한 주제에 논문이 크게 몰려 있는데 어느 것도 판을 별로 움직이지 못한다면, 오히려 새로운 접근이 필요하다는 신호인 경우가 많습니다. 점진적인 논문을 계속 쓰는 것은 지역 최솟값을 더 깊이 파고드는 일일 뿐입니다.
아직 구체적으로 측정해 보지는 않았지만, Lacuna 제안의 품질은 주제와 연구 방향의 밀도에 좌우된다고 직관적으로 생각합니다. Lacuna는 AI 주제 주변이 가장 촘촘하고, 인접 분야(생물학, 물리학 등)는 말씀하신 대로 기대를 낮추시는 게 맞겠습니다.
다만 추천드리고 싶은 건 MCP( https://github.com/tiptreesystems/lacuna-research-mcp )를 코드 에이전트에 연결해서 데이터베이스를 훑으며 생각해 볼 만한 아이디어를 찾아보시는 것입니다.
맞습니다. 이 방식도 통할 수 있다고 생각합니다. 저희도 비슷한 발상으로 어떤 논문이 영향력 있거나 기초가 되었는지 분류합니다. 연구 방향의 (시간에 따른) 궤적을 크게 바꾼 논문을 찾아보는 식입니다.
"외계 공간"이든 새로운 접근이든, 판을 별로 못 움직이는 잡다한 시도를 잔뜩 늘어놓고 나서, 그게 암묵적으로 언어와 소통 메커니즘을 거쳐 지역 최솟값을 벗어나는 도약으로 이어지는 수밖에 없다는 생각이 들어요. 옛 학자들도 쓸모 있게 추려진 모음집에 실린 것보다 수백 배 많은 메모를 남기지 않았나요?
요즘은 연구가 워낙 많아서, 아무도 이것저것 시도하며 헤매 보려 하지 않아요. 대신 남들이 분명 이미 해 봤을 법한 연구만 훑어보고 말죠... 그러면서 새로운 접근의 가능성과는 점점 멀어지고요...
물론 문제는 "판을 움직이는 정도"를 어떻게 측정하느냐입니다. 말뭉치의 논문과 연구에 "중요도"라는 개념으로 가중치를 주면 도움이 될 수 있습니다. 이를 위해 사람들이 쓴 지표 하나는 인용 수입니다. 영향력 있는 연구일수록 훨씬 많이 인용된다는 타당한 전제에 근거합니다. 제가 기억하기로 PageRank 원 논문도 인용 분석 연구에서 영감을 얻었습니다.
사실 저희에게 이를 위한 고위험 연구 아이디어가 하나 있습니다. 클러스터링을 개념 공간을 압축하는 어휘로 보고, 중요도의 한 가지 형태를 내 논문이나 개념의 추가가 클러스터링/어휘를 얼마나 바꾸느냐로 정의하는 것입니다. 즉 공간의 최적 압축을 바꾼다면 아마 중요한 연구일 것입니다.
오오, 정말 흥미롭네요! 저는 이쪽은 문외한인데, 직관이 이런 건가요? a) 그 공간 안에서 다른 개념들을 연결하거나, b) 완전히 새로운 차원을 도입하거나, c) 둘을 섞은 새 개념이 개념들의 분포와 클러스터링을 바꾸고, 그게 압축이 얼마나 잘 되는지에 영향을 주니까, 압축의 변화량이 중요도의 척도가 될 수 있다는 거죠?
추상적인 개념을 위한 정보 이론 같네요.
벨크로가 이런 경우의 대표적인 예라고 생각해요.
https://blog.karliner.net/posts/chatgpt-and-the-velcro-test/
LLM은 (top-k 같은 샘플링 보정을 쓰지 않는 한) 모든 출력에 0이 아닌 확률을 부여하므로, 충분히 많이 샘플링하면 모델은 반드시 벨크로를 떠올리게 됩니다. 속담에 나오는 타자기 앞의 원숭이와 같은 이치입니다.
진짜 문제는 그것이 현실적인 시간 안에 일어나느냐입니다.
대담한 주장이네요. 글이 쓰인 2023년의 모델에는 거의 확실히 맞았을 겁니다. 하지만 최근 잇따른 수학적 발견만 봐도 현재 모델에 대해서는 그 함의가 상당히 좁아졌다고 생각합니다. (인간이 처음 만든 문제를 풀려고 기존 수학 개념을 재조합했을 뿐이라고 주장할 수도 있지만, 제 생각에 그러다 보면 어느 시점에는 아이디어가 "새롭다"는 말의 의미 자체를 좁히는 셈입니다.) 그리고 앞으로 3년 안의 모델(글이 나온 지 그만큼 지났으니까요)에 대해서는 이 주장에 반대편으로 거는 것도 진지하게 고려하겠습니다.
사실 지금도, 최신 프런티어 모델이 하는 일이 진정으로 "새로운" 게 아니라면 대부분의 인간은 평생 새로운 아이디어를 낸 적이 없는 셈입니다. 제 3년 뒤 예측은, 그때 프런티어 모델이 할 수 있는 일이 "새로운" 것이 아니라면 앞으로 어떤 인간도 새로운 아이디어를 낸 적이 없다는 것입니다.
맞아요. 벨크로에 대한 제 직관은 육체라는 "미트스페이스" 액추에이터와 지각 장비에 단단히 얽혀 있는 것 같아요.
말하자면 저는 하루 종일 고해상도 다중 감각 퀄리아를 경험하는데, 그게 굉장히 잡음이 많거든요. 그래서 새 아이디어나 개념 상당수는 그 세부 사항 중 작은 일부를 집요하게 파고드는 데서 나온다고 생각해요. 물론 제 박사 과정을 사후에 합리화하는 걸 수도 있고요.
감사합니다. 훌륭한 아이디어이고 훌륭한 구현입니다!
그런데 'medicine'을 입력하면 제안이 6건뿐인데 'physics'를 입력하면 447건이나 나오는 이유가 궁금합니다.
감사합니다!
한 가지 이유는 저희가 주로 AI 연구에 집중하는데, 물리학자 상당수가 AI 연구로 끌려오기(중력처럼요, 헤헤) 때문에 그들의 연구를 더 많이 포착하게 된다는 점입니다.
또 다른 이유로는 (AI +) 물리학 논문이 단순히 접근하기 더 쉬워서 더 많이 처리하게 된 것일 수도 있습니다.
좋은 질문입니다. 저희가 다루는 학술지·학회의 "범위"는 ICML, ICLR, NeurIPS, COLM 같은 동료 심사를 거친 머신러닝 쪽에 맞춰져 있습니다. (a) 이 분야에 전문성이 있어 품질을 판단할 수 있고, (b) 전부 오픈 액세스이기 때문입니다.
그래서 ML 주제에서 멀어질수록 저희 커버리지는 성기게 됩니다. 솔직히 어떤 연구 방향을, 따라서 어떤 제안을 포함할지는 편집상 쉽지 않은 선택입니다. ML은 상당히 학제적이거든요. 그리고 ML 논문은 몇 편 있지만 (예를 들어) 의학 논문이 훨씬 많은 분들은 자기 프로필이 허전하면 속상해하십니다. 하지만 의학은 폐쇄형 접근이 많아서 저희로서는 좋은 제안을 만들 수가 없습니다.
감사합니다. PMC가 있긴 한데, 이미 쓰셨을 수도 있겠네요.
https://pmc.ncbi.nlm.nih.gov/
음, 흥미롭네요. ML이 훨씬 작은 분야이기도 한 것 같아요. ArXiv와 각종 학회·응용 ML 쪽을 다 합쳐도 연간 15만~25만 편 정도예요. PubMed는 매년 신규 기록이 150만~170만 건이고 전체로는 약 4,000만 건인데, ML은 저희가 처리해야 했던 게 수백만 건뿐이었죠. 게다가 ML은 거의 전부 오픈 액세스지만, 의학은 약 50%가 폐쇄형이에요.
누가 컴퓨팅용으로 1,000만~2,000만 달러를 지원해 주고, 도와줄 의사분들이 (수십 명쯤) 나타나서 QA를 하고 접근 방법을 같이 찾아 준다면 아마 가능할 거예요.
단일 관심 집중(monotropism)과 신경다양성은 낯선 동반자입니다.
저는 AuDHD일지도 모른다고 생각하는데, 요즘 유행이라서가 아닙니다. 문제를 보면 가장 가능성 높은 해법이 즉시 보이는 동시에(탐색 공간의 가지들이 순식간에 떨어져 나가는 것처럼요), 다른 사람들보다 더 많은 가지가 보이기 때문에 토끼굴로 빠져서 정신이 산만해지기도 하기 때문입니다.
근시와 원시를 동시에 가진 것에 비유할 수도 있습니다. 공은 수백 야드를 날려 보내지만 숏게임은 형편없습니다. 퍼팅의 궤적이 잔디 때문에 무작위 행보처럼 느껴지기 때문입니다. 예전에는 한 발 물러서서 모든 걸 지나치게 따지지 않으려면 큰 노력이 필요했습니다. 결국 아무것도 모르는 듯하면서도 모든 걸 액면 그대로 받아들이고 어째서인지 생산적이기까지 한 신경전형인의 세상에서 정신 건강이 완전히 무너지지 않도록, 머릿속 독백을 완전히 꺼야 했습니다.
또 다른 비유로는 우울증과 불안을 동시에 앓는 것이 있습니다. 겉으로는 평범해 보여도, 결과는 정상과 정반대에 가까운 무언가가 됩니다.
어쨌든 이 논문은 그 AI 버전처럼 느껴집니다. 먼 연관 관계에 극도로 자세하게 빛을 비추는 것이니까요. 제가 세상에서 가장 좋아하는 일입니다.
저는 직업이 엔지니어지만, 여가 시간에 약리학과 분자생물학 연구를 꽤 많이 하는 편입니다.
제안 논문 하나가 눈에 들어왔습니다.
https://lacuna.tiptreesystems.com/hypothesis/why-receptor-hubs-ignore-ligand-affinity-c9d2e930ee6b624f
리간드가 리간드 결합 포켓에 결합하면, 포켓 안의 단백질("보조인자"라고 부릅니다)과 맺는 접촉점들과 각 접촉점의 세기(반데르발스 힘으로 측정)가 서로 다른 전사 효과를 조절합니다.
이를 "형태(conformation)"라고 합니다. 리간드가 결합 포켓 안에서 취하는 모양입니다.
그래서 전사 효과를 조절하는 것이 반드시 체류 시간과 전체 결합 친화도는 아닙니다.
아주 좋은 예가 안드로겐인 트레스톨론/MENT입니다. 테스토스테론보다 효력이 10배나 강하지만, 안드로겐 수용체에 대한 상대적 결합 친화도는 비슷합니다.
https://en.wikipedia.org/wiki/Trestolone
이 효력은 AR 결합 포켓 안에서 취하는 특정한 형태 덕분입니다.
하나를 직접 파고들어 주셔서 감사합니다! 저도 확률 그래프 모델을 공부하던 시절에 사이먼 라코스트줄리앵과 이 주제로 프로젝트를 한 적이 있는데(제 인생 최악의 수업 성적이었던 것 같습니다), 그래서 작동 원리는 말씀하신 쪽을 따르겠습니다.
친화도/체류 시간과 효능이 별개의 축이라는 말씀이 맞다는 건 압니다. 생물학은 저희 데이터에서 가장 성긴 영역 중 하나라서(논문이 폐쇄형이 많고 저희가 핵심 ML에 집중하기 때문입니다), 그쪽 제안에 이런 문제가 있을 가능성이 더 높습니다.
이런 문제를 개선할 아이디어가 몇 가지 있지만, 이 건을 짚어 주셔서 정말 도움이 됩니다. 감사합니다!
아, 그래서 페이지의 주제 분포가 그렇군요. 데이터가 없다면 어쩔 수 없죠.
AI의 가장 좋은 용도 중 하나인 것 같습니다. 기존 문헌을 파헤쳐 새로운 연결과 아이디어를 만들어 내는 것 말이죠.
혹시 1980년대에 나온 돈 스완슨의 "Public Knowledge Problem" 논문에 대해 들어 보셨는지 궁금합니다. 대체로 이와 같은 생각의 흐름이었거든요.
못 들어 봤습니다. 그 논문이 JSTOR에 유료 장벽으로 막혀 있다니 깊이 희비극적이네요. 애런 스워츠가 생각납니다.
으윽. 아무튼, 여기 있습니다: https://sci-hub.su/https://doi.org/10.1086/601720
정말 좋아요. 제 근거 없는 개인 이론은, 우리가 우주에 대해 참이고 정확한 것의 1%도 안 되는 만큼만 인지적으로 떠올릴 수 있고, 그 1% 중에서도 1%만 이해할 수 있다는 거예요.
그 이론을 지지합니다. 현실에는 수많은 면이 있고, 그 대부분은 누구도 탐구하거나 이해하지 못할 겁니다.
https://en.wikipedia.org/wiki/Mona_Lisa 를 보면 정말 다양한 측면에서 볼 수 있습니다.
좋은 SF 소설은 이런 것들 중 일부를 담아냅니다. 예컨대 암흑의 숲 가설처럼 다른 현실 개념에 접근할 수 있는 외계인이 나오죠. 어려운 점은 그걸 쓰려면 얼버무리고 넘어가는 대신 그 이해를 실제로 직접 만들어 내야 한다는 겁니다.
"우주는 당신에게 이해되어야 할 의무가 없다." -- 닐 디그래스 타이슨
떠올릴 수 없는 걸 어떻게 "그것"의 퍼센트로 따지나요. 아직 "그것"을 떠올리지 못했는데요.
원시 수프에서 기어 나온 뒤 우리는 탐험가들을 사방으로 보냅니다. (보통은 무리로요.) 출발점에서 멀어질수록 그들은 더 얇게 퍼집니다. 결국 누군가는 그 빈틈을 찾아야 할 테고, 출발점 가까이에서 뭔가를 찾아낼 수도 있습니다. 탐험의 차원을 늘리면 멀리 가 버려서 고향 쪽에 커다란 빈틈을 많이 남길 수도 있습니다.
산에서 와인을 짜내려는 노력이 마음에 듭니다. 이런 일반화가 인기 없는 주제도 해결해 줄지 궁금합니다. 이제는 단순한 데이터 점으로 줄어드니까요. 금지된 땅도 그곳에 가지만 않는다면 지도에 그려도 괜찮을 겁니다.
이 주제로 짧고 재미있게 읽을 만한 글이 있어요.
해리 터틀도브의 The Road not Taken
https://pastebin.com/aJQfubrK
흥미로운 이야기네요. 공유해 주셔서 감사합니다.
현실 세계에서도 인류에게 비슷한 영향을 준 기술이 있었는지 궁금해집니다...
스마트폰과 LLM에 쏟아부은 투자가 다른 분야에 대한 집중을 빼앗았을 수도 있겠다는 생각이 듭니다...
컴퓨터가 발전한 방식이 현실 세계에서 이런 경우의 꽤 흥미로운 사례라고 생각합니다. 배비지는 사실상 현대 컴퓨터의 개념을 구현해 냈지만, 훨씬 단순하고 제한된 컴퓨터가 얼마나 유용할 수 있는지 몰랐기 때문에 지나치게 복잡한 "슈퍼컴퓨터"(10진수 40자리 정밀도!)를 만들려 했습니다. 우리는 그 뒤로 75년을 더 기다리고 엄청난 돈을 들여 릴레이와 진공관 슈퍼컴퓨터를 개발한 뒤에야, 그 아이디어를 축소할 수 있다는 것과 PDP-8이나 PLC, 마이크로컨트롤러 같은 것이 산업 제어에 엄청나게 유용하고 충분한 재주만 있다면 과학 계산도 상당히 해낼 수 있다는 것을 깨달았습니다.
시간을 거슬러 올라가서 동력 직기 엔지니어 몇 명에게 돈을 주고, 당시 동력 직기와 비슷한 1~5Hz로 작동하는 꽤 쓸 만한 4~8비트 마이크로컨트롤러를 만들게 했다면, 컴퓨터로 제어하는 섬유 산업이 컴퓨터 혁명을 75~100년 앞당기는 비용을 대 줬을 거라고 생각합니다.