요약
Survival LLM은 인터넷 없이 내 컴퓨터에서 돌아가며 답마다 출처를 보여 주는 무료 AI 비서입니다.
정전, 응급처치, 물 정화 같은 비상 상황 질문에 답하도록 만든 오픈소스(MIT 라이선스) 앱입니다. 문서 약 150만 개를 담은 오프라인 도서관을 함께 내려받으므로, 설치만 끝나면 인터넷 없이 묻고 근거를 확인할 수 있습니다.
왜 중요한가
- 통신이 끊긴 재난 상황에서도 의료·생존 정보를 대화하듯 찾아볼 수 있게 합니다.
- 질문이 컴퓨터 밖으로 나가지 않고 계정이나 추적도 없어 민감한 건강 질문도 부담이 적습니다.
- 답마다 근거 문서와 해당 구절을 표시해 AI의 실수를 사용자가 직접 확인하게 했습니다.
핵심 내용
- 메모리 16GB급 PC에는 IBM Granite 4.2 8B, 128GB 이상 맥에는 NVIDIA Nemotron 3.5 Super를 쓰는 식으로 모델을 자동으로 고릅니다.
- 정전·응급처치 질문 22개로 한 자체 블라인드 채점에서 큰 모델은 21개, 가장 작은 모델은 14개를 맞혔습니다.
- 도서관에는 위키백과 인기 문서 약 93만 개와 WikiMed·MedlinePlus 같은 의료 자료, 미군 생존 교범, wikiHow·iFixit 등이 들어 있습니다.
- 내 PDF, 전자책, 메모를 더해 함께 검색하게 할 수 있습니다.
- 답 하나에 5~40초가 걸리고 약 100W를 써서, 완충한 맥북 프로로 100~300번쯤 답할 수 있다고 합니다.
HN 반응
- 틀린 답보다 Kiwix(오프라인 위키 열람 앱) 같은 검색이 낫다는 지적과, 물을 말을 모를 때 문서를 찾아 주는 것만으로 쓸모 있다는 반론이 맞섰습니다.
- 직접 써 본 이용자는 활 드릴(활로 막대를 돌려 불을 피우는 도구) 질문에 활을 빼고 손으로 돌리라는 틀린 답이 나왔다고 전했습니다.
이 주제가 환각 공포에 사로잡힌 사람들을 불러모으네요.
LLM이 내놓는 조언이 맞다고 믿을 필요 없이, 밑바탕에 있는 자료와 지식을 끌어내는 용도로 쓰면 완벽하게 안전합니다.
LLM을 검색 기술로 쓰세요. 문자열 일치에서 의미 검색으로, 다시 지능형 검색으로 가는 겁니다.
무슨 질문을 해야 할지 모를 때 특히 도움이 됩니다. 의미 검색은 입력한 질의와 의미가 가까운 글만 찾아 줍니다. 찾는 내용이 지금 가진 것과 인과관계, 작동 원리, 해석처럼 의미가 아닌 다른 것으로 이어져 있다면 의미 검색은 소용이 없습니다.
작물이 왜 잘 자라지 않는지 알아내려면 여러 분야의 글을 여러 편 읽어야 할 가능성이 높고, 그것도 지금 처한 구체적인 조건에 맞춰 범위를 좁혀야 할 겁니다. 의미 검색으로는 그런 글이 먼저 나오지 않습니다.
LLM에게 읽어 볼 만한 자료 여러 개를 먼저 엮어 달라고 하는 데는 결론을 물어볼 필요가 없습니다.
깃허브 README에도 이 시스템이 존재하지 않는 출처를 만들어 낸다고 나와 있습니다. https://github.com/anonnerdfrenzy/survival-llm#how-the-models-did 그래도 말씀이 맞습니다. 이렇게 목적이 뚜렷한 용도라면 LLM의 요약은 아예 무시해도 되고, 검색 엔진으로만 써도 시스템이 아주 잘 돌아갈 수 있습니다. 내용 전체를 미리 문단 단위로 쪼개 색인하고 필요하면 HyDE 단계로 보강해 둡니다. 그런 다음 사용자의 질문을 바탕으로 키워드와 의미를 섞은 하이브리드 검색 몇 개를 LLM이 돌리고 결과를 재정렬하게 하면, 질문에 가장 잘 맞는 원문 대목이 그대로 나옵니다. 요약은 필요 없습니다.
그러면 LLM이 거기서 뭘 더해 주는지 모르겠네요. 검색 과정에 환각을 일으킬 수 있는 단계를 하나 끼워 넣는 것 말고는요.
질의 확장과 재정렬은 둘 다 가치가 있고, 작은 LLM도 꽤 잘하는 일입니다. 사람은 대체로 검색어를 잘 못 씁니다. 서투르게 쓴 질문을 실제 검색어 여러 개로 바꾸고, 결과를 합쳐 관련도순으로 정렬해 주는 시스템이면 효과가 클 수 있어요. AI가 사용자에게 되묻는 질문까지 해 주면 더 좋고요.
문제는 환각과 정반대인 경우입니다. LLM이 관련 있는 정보를 무시해 버리는 거죠.
물론 일반 검색과 합쳐서 쓸 수는 있습니다. 하지만 LLM에 뭔가를 더하는 구성은 그냥 그 뭔가만 쓰는 것에 비해 늘 기회비용이 따릅니다.
어제 Claude가 문서와 소스 코드에서 읽은 내용을 살짝 틀리게 말하는 걸 여러 번 잡아냈습니다. 그럴듯하게 보일 만큼은 정확했지만 어쨌든 틀렸어요. 제가 지적하니까 과장해서 말했거나 확인도 안 하고 말했다고 인정하더군요.
응급 처치를 하는 도중에 AI가 시켰던 걸 번복한다면 끔찍할 겁니다.
ChatGPT가 약 복용량을 줄이는 걸 "도와주다가" 여성이 사망했다는 기사가 있습니다. https://www.nytimes.com/2026/10/27/well/ai-chatgpt-medication-epilepsy-death.html
이런 도구에는 검증 장치 같은 게 내장되어 있어야 합니다. 그 부담을 100% 소비자에게 떠넘기면 안 돼요. 사람은 LLM이 쏟아내는 양의 정보를 일일이 검증할 만한 정신적 여력이 없습니다.
약에 관한 "검증 장치"는 이미 있습니다. 의학 교육을 받지 않은 사람에게 의학 조언을 받지 말라고 사람들에게 알려 주는 겁니다.
새로운 문제가 아닙니다. 인터넷은 적어도 1990년대부터 헛소리로 가득했습니다. 험담과 악의적인 소문은 언어만큼이나 오래됐고요.
악의적인 것이든 어리석은 것이든 헛소리가 만들어지는 것을 막는 건 현실적이지 않습니다. 사람들이 헛소리를 들었을 때 알아채고 무시하도록 가르쳐야 합니다.
그 조언은 부족하고 현실성도 없습니다. 대부분의 사람은 자기에게 충분한 시간을 들여 모든 문제의 근본까지 파고들어 주는 의사를 만날 수 없습니다.
대부분의 나라는 의사 한 명당 환자가 너무 많아서, "그럭저럭 괜찮은" 5분짜리 진료가 컨베이어 벨트처럼 돌아갑니다.
전문가를 여러 번 찾아가도 문제가 해결되지 않으면 사람들은 자기 문제를 논의하고 분석할 다른 방법을 찾게 됩니다. 그러지 말라고 하거나 100% 무시하라고 말한다고 해결되지 않아요.
너무 단정적인 말 같은데요. 왜 현실적이지 않습니까? 이미 사람들이 한 LLM이 낸 결과를 다른 LLM에게 팩트체크시키는 식으로 수작업으로 하고 있잖아요.
차이는 그때는 "온라인에서 읽은 걸 다 믿지 마라"라는 격언이 있어서 우리의 사전 믿음을 조정해 줬다는 겁니다. 그런데 요즘 이 회사들은 대놓고 자기네가 절대적인 진실의 원천이라고 광고하고 있어요. 한 세대 전에 위키백과를 금지했던 학교나 직장 상사가 이제는 이런 도구를 쓰라고 요구하고, 업무까지 거기에 의존하게 만들고 있죠.
AI에게는 원본 문서를 인용할 수 있는 도구가 있어야 합니다. 인용문을 채우는 건 AI가 아니라 인터페이스가 맡아서, 요청된 대목을 결정론적으로 그대로 가져오는 거예요.
저는 Gemini Notebooks를 즐겨 쓰는데, 이 부분이 지금 제일 답답합니다. 적어도 현재 UI에서는 어떤 문서를 인용했는지는 보여도, 실제 인용문은 보이지 않아서 말한 내용이 맞는지 확인하거나 인용의 맥락을 볼 수가 없습니다. 그래서 직접 내용을 찾아보거나, LLM이 제대로 했다고 그냥 믿는 수밖에 없어요.
LLM의 큰 강점은 프롬프트에 맞춤법이나 문법 실수가 눈에 띄게 있어도 쓸모 있는 답을 준다는 점입니다. 말씀하신 대로 프롬프트가 좋지 않으면, 그 결함을 알아채고 모델을 더 잘 이끄는 법을 배우는 데 도움이 되는 방식으로 답해 주기도 하고요.
정말 쓸모 있는 도구이지만, 신봉자들이 바라는 수준에는 한참 못 미칩니다. 아직은요.
네, 이번 주에 저도 아주 유용하게 썼습니다. 오른손 가운뎃손가락이 문에 끼어서 타이핑이 영 안 됐거든요.
음성 받아쓰기를 써 봤는데, 기계에 대고 말하는 게 정말 싫더라고요.
엉망으로 쓴 문장을 넣어도 거의 항상 제 뜻을 알아맞혔습니다.
사실 꽤 놀랍습니다.
제가 보기에는 이렇습니다.
총기나 활 사냥 관련 내용이 하나도 없음
사냥이나 낚시에 관한 책이 없음
잡은 동물을 손질하는 방법 설명이 없음
FM 7-8도 ATP 3-21.8도 없음
탄약 재장전이나 부싯돌 깨기 정보가 없음
진지한 생존 도구라기보다 도시 사람을 위한 도구 같습니다.
솔직히 그 둘은 실제 생존보다 민병대 코스프레에 더 어울리는 자료이긴 해요. 하지만 다른 빈틈은 꽤 심각합니다. 그런 정보가 없어도 쓸모 있는 도구일 수는 있고, 재난 상황에서 대부분의 사람은 직접 사냥해서 먹을 것을 구하는 수준까지 갈 필요가 없죠. 그러니 결국은 찾아보려는 재난이 얼마나 오래, 얼마나 깊게 갈 거라고 보느냐의 문제 같네요.
각자도생해야 하는 상황이라면 무기에 관한 지식이 절대적으로 필요할 텐데요.
네, 그래서 결국 어떤 재난 시나리오를 실제로 대비하려는지에 달린 문제입니다. 다만 재난이 터진 뒤에 LLM이 요약한 군 교범을 아무리 뒤적여도 그 안의 내용을 실제로 해낼 수는 없습니다. 그 책들의 정보를 자기와 남에게 짐이 되지 않게 쓰는 기술은 실제로 연습해야 생깁니다.
또 집단이 실제로 위기를 넘기는 방식은 싸움이 중심인 경우가 드물고, 훨씬 더 실질적인 생존 기술과 협력, 조직화에 달려 있습니다. 혼자서(또는 소규모로) 살아남는다는 서바이벌리스트의 판타지는 대체로 미국식 롤플레이입니다.
Project Nomad를 추천합니다.
https://www.projectnomad.us/
쓸 만한 옵션이 많고 미리 구성되어 있으며, 연동도 꽤 쉽고, 어떤 로컬 LLM이나 데이터도 쓸 수 있어요.
멋져 보이네요! 원글을 보고 "Kiwix를 왜 안 쓰지?" 싶었는데, Nomad는 그걸 쓰나 보네요! 그리고 BYOM(자기 모델 가져오기)이 제 생각엔 더 낫습니다.
흥미롭네요. 저는 LLM 추론 전용으로 헤드리스 맥 미니를 돌리고 있습니다. 리눅스 박스에서 Project Nomad를 돌리고 AI 쪽은 맥의 qwen을 쓰는 게 가능한지 아시나요? 이런 구성이 되는지 알려 주는 정보를 못 찾겠어서요.
되죠. 저도 비슷하게 했습니다.
저는 이걸 제 컴퓨터에 설치해서 다음 질문으로 테스트해 봤습니다.
불을 피우려면 활비비(bow drill)를 어떻게 만들 수 있나요?
일부는 맞게 답했습니다. 회전축 막대, 올바른 방식으로 줄을 맨 활, 불판까지는 맞았어요. 그런데 회전축을 두 손 사이에 끼우고 손을 앞뒤로 움직여 돌려서 필요한 마찰을 만든다고 해서 엉뚱한 소리를 했습니다. 활로 회전축을 돌린다는 핵심이 완전히 빠졌어요! "불꽃을 부채질한다"는 말도 했는데, 활비비로 불꽃이 튀는 일은 절대 없습니다.
최신 프런티어 모델에게 생존 LLM의 대화 기록을 검토해 보라고 했더니 오류를 짚어 주더군요.
다른 프롬프트 3개에서는 뚜렷한 오류가 보이지 않았지만, 이건 생존용 LLM치고 정말 심각했습니다.
만들어 주신 분께는 감사하지만, 가려서 받아들이세요.
확인해 볼 수 있게 출처는 알려 주던가요?
틀린 설명을 해 놓고 "출처를 직접 확인해 보세요"라고 하는 건, 그냥 출처를 돌려주는 것보다 나쁩니다. 그러니까 검색 엔진 말이에요.
저는 그 말에 동의하지 않습니다. 실수일 확률이 10%라 해도 질문에 아주 구체적인 답을 주고 출처까지 알려 주면 꽤 도움이 된다고 봅니다. 검증해 볼 만한 좋은 초기 가설이 생기니까요.
LLM은 사람과 다른 종류의 오류를 내는 경향이 있어서, 이 방식이면 서로가 상대의 오류를 막아 줄 수 있습니다.
그냥 일이 더 느는 겁니다. 어차피 출처로 검증해야 한다면 애초에 왜 프롬프트 답변을 읽는 데 힘을 씁니까? 시간만 낭비하고, 어쩌면 잘못된 정보로 무의식까지 오염될 수 있어요.
그래서 출처를 직접 확인해 보라고 시켰냐가 아니라 출처를 줬냐고 물은 겁니다. 맞아요, LLM은 형편없고 늘 거짓 정보라고 가정해야 합니다. 정확도 80%는 실서비스에 쓸 수준이 아닙니다.
요즘도 LLM이 환각을 일으키는 경향이 있고 어떤 LLM이든 하드웨어 요건이 따르는데, 왜 그런 자료를 LLM 없이 검색할 수 있는 로컬 아카이브로 그냥 모아 두지 않나요?
제 눈에는 Kiwix 같은 것보다 오버헤드는 더 크고 신뢰성은 떨어지는 중복 도구로 보입니다.
저는 겪고 있는 문제의 해결 단계를 모를 수도 있습니다. LLM이 부실한 답을 줄 수는 있어도, 좋은 답이 있는 문서를 찾아 주는 데는 도움이 됩니다. 대부분의 사람에게는 그 정도면 충분하죠.