인터넷 없이 작동하는 AI 비상 자료실, 쓸 만할까

서바이벌 LLM(Survival LLM)은 인터넷이 끊겨도 개인 컴퓨터에서 작동하는 무료 오픈소스 AI 비서이자 비상 자료실이다. 정전 중 식품 보관이나 화상 처치, 물 정화 방법을 물으면 컴퓨터에 저장된 자료를 찾아 답하고, 참고한 문서와 해당 구절을 보여준다. 다만 응급 상황에서 중요한 것은 답을 빠르게 받는 일만이 아니다. 작은 AI 모델의 실수를 어떻게 알아채고, 전력과 저장 공간을 확보해 실제로 쓸 수 있게 만들 것인지가 이 도구의 가치를 가른다.

핵심요약

  • 서바이벌 LLM은 모델과 자료실을 컴퓨터에 저장해 설치 후 인터넷 없이 작동하며, 질문도 외부로 보내지 않는다.
  • 답변마다 참고 문서와 해당 구절을 보여주지만, 개발자는 작은 모델일수록 오류가 많으므로 사용자가 근거를 확인해야 한다고 밝힌다.
  • 자료실에는 위키피디아 인기 문서 약 93만 건과 의료·재난·수리 안내 등이 담기며, 용량을 줄인 선택지도 있다.
  • 앱은 컴퓨터 메모리에 맞춰 모델을 내려받지만, 최초 설치에는 인터넷과 상당한 저장 공간이 필요하다.
  • 해커뉴스 토론에서는 자료 탐색 도구로서의 장점과 함께, 실제 생존 기술을 잘못 설명할 때의 위험이 제기됐다.

인터넷이 끊겨도 답하고 근거를 보여준다

서바이벌 LLM의 AI 모델과 자료실은 모두 사용자 컴퓨터에 저장된다. 한 번 설치를 마치면 인터넷 연결 없이 질문할 수 있고, 질문 내용도 컴퓨터 밖으로 나가지 않는다. 계정이나 추적 기능도 없다고 프로젝트는 설명한다. 인터넷이 닿지 않는 곳뿐 아니라 통신이 불안정한 상황에서도 평소와 같은 방식으로 자료를 찾도록 만든 셈이다.

답변에는 AI가 참고한 문서 목록이 붙는다. 문서를 누르면 원문을 직접 읽을 수 있고, 답변에 쓰인 구절도 강조 표시된다. 이는 AI의 설명을 그대로 따르기보다 실제 자료와 대조하라는 설계에 가깝다. 개발자도 AI 모델은 틀릴 수 있으며, 특히 작은 모델에서 오류가 더 잦다고 밝힌다.

응급 지침부터 위키피디아까지

자료실에는 위키피디아(Wikipedia)의 인기 문서 약 93만 건과 위키메드(WikiMed), 메드라인플러스(MedlinePlus), 응급의학 자료인 위키EM(WikEM)이 들어간다. 미국 연방재난관리청의 레디닷거브(Ready.gov) 안내와 미국 질병통제예방센터의 여행 보건 자료, 미군의 의학·생존 매뉴얼도 포함된다. 의료 정보만 모은 저장소가 아니라 정전, 야외 활동, 일상 수리까지 함께 다루는 구성이다.

위키하우(wikiHow)의 사용법 안내, 아이픽스잇(iFixit)의 수리 안내, 스택 익스체인지(Stack Exchange)의 주택 수리·요리·원예·야외 활동·아마추어 무선 관련 문답도 검색할 수 있다. 자료는 일반 텍스트 형태로 저장되며 프로젝트는 짧은 시간 안에 검색할 수 있다고 설명한다. 각 문서에는 해당 자료의 이용 허락 조건이 표시된다. 공개 자료를 한데 모았지만, 일부 자료는 비영리 목적 이용만 허용한다는 점도 함께 살펴야 한다.

메모리에 맞춰 모델을 고르는 방식

앱은 실행 시 컴퓨터의 메모리를 확인하고 그에 맞는 AI 모델을 내려받는다. 프로젝트의 설명대로라면 메모리가 넉넉할수록 더 성능이 좋은 모델을 쓸 수 있다. 그러나 같은 자료실을 갖췄더라도 어떤 모델로 읽고 답하느냐에 따라 결과는 달라질 수 있다. 작은 모델의 실수가 더 많다는 경고는 출처 표시 기능이 필요한 이유이기도 하다.

프로젝트는 이전 버전의 자료실을 이용한 자체 시험에서 정전과 응급처치에 관한 질문 22개를 평가했다고 밝힌다. 여기서 ‘정답’은 공식 지침의 핵심을 제대로 짚었는지를 뜻하며, 평가는 어느 모델의 답인지 알리지 않는 방식으로 이뤄졌다. 이 기준은 답변이 모든 세부 절차를 정확히 설명했는지와는 구별된다. 특히 사용자가 그대로 따라 할 수 있는 처치나 작업이라면, 정답 표시보다 문서의 실제 지침을 읽는 과정이 중요하다.

온라인일 때 끝내야 하는 설치

지원 환경은 macOS 14 소노마(Sonoma) 이상을 쓰는 M1 이후 애플 실리콘(Apple Silicon) 맥, 또는 64비트 윈도(Windows) 10·11 컴퓨터다. 설치는 파일을 내려받아 압축을 풀고 앱을 실행한 뒤, 화면의 안내에 따라 모델과 자료실을 받는 순서다. 맥용 앱에는 AI 엔진이 포함돼 있으며, 윈도에서는 설치 과정에서 엔진도 내려받는다. 처음 준비하는 동안에는 인터넷 연결을 유지해야 한다.

개발자가 제시한 전체 설치 시간은 컴퓨터와 인터넷 속도에 따라 약 20분에서 2시간 30분이다. 사용자가 직접 클릭하는 시간은 약 5분이고, 나머지는 대부분 다운로드에 쓰인다. 전체 자료실은 다운로드 크기가 9GB, 설치 후 크기가 19GB다. 위키피디아와 아이픽스잇을 제외한 축소판은 각각 1.3GB와 3GB여서, 필요한 자료 범위와 저장 공간 사이에서 선택할 수 있다.

모델을 저장할 공간도 별도로 계산해야 한다. 프로젝트는 모델 크기에 5GB를 더한 공간 외에, 전체 자료실 설치 중 약 27GB, 축소판 설치 중에는 약 10GB의 여유 공간이 필요하다고 안내한다. 따라서 최종 설치 크기만 보고 다운로드를 시작하면 중간에 공간이 부족할 수 있다. 이 도구의 오프라인 기능은 연결이 끊긴 뒤 자동으로 생기는 것이 아니라, 연결이 가능할 때 모델과 자료를 모두 받아둔 결과다.

내 문서와 배터리도 사용 조건이다

사용자는 PDF, 워드 문서, 전자책, 메모를 자료실에 추가할 수 있다. 발전기 설명서나 가족의 비상 계획처럼 자신에게 필요한 파일을 넣으면 AI가 그 내용도 검색하며, 파일은 컴퓨터에 남는다. 공개 자료가 일반적인 설명을 맡고 개인 문서가 보유 장비나 가족 사정을 채우는 방식이다. 문서를 미리 준비해두는 일 역시 모델을 내려받는 것만큼 중요한 설치 과정이 된다.

전력 소모에 관해서는 개발자가 맥북 프로(MacBook Pro)에서 측정한 값을 제시했다. 답변하는 동안 약 100W를 쓰고, 질문 하나에는 540초가 걸렸으며, 배터리를 가득 채웠을 때 약 100300개 질문에 답할 수 있었다고 한다. 프로젝트는 소형 발전기나 휴대용 전원 장치로도 구동할 수 있다고 설명한다. 다만 인터넷이 없어도 작동한다는 말과 전원이 없어도 쓸 수 있다는 말은 다르므로, 실제 사용 시간은 준비한 전원에 달려 있다.

추론 한도와 검색 상태를 드러내다

최근 업데이트에서는 답하기 전 AI가 생각할 양을 사용자가 조절할 수 있게 했다. 추론 한도는 끔, 1,000·4,000·1만 6,000토큰, 무제한 중에서 고른다. 한도에 도달하면 AI는 계속 생각하는 대신 그때까지 얻은 내용으로 답한다. 사고가 같은 자리를 맴도느라 답변을 내놓지 못하는 상황을 줄이려는 기능이며, 추론이나 답변 길이를 무제한으로 설정하면 경고도 표시한다.

AI가 자료를 찾아놓고 답변을 작성하지 못했을 때는 찾은 문서를 바탕으로 한 번 더 답변을 시도하도록 바뀌었다. 사용자가 다시 찾아보라고 요청하면 앞서 모델의 기억만으로 답했더라도 자료실을 검색한다. 답변에는 모델의 기억에서 나온 내용인지, 직접 읽은 문서에 근거했는지, 열어보지 않은 검색 결과에 근거했는지가 표시된다. 무엇을 찾았는지뿐 아니라 어디까지 확인했는지를 구분하게 한 변화다.

메모리 기능과 출처 오류의 수정

앱에는 가족 구성원의 알레르기나 소유한 발전기처럼 이후 대화에 쓸 정보를 짧은 메모로 남기는 기능도 있다. 사용자는 저장된 메모를 보고 수정하거나, 자동 저장을 끌 수 있다. 이어진 업데이트에서는 질문 자체가 메모로 저장되던 동작을 수정했다. 개인 상황을 기억하는 편의와 질문을 불필요하게 남기지 않는 통제권을 함께 다듬은 것이다.

답변 아래에서 AI의 추론 과정과 중간에 수행한 검색, 읽은 문서를 펼쳐 보는 기능도 추가됐다. 한편 검색 명령을 실제 문서 출처인 것처럼 표시하던 일부 답변을 고치고, 검색 결과에 같은 페이지가 여러 번 나타나는 문제도 수정했다. 맥에서 앱을 종료해도 AI 엔진이 뒤에서 계속 실행되던 문제 역시 바로잡았다. 출처를 보여준다는 약속은 화면에 목록을 붙이는 데서 끝나지 않고, 그 목록이 실제로 무엇을 가리키는지 계속 점검해야 한다는 점을 보여준다.

커뮤니티 의견

한 사용자는 AI의 결론을 믿으라고 하기보다, 읽어야 할 자료를 찾는 검색 도구로 쓰면 된다고 했다. 작물이 잘 자라지 않는 이유처럼 여러 분야와 조건을 살펴야 하는 질문은 단순한 의미 검색만으로 관련 문서를 모두 찾기 어렵다는 설명이다. AI가 여러 자료를 이어 찾아주더라도 최종 판단은 원문을 읽는 사람에게 맡길 수 있다는 주장이다.

다른 사용자는 자료실이 본격적인 장기 생존 도구라기보다 도시 거주자를 위한 재난 안내에 가깝다고 봤다. 사냥·낚시 책이나 잡은 동물을 손질하는 방법 등 자신이 기대한 내용이 없다는 이유에서다. 이에 대한 답글에서는 대다수 재난 상황에 사냥 기술까지 필요한 것은 아니라며, 어떤 기간과 깊이의 위기를 상정하느냐가 평가를 바꾼다고 지적했다.

비슷한 오프라인 도구인 프로젝트 노마드(Project Nomad)를 소개하는 의견도 있었다. 이 사용자는 사전 설정된 선택지가 많고 로컬 AI 모델이나 자료와 연동할 수 있다고 설명했다. 답글에서는 키윅스(Kiwix) 같은 오프라인 자료 도구와의 결합, 사용자가 모델을 직접 고르는 방식에 관심을 보였다. 이는 서바이벌 LLM만의 기능보다 각자가 이미 갖춘 오프라인 자료 환경에 연결하기 쉬운지가 중요하다는 관점이다.

직접 설치해 마찰로 불을 피우는 활비비 만드는 법을 물어봤다는 사용자도 있었다. AI는 재료 일부를 맞혔지만 활로 축을 돌려야 하는 핵심 동작을 놓치고, 불꽃이 튄다는 잘못된 설명을 덧붙였다고 한다. 이 사용자는 다른 세 질문에서는 뚜렷한 오류를 발견하지 못했지만, 해당 답변은 생존 도구로 쓰기에 심각한 실수라고 평가했다. 한 답글은 출처가 표시돼 다시 확인할 수 있었는지를 물었다.

별도의 반론은 AI 없이 검색 가능한 로컬 자료실만 있어도 된다는 것이었다. 이 사용자는 환각 가능성과 모델 구동에 필요한 하드웨어를 고려하면 키윅스 같은 도구보다 복잡하고 덜 믿을 만하다고 봤다. 반면 답글에서는 무엇을 검색해야 할지 모를 때 대화형 AI가 자료실을 탐색하는 인터페이스가 될 수 있다고 주장했다. 논점은 자료 보관의 필요성보다, 자료를 찾는 과정에 모델을 끼워 넣을 가치가 있느냐에 놓였다.

또 다른 사용자는 비상시에 필요한 지식이라면 AI에 맡기기보다 평소 배우고 연습해야 한다고 했다. 전원이 필요한 컴퓨터보다 책과 익힌 기술이 절박한 상황에 어울린다는 답글도 이어졌다. 반대로 제시된 식품 보관 답변이 지나치게 보수적이라는 의견도 나왔다. 같은 응급 자료라도 실제 상황에 적용할 때 어떤 판단이 필요한지를 두고 의견이 갈린 셈이다.

시험 수치를 놓고 우려를 제기한 사용자도 있었다. 이 사용자는 일반 소비자용 컴퓨터에 해당하는 한 구성에서 22문제 중 14개를 맞혔다는 값을 들어, 틀린 답이 응급처치에 걸리면 위험하다고 지적했다. 이어 다른 사용자는 가장 작은 모델을 받는 데도 6GB가 든다며 그 공간에 관련 전자책을 보관하겠다고 했다. 두 의견 모두 AI 답변의 편의보다 정확도와 저장 공간을 우선하겠다는 선택이다.

핵심통찰

서바이벌 LLM이 바꾸는 것은 비상 지식의 저장 방식보다 그 지식에 들어가는 첫 경로다. 검색어를 떠올리지 못해도 질문으로 문서를 찾고, 개인 설명서까지 함께 뒤질 수 있다는 장점이 있다. 그러나 활비비 사례처럼 절차의 한 동작을 잘못 설명하면 출처가 붙은 유창한 답도 위험하다. 앞으로 볼 것은 모델이 답을 얼마나 자연스럽게 쓰는지가 아니라, 사용자가 원문을 쉽게 확인하고 틀린 설명을 따라 하기 전에 멈출 수 있게 만드는지다.


원본: Survival LLM: an AI that still works when the internet doesn’t

토론: Hacker News