맥 속에 숨은 가족관계 분류기

애플(Apple)의 맥은 연락처와 사진, 메시지 사용 기록 등을 엮어 사용자와 주변 사람들의 관계를 추정하는 지식 그래프를 만든다. 보안 연구 사이트 에이스 랭크(Eighth Rank)는 macOS에 내장된 데이터베이스와 분류 모델을 분석해 가족 관계까지 점수로 매기는 과정을 공개하고, 사용자가 자기 맥의 기록을 살펴볼 수 있는 도구를 내놨다. 이 정보는 기기 안에 저장되지만, 당사자가 알기 어려운 방식으로 타인의 관계까지 추론한다는 점에서 편의성과 프라이버시의 경계를 묻게 한다.

핵심요약

  • macOS 13 이후 맥에는 사용자와 주변 사람의 관계를 구성하는 데몬(백그라운드에서 실행되는 프로그램) 두 개가 들어 있으며, 연구진은 그 작동 내용을 분석했다.
  • 지식 그래프(사람·장소·사건과 그 연결 관계를 저장한 구조)는 연락처와 일정뿐 아니라 사진 속 동행, 통신 시각, 기기 신호까지 함께 다루므로 개별 기록보다 많은 정보를 드러낸다.
  • 탑재된 가족 분류 모델 두 개는 이름이나 주소보다 통신 방식과 함께 찍힌 사진에 무게를 둔 144개 입력값을 사용한다.
  • 연락처를 지워도 철회된 기록이나 별도 관계 점수가 남을 수 있어, 삭제와 추론 결과의 소멸은 같은 일이 아니다.
  • 연구진이 공개한 아이노(iKnow)는 데이터베이스를 읽기 전용으로 열어 관계 추정과 그 근거를 보여주지만, 연구진은 사용자가 잘못된 추론을 일반적인 방법으로 바로잡기는 어렵다고 지적한다.

두 데몬을 설명하는 짧은 안내문

에이스 랭크가 들여다본 대상은 macOS 13이 나온 2022년부터 맥에 들어간 두 데몬, knowledgeconstructiond와 intelligenceplatformd다. 애플의 시스템 안내문은 첫 번째 데몬이 기기와 사용자를 나타내는 범용 지식 그래프를 만드는 데 쓰이며, 두 번째 데몬과 함께 작동한다고 설명한다. 하지만 어떤 정보가 그래프에 들어가고 어떤 관계가 추론되는지까지 알려주지는 않는다. 연구진은 macOS 26의 애플 인텔리전스(Apple Intelligence)를 조사하다 이 저장소를 분석했으며, 이번 글의 관찰 결과는 주로 macOS 26.6.2에서 얻었다.

지식 그래프 자체가 처음 알려진 것은 아니다. 글은 애플 연구진의 2023년 관련 논문과, 맥 및 아이폰에서 같은 종류의 저장소를 살펴본 앞선 작업도 소개한다. 이번 분석의 초점은 실제 맥에 어떤 데이터베이스와 모델이 들어 있는지, 그 안에 사용자와 가족·친구의 정보가 어떻게 연결되는지에 있다. 특히 가족 관계를 추정하는 모델의 입력값과 결과를 따라가며, 기능의 이름만으로는 알기 어려운 처리 과정을 보여준다.

51개 데이터베이스와 관계를 잇는 행

두 데몬이 쓰는 ~/Library/IntelligencePlatform에는 51개의 SQLite 데이터베이스가 있다. 파일은 평문으로 저장되지만, 폴더는 전체 디스크 접근 권한을 요구하는 TCC(맥의 개인정보 접근 권한 관리 체계)의 보호를 받는다. 핵심 파일인 graph.db는 주어·관계·목적어를 한 행에 담는 트리플 저장소(세 요소로 사실과 연결을 기록하는 방식)다. 여기에 정의된 어휘는 개체 종류 181개와 관계를 나타내는 서술어 278개에 이른다.

그래프에는 연락처와 일정의 제목·참석자, 사진 속 얼굴, 가족 공유 정보, 건강 앱의 긴급 연락처, 메일·메시지에서 시리가 찾은 연락처와 일정, 설치된 앱 등이 들어갈 수 있다. 곁에 놓인 다른 표에는 사진에 함께 등장한 사람, 통신 상대·시각·앱·방향을 적은 기록, 위치와 이동, 화면 잠금이나 와이파이 같은 기기 신호가 담긴다. 통신 기록에는 메시지 본문이 없지만 다른 기기의 기록도 반영된다. 연구진은 정의된 개체 종류가 모두 실제로 채워지는 것은 아닐 수 있다고 덧붙였다.

144개 입력값으로 매기는 가족 점수

그래프의 값은 기존 기록을 복사하거나 규칙으로 연결해 만들기도 하고, 모델이 추정하기도 한다. 연구진이 확인한 가족 관련 코어ML(Core ML) 모델 두 개는 XGBoost(여러 결정 트리의 판단을 결합하는 기계학습 방식) 기반의 이진 분류기로, 각각 144개 숫자를 받아 분류 결과와 확률을 낸다. 입력값은 인물 정보 20개, 통신 시각과 방식 40개, 함께 나온 사진에 관한 값 84개로 나뉜다. 같은 성이나 주소보다 누구와 언제 연락하고 어느 사진에 함께 등장하는지가 입력 항목의 큰 부분을 차지한다.

사진 분석기 12개는 함께 찍힌 장면과 여행·휴일 등을 바탕으로 배우자, 부모, 자녀, 동료, 친구 관계를 평가한다. 두 사람의 기록이 동일 인물인지 가릴 때는 임베딩 모델(정보를 비교할 수 있는 숫자 표현으로 바꾸는 모델) 두 개가 여러 판단 신호 중 일부로 쓰인다. 애플 인텔리전스가 켜져 있다면 기기 내 LLM이 메시지를 읽어 사진 속 얼굴에 이름과 관계를 붙이는 과정도 연구진이 확인했다. 다만 가족 점수가 기록되는 별도 표의 관계 열은 17개인 반면, 연구진이 탑재 모델을 확인한 열은 두 개뿐이라 나머지 점수가 어떻게 채워지는지는 추적하지 못했다.

점수 역시 곧바로 확정된 가족관계로 읽어서는 안 된다. 연구진이 대시보드 설명에 쓴 가족 점수 화면은 실제 사용자 기록이 아니라 만들어 낸 예시이며, 실제 분석한 맥에서는 높은 점수를 받은 관계가 훨씬 적었다. 예시 화면은 부모·자녀 같은 관계 열과 가족 공유, 연락처, 사진 속 얼굴 등 여러 기록이 같은 사람을 가리킬 때 무엇을 확인할 수 있는지 보여준다. 핵심은 사용자가 직접 적어 둔 관계와 컴퓨터가 추정한 관계가 서로 다른 출처에서 나와 한 화면에서 맞물린다는 점이다.

연락처를 지운 뒤에도 남는 것

연구진이 관찰한 맥에서는 연락처를 삭제하면 살아 있는 그래프의 해당 행이 다음 갱신 때 사라졌다. 그러나 철회된 행은 expired_stable_graph라는 별도 표로 옮겨져 이전의 신뢰도와 출처를 유지했다. 이 기록이 정확히 얼마나 보관되는지는 확인되지 않았다. 연구진은 최근 기록에서는 약 48시간 범위를 봤지만, 한 연구자의 맥에서는 훨씬 오래된 행도 읽을 수 있었다고 밝혔다.

근거가 사라진 뒤에도 결론이 남는 사례도 있었다. 연구자의 맥에서는 달력 초대만으로 알려졌던 두 사람이 그래프에서 빠진 다음 날에도 관계 점수표에 남아 있었다. 따라서 연락처 삭제, 그래프의 갱신, 별도 분류 점수의 갱신은 하나의 동작으로 처리되지 않는다. 사용자가 자신에 관한 추론을 확인하거나 잘못된 관계를 고치려 할 때 어느 기록을 봐야 하는지 알기 어려운 이유다.

한 파일에서 이어지는 가족의 동선

그래프가 민감한 이유는 각각의 행보다 행을 연결해 얻는 결론에 있다. 연구진은 자신의 저장소를 대조해 가구에 아이가 있는지와 대략적인 나이, 아이가 다니는 보육시설과 연락처, 가족이 일정에 따라 언제 어디에 있을지를 알아낼 수 있었다고 설명한다. 보육시설 정보는 연락처에서, 가족 구성은 관계 점수와 가족 공유 기록에서, 방문 예정 시간과 장소는 일정에서 이어졌다. 달력에 아이를 데려다주는 일정이 없더라도 여러 기록을 엮으면 가족에 관한 구체적인 그림이 만들어진다는 것이다.

이 그림에는 맥 사용자만 들어 있지 않다. 한 번 연락했거나 다른 사람의 일정 초대에 등장한 사람도 그래프에 들어갈 수 있고, 공동 일정이나 단체 대화를 통해 다른 사람과 연결된다. 연구진은 이런 정보가 기기에 남고 전체 디스크 접근 권한으로 보호된다는 점을 인정하면서도, 한곳에 모인 기록이 잘못된 손에 들어가면 사생활의 단일 실패 지점이 될 수 있다고 경고한다. 다른 서비스가 그래프를 어느 범위까지 읽는지는 연구진도 명확히 밝히지 못했다.

내 맥의 그래프를 여는 아이노

연구진은 사용자가 자기 기록을 직접 볼 수 있도록 아이노를 공개했다. 파이썬 표준 라이브러리로 만든 이 대시보드는 맥에서 실행되며, 필요한 권한을 받으면 데이터베이스를 읽기 전용으로 열어 그때그때 화면을 구성한다. 접속 주소는 맥 내부를 가리키는 127.0.0.1에 묶이고, 도구가 값을 따로 기록하거나 로그를 남기지 않는다고 연구진은 설명한다. 인터넷과 분리된 상태에서도 실행할 수 있으며, macOS 26.6.2와 26.7.1에서 시험됐고 27.0.1에서는 일부만 시험됐다.

첫 화면의 관계도는 가족으로 평가된 사람, 가까운 사람, 그래프에는 있지만 관계가 분류되지 않은 사람을 구분해 보여준다. 뒤쪽 화면에서는 가족 점수와 판단 근거, 사진 속 얼굴들의 연결, 사람별 연락 시각과 횟수, 일정, 철회된 기록, 설치 앱 등을 살펴볼 수 있다. 사진의 공동 등장 관계는 연락처나 메시지 없이도 만들어지고, 메시지 본문이 없는 통신 시각만으로도 밤마다 연락이 뜸한 시간대가 드러난다. 연구진은 별도로 사용자의 에이전트가 데이터베이스를 읽도록 돕는 설명서도 제공하면서, 이를 쓸 때는 클라우드 모델보다 자체 운영 모델을 권했다.

분석에는 버전 변화도 변수로 남아 있다. 연구진은 macOS 27.0.1로 올린 뒤 연락처, 일정, 시리 제안, 가족 공유, 앱 목록에서 만들어진 그래프 행 상당수가 철회됐다가 이튿날 다시 구성되는 것을 봤다. 이 때문에 아이노의 일부 화면은 macOS 27에서 완전히 작동하지 않을 수 있다. 한 번 저장소를 열어 본 결과뿐 아니라, 운영체제 갱신과 일상적인 재계산을 거쳐 기록이 어떻게 바뀌는지도 살펴봐야 한다.

커뮤니티 의견

한 사용자는 이런 기록이 처음에는 흥미로웠을지 몰라도 이제는 피로하게 느껴진다고 했다. 대화에는 모든 것을 정확히 기억하지 않아도 된다는 암묵적인 여지가 있는데, 요약과 관계 기록이 일상이 되면 그 여지가 줄어든다는 주장이다. 동료의 가족 이름이나 이웃의 지난 여행지를 잊는 일까지 무례로 받아들여질 수 있다는 사회적 걱정을 제기했다.

다른 사용자는 사진 앱이 가족과 반려동물의 얼굴을 알고, 일정 앱이 방문 장소를 아는 만큼 관계 추정 자체는 놀랍지 않다고 봤다. 이런 기능은 실제로 유용하지만 사용자가 선택해서 켤 수 있어야 하며, 데이터가 어디에 어떻게 저장되는지 보장해야 한다고 했다. 기기에 저장된 데이터의 암호화도 바라는 조건으로 들었다.

한 사용자는 이용자에게 데이터 사용 방식을 분명히 알리고 물어야 한다는 스티브 잡스의 과거 발언을 떠올렸다. 그는 iOS의 권한 체계는 그런 방향에 가깝지만, 이번에 드러난 관계 추정 방식은 애플이 강조해 온 설명과 선택의 원칙에서 벗어난다고 비판했다. 쟁점은 분석 기능의 존재뿐 아니라 사용자가 언제 이를 알게 되느냐는 데 있다.

연구에 참여한 필자도 토론에 나타나 질문을 받겠다고 했다. 답글에서는 운영체제가 그래프를 읽을 수 있다면 그 일부나 추론 결과가 애플 서버로 전송되는지 물었다. 소개된 토론 내용에는 이 질문에 대한 답이 없어, 기기 내 저장이라는 설명과 외부 전송 여부를 궁금해하는 이용자의 시선이 나란히 드러난다.

시리의 사용성을 강조하는 의견도 있었다. 예컨대 같은 이름의 연락처 중 누구에게 메시지를 보낼지, ‘상사’가 누구인지를 알아내려면 기기 안에 관계를 파악하는 정보가 필요하다는 것이다. 반론은 기기에만 있는 정보라도 노트북에 접근한 타인이나 기록을 확보한 당사자에게 노출될 수 있다는 데 초점을 맞췄다. 또 다른 답글 작성자는 사진이 없는 맥에서도 다른 기기에서 비롯된 것으로 보이는 연락처와 얼굴 묶음이 보였다고 자신의 경험을 전했다.

실제로 도구를 실행해 봤다는 한 사용자는 시리와 인텔리전스 관련 기능을 꺼 두었는데도 기록이 만들어지고 있어 충격을 받았다고 했다. 이 경험은 이용자가 기능을 끄는 것과 운영체제의 관계 저장소가 작동하지 않는 것을 같은 뜻으로 받아들일 수 있음을 보여준다. 해당 사용자는 이를 계기로 다른 운영체제로 옮기는 것까지 고려한다고 밝혔다.

기기 내 처리에 무게를 두는 다른 사용자는 보이지 않는 클라우드 저장소보다 자기 기기에서 처리하는 방식에 여전히 기대를 걸었다. 다만 그 의견에 달린 답글은 작동 방식을 설명하는 문서와 끄는 방법이 필요하다고 지적했다. 모델이 이 정보를 조회할 수 있다면 프롬프트 인젝션(외부 입력으로 AI의 지시 처리를 교란하는 공격) 위험도 생각해야 한다는 우려였다.

마지막으로 한 사용자는 개인용 맥에서 도구를 실행했는데, 그 맥에서 쓰지 않는 업무용 슬랙(Slack) 관련 기록이 보였다고 전했다. 그는 여러 기기에서 만들어진 정보가 결합된 것 아니냐고 의심했다. 답글에서는 두 맥에 같은 아이클라우드(iCloud) 계정으로 로그인했는지 물으며, 어떤 경로로 기록이 이어졌는지는 더 확인할 필요가 있다는 반응을 보였다.

핵심통찰

이 사례가 바꾸는 것은 맥에 정보가 저장된다는 사실보다 ‘저장된 정보’의 범위다. 연락처 한 장이나 통신 시각 하나는 익숙한 기록이지만, 이를 사진·일정과 연결하면 사용자가 입력하지 않은 가족관계와 생활 패턴이 나온다. 기기 내 보관과 접근 권한은 중요한 보호 장치이나, 그것만으로 당사자의 이해와 통제가 해결되지는 않는다. 앞으로 살펴볼 것은 애플이 추론의 작동·조회 범위·보관 기간을 얼마나 설명하고, 사용자가 잘못된 관계를 고치거나 이 처리를 선택하지 않을 방법을 마련하는지다.


원본: Anatomy of Apple’s Personal Knowledge Graph — Eighth Rank

토론: Hacker News