제브가 오퍼스에 물었더니 신원 평가 비용 4분의 1로

하이터치(Hightouch)는 저렴한 판단 모델 제브(Jev)가 어려운 사례에서 클로드 오퍼스(Claude Opus)에 도움을 요청하도록 하자, 오퍼스에 가까운 정확도를 4배 이상 낮은 비용으로 얻었다고 밝혔다. 실험 대상은 흩어진 고객 기록이 같은 사람의 것인지 평가하는 신원 통합 작업이다. 눈여겨볼 대목은 작은 모델의 정답률만이 아니다. 자신 없는 판단을 가려내 비싼 모델에 넘기는 능력이 전체 시스템의 비용과 정확도를 함께 좌우했다.

핵심요약

  • 하이터치는 신원 통합 결과에 서로 다른 사람의 기록이 잘못 합쳐졌는지 판정하는 작업에 저렴한 판단 모델과 오퍼스를 적용했다.
  • 제브와 GPT-6 루나(GPT-6 Luna)는 기본 실험에서 88.8~97.3%의 정확도를 보였지만, 어려운 사례에서는 최상위 모델과 격차가 벌어졌다.
  • 제브는 틀린 판단에 낮은 확신을 보이는 경우가 많아, 일부 사례만 오퍼스에 넘기는 혼합 방식에 유리했다.
  • 제브·오퍼스 조합은 오퍼스 단독에 가까운 정확도에 도달하면서 비용을 4배 이상 낮췄다고 하이터치는 밝혔다.
  • 토론에서는 판단 근거를 매번 설명해야 할 때의 비용, 신원 통합의 개인정보 위험, 확신도 해석의 타당성이 쟁점으로 떠올랐다.

여러 기록을 한 사람으로 묶는 일

신원 통합은 여러 출처의 기록을 실제 사람별로 묶는 작업이다. 구매 내역이 흩어져 있다면 같은 고객의 기록을 하나로 연결해야 고객별 구매를 살펴볼 수 있다. 하이터치는 고객 대상 연락, 개인화, 분석에 이 과정이 기초가 된다고 설명한다. 다만 기록에 적힌 이름이나 주소가 같다고 해서 언제나 같은 사람인 것은 아니다.

한 사람의 기록도 이사나 나이 변화, 입력 오류 때문에 서로 다르게 보일 수 있다. 반대로 이메일을 공유하는 가족이나 이름이 같은 두 사람의 기록은 쉽게 한데 섞인다. 하이터치가 특히 문제로 삼은 것은 서로 다른 사람을 한 사람으로 묶는 ‘과잉 병합’이다. 병합된 신원 하나에 실제로는 여러 사람이 들어 있다면, 그 신원을 바탕으로 한 분석도 어긋난다.

이 실험에서 AI가 맡은 일은 처음부터 사람을 찾아내거나 기록을 직접 합치는 것이 아니다. 신원 통합 시스템이 이미 만든 묶음을 보고, 그 안에 한 사람의 기록만 있는지 판정하는 일이다. 하이터치는 이런 사후 점검을 빠르고 저렴하게 만들 수 있는지 알아보려 했다. 평가 대상과 작업 범위를 구분해야 실험 결과도 제대로 읽을 수 있다.

정답지가 없는 과잉 병합 검사

실제 데이터에는 병합 결과를 곧바로 대조할 정답지가 없다. 정답을 이미 안다면 애초에 그 정보로 기록을 연결하면 되기 때문이다. 이메일이 지나치게 많이 묶인 신원을 찾는 식의 통계적 단서는 얻을 수 있지만, 하이터치는 결국 표본을 뽑아 사람이 기록을 검토해야 정확도를 가늠할 수 있다고 설명한다.

사람의 검토 속도는 시간당 신원 약 50개다. 과잉 병합이 드문, 상태가 양호한 데이터에서는 소수의 표본만 봐서는 오류율을 정밀하게 추정하기도 어렵다. 하이터치는 과잉 병합률의 오차를 ±1% 아래로 낮추려면 표본이 1,000개를 넘어야 한다고 제시했다. 신원 통합 알고리즘을 조정할 때마다 이 검사를 되풀이하면 평가 자체가 작업 속도를 제한한다.

하이터치가 기대한 대안은 사람이 묶인 기록을 읽고 판단하는 과정을 LLM으로 대체하는 것이다. 모델이 사람에 가까운 정확도로 신원을 판정한다면 평가를 병렬로 처리할 수 있다. 하이터치는 신원 10만 개의 표본도 수초 만에 평가할 수 있다는 가능성을 제시했다. 그렇게 되면 신원 통합 설정을 바꾸고 결과를 확인하는 주기를 줄일 수 있다는 구상이다.

가상의 마을에서 만든 1,000개 신원

실험에는 워싱턴대(University of Washington) 보건계량평가연구소(Institute for Health Metrics and Evaluation)의 슈도피플(pseudopeople)이 쓰였다. 가상의 미국 마을 주민과 여러 출처의 기록을 생성하는 도구다. 하이터치는 여기에 실제 데이터에서 볼 법한 오류를 추가하고 신원 묶음 1,000개를 만들었다. 절반은 잡음이 섞였지만 한 사람의 기록이고, 나머지 절반은 서로 다른 사람의 기록이 잘못 합쳐진 사례다.

모델에는 각 묶음이 몇 명의 실제 사람을 가리키는지 판단하도록 했다. 과잉 병합이라고 본 경우에만 판단 근거가 된 구체적인 값을 적게 했다. 동시에 기록은 고객 데이터에서 가져온 판단 대상이지, 모델이 따라야 할 지시가 아니라고 명시했다. 데이터 안의 문구를 명령으로 오인하지 않도록 판정 기준과 입력의 역할을 나눈 셈이다.

프롬프트에는 오류의 모습도 자세히 담았다. 오타나 잘못 읽힌 문자, 별명, 가족의 정보가 복사된 값, 날짜의 월·일 뒤바뀜, 빈칸 등이 한 사람의 기록 사이에도 생길 수 있다고 알려줬다. 이사로 주소가 바뀌거나 시간이 지나 나이가 달라지는 것도 자연스러운 차이로 다뤘다. 반면 작은 입력 실수로 설명하기 어려울 만큼 생년월일이 다르면 다른 사람일 가능성을 살피게 했다.

기록 출처로는 인구조사, 가구 조사, 복지 프로그램, 사회보장 자료, 세금 서류 등이 제시됐다. 하이터치에 따르면 모델 성능을 가장 크게 높인 설명은 이런 출처 정보보다 오류 사례였다. 출처에 관한 맥락은 최상위 모델에 최대 1%포인트 정도만 보탰고, 판단 모델에는 도움이 되지 않았다. 연구진은 판단 모델이 근본적인 맥락을 추론하는 데 강하지 않기 때문일 수 있다고 해석하면서도, 비교 조건을 맞추기 위해 모든 모델에 같은 프롬프트를 유지했다.

50%에서 60·70%로 바뀐 판정선

제브와 루나는 특정 조건이 참일 확신을 0에서 1 사이의 값으로 내놓는 판단 모델이다. 하이터치는 처음에 50%를 판정 기준으로 삼았지만, 이 수치 자체에는 특별한 근거가 없었다고 설명한다. 기준을 바꾸면 한 종류의 오류를 줄이는 대신 다른 종류의 오류가 늘 수 있다. 따라서 확신도는 단순한 부가 정보가 아니라 실제 판정 결과를 결정하는 입력이다.

실험에서 기준 변경은 제브의 성능에 큰 영향을 줬지만 루나에는 영향이 작았다. 하이터치는 각 모델의 정확도가 가장 높아지는 기준으로 제브 60%, 루나 70%를 골랐다. 기본 실험에서는 루나가 제브보다 더 잘했고, 저렴한 비용에 비해 최상위 모델과의 격차도 작아 보였다. 연구진이 별도의 어려운 시험을 만든 이유는 이 차이가 까다로운 기록에서도 유지되는지 확인하기 위해서다.

새 시험은 같은 마을과 같은 종류의 데이터 오류를 쓰되, 헷갈리기 쉬운 사례만 골랐다. 한 사람의 이름이나 생년월일에 중요한 오타가 있는 경우, 쌍둥이나 동명이인처럼 매우 비슷한 두 사람의 기록이 합쳐진 경우가 포함됐다. 이 시험에서는 최상위 모델과 루나의 격차가 뚜렷해졌다. 앞서 제브를 앞섰던 루나도 어려운 사례에서는 제브와 비슷한 수준으로 내려왔다.

정답률보다 중요해진 ‘틀릴 때의 확신’

하이터치는 두 판단 모델이 틀린 사례에서 얼마나 자신 있게 답했는지 살폈다. 제브의 오류는 확신이 50%에 가까운 구간에 많이 모였다. 루나는 전체 오류 수가 더 적은 쉬운 시험에서도, 90~100%의 높은 확신을 보이면서 틀리는 사례가 눈에 띄었다. 하이터치는 이 차이를 제브의 확신도가 도움 요청 여부를 정하는 데 더 적합하다는 근거로 봤다.

어려운 시험에서는 제브도 잘못된 판단에 더 높은 확신을 보였다. 그럼에도 하이터치는 루나보다 제브의 확신도가 유용하다고 평가했다. 루나는 이 시험에서 과잉 병합을 찾아냈다고 지나치게 확신하는 모습을 보였다. 틀린 답에 낮은 확신을 표시하는 모델이라면, 그 사례를 더 강한 모델에 다시 물어볼 여지가 생긴다.

이 지점에서 단독 모델의 정확도와 혼합 시스템의 성능이 갈린다. 루나는 기본 성능이 더 좋아도 틀린 문제를 높은 확신으로 처리하면 오퍼스에 보낼 사례를 놓칠 수 있다. 제브는 혼자 풀 때의 정답률만으로는 뒤지더라도, 어려운 문제를 가려내는 첫 관문으로 쓸 수 있다. 하이터치의 실험은 작은 모델을 평가할 때 ‘얼마나 자주 맞히는가’와 ‘언제 도움을 청하는가’를 따로 봐야 함을 보여준다.

제브가 먼저 보고 오퍼스에 넘긴 결과

혼합 방식은 저렴한 모델이 먼저 신원을 판정하고, 일부 사례만 비싼 모델의 재검토를 받는 구조다. 하이터치는 제브와 루나를 각각 첫 단계에 놓고 오퍼스를 뒤에 연결해 비교했다. 쉬운 시험에서는 제브·오퍼스 조합이 루나 단독의 정확도를 넘어 오퍼스 단독에 가까워졌다. 비슷한 성능의 루나 혼합 방식보다 비용은 더 들었지만, 어려운 시험에서 제브 조합의 장점이 두드러졌다.

하이터치에 따르면 제브·오퍼스 조합은 오퍼스에 가까운 정확도를 유지하면서도 오퍼스만 쓰는 경우보다 비용이 4배 이상 낮았다. 어려운 기록이 늘어나면 제브가 오퍼스에 보내는 사례도 늘어 비용이 올라갔다. 연구진은 이 변화를 단점만으로 보지 않았다. 입력이 까다로워질 때 정확도를 지키기 위해 지출을 늘리는 동작이 별도의 프롬프트 변경 없이 일어났기 때문이다.

판단 모델을 단독으로 쓰면 하이터치의 실험 환경에서 신원 1,000개당 비용이 0.05~0.10달러였고, 응답에는 약 0.15초가 걸렸다. 최상위 모델보다 비용은 최대 90배 낮고 속도는 10배 이상 빨랐지만, 어려운 시험의 정확도는 오퍼스보다 약 6%포인트 낮았다. 이 수치가 하이터치가 단독 사용보다 선택적 재검토를 택한 이유를 설명한다. 다만 비용과 지연시간은 하이터치가 자체 환경에서 관찰한 값으로, 사용하는 환경에 따라 달라진다.

하이터치는 비용에 더 민감하거나 쉬운 사례가 대부분이라면 루나 혼합 방식을 고를 수 있다고 봤다. 제브가 오퍼스에 넘기는 기준을 조정해 비용을 더 낮추는 대신 정확도를 조금 포기하는 선택지도 제시했다. 이번 글은 서로 다른 사람의 기록을 하나로 묶는 과잉 병합을 평가했으며, 한 사람의 기록을 여러 신원으로 나누는 문제는 후속 주제로 남겼다. 실험 데이터에는 실제 사람이 등장하지 않는다.

커뮤니티 의견

한 사용자는 판단 모델이 모든 사례에서 판정 이유까지 제시해야 한다면 비용과 시간 절감 효과가 줄어든다고 지적했다. 결정만 내리는 모델 뒤에 설명 단계를 추가해야 한다면 작업만 늘어날 수 있다는 주장이다. 판단과 이유 제시를 함께 하면서도 최상위 모델보다 저렴한 모델이 필요하다고 봤다.

또 다른 사용자는 작은 모델이 작업을 정리하고 클로드에 요청을 전달하면 낮은 비용으로 좋은 결과를 얻을 수 있었다고 경험을 전했다. 답글에서는 중간 단계를 사람이 검토하지 않는다면 큰 모델에 처음부터 부족한 맥락을 채우라고 하는 것과 무엇이 다른지 물었다. 반대로 오퍼스를 계획자로, 작은 모델을 하위 작업 담당자로 쓰는 방식이 토큰 사용량을 줄였다는 의견도 나왔다.

신원 통합 자체를 문제 삼는 의견도 있었다. 한 사용자는 실제 사람에게 기록을 연결하는 기술을 더 저렴하게 만드는 일이 개인정보 침해를 부추길 수 있다고 비판했다. 답글에서는 비슷한 기술이 광고업계에 이미 존재했다는 반론과, 종이 병원 기록을 전산화하며 합치는 데도 이런 작업이 필요하다는 설명이 이어졌다.

확신도 기준을 정하는 데 필요한 자료를 어떻게 만들 것인지도 쟁점이었다. 한 사용자는 보정에 쓸 사례를 충분히 모으기 어려워, 더 똑똑하고 비싼 모델로 먼저 사례에 정답을 붙인다고 했다. 그 결과를 저렴한 평가 모델의 기준을 맞추는 데 활용한다는 것이다. 혼합 방식이 운영되려면 도움을 청할 기준부터 마련해야 한다는 고민이 담겼다.

비용 절감 효과가 작업마다 다르다는 경험담도 나왔다. 한 사용자는 제브가 다른 모델에 넘길 시점을 잘 판단했지만, 자신의 작업에서는 빠르고 충분히 좋은 모델이 나오자 판단 단계를 추가할 이점이 줄었다고 했다. 웹 탐색처럼 다른 단계의 대기시간이 길면 제브 자체의 빠른 응답도 전체 작업 시간에는 큰 차이를 만들지 못했다고 덧붙였다.

실험의 범위를 좁게 읽어야 한다는 지적도 있었다. 한 사용자는 이번 결과가 신원 통합 결과를 평가하는 특정 작업의 시험이지, 일반적인 모델 활용이나 코딩 에이전트의 성능 향상을 보여준 것은 아니라고 했다. 답글에서는 다른 작업에도 비슷한 구조가 도움이 될 수 있지만, 실제 효과는 각자 시험해야 한다는 의견이 나왔다.

데이터를 해석하는 규칙부터 점검해야 한다는 의견도 있었다. 한 사용자는 날짜 표기나 이름을 문화적 맥락 없이 해석하면 사람과 모델 모두 잘못 판단할 수 있다고 지적했다. 답글에서는 해당 이름에 관한 지적이 자료를 잘못 읽은 것이라는 정정과 함께, 애매한 사례에서는 판정을 보류하거나 먼저 규칙에 따라 데이터를 정리해야 한다는 제안이 나왔다.

하이터치의 확신도 해석에 직접 이의를 제기한 사용자도 있었다. 루나가 높은 확신으로 틀린 사례가 많아 보여도, 높은 확신 구간에서 맞힌 비율까지 함께 봐야 보정 상태를 판단할 수 있다는 주장이다. 이 사용자는 그래프만으로 제브가 더 잘 보정됐다고 결론 내리기 어렵다며, 예상 보정 오차를 수치로 제시할 것을 요구했다.

핵심통찰

이번 실험이 바꾸는 것은 ‘어떤 모델을 쓸까’라는 질문의 단위다. 저렴한 모델이 모든 기록을 완벽하게 판단하지 못해도, 어려운 사례를 알아보고 오퍼스에 넘길 수 있다면 전체 평가 비용을 낮출 수 있다. 다만 그 경로가 제대로 작동하는지는 기본 정답률만으로 알 수 없다. 확신도와 실제 오류의 관계, 재검토에 넘긴 사례의 비율, 설명이 필요한 작업에서 추가되는 비용을 함께 봐야 한다. 신원 통합처럼 사람에 관한 기록을 다룰 때는 판정의 효율뿐 아니라 그 용도도 계속 물어야 한다.


원본: LLM Judges for Identity Resolution at 4x Lower Cost | Hightouch

토론: Hacker News