머코어(Mercor)는 미국 노동시간의 90%가 현재 조사한 AI 벤치마크에서 거의 다뤄지지 않거나 아예 빠진 업무에 쓰인다고 분석했다. 미국의 직업 923개와 AI 평가 문항을 연결해 보니, 실제 노동을 기준으로 모델의 능력을 읽어내기에는 측정 범위가 좁았다. 이는 AI가 미국 일자리의 90%를 못 한다는 뜻이 아니라, 그 일을 얼마나 잘하는지 판단할 시험 문항이 부족하다는 뜻이다. 연구는 어떤 직업이 평가에 집중되고 어떤 업무가 비어 있는지 보여주며, AI 성능 점수를 직장에 적용할 때 먼저 확인해야 할 질문을 던진다.
핵심요약
- 머코어가 선정한 벤치마크 29개를 미국 직업 923개에 대조한 결과, 업무 하나라도 평가 문항 5개 이상과 연결된 직업은 208개뿐이었다.
- 미국 전체 노동시간의 약 90%는 이 목록에서 평가 범위가 없거나 희박한 업무에 쓰이는 것으로 추정돼, 기존 점수만으로 직업별 AI 역량을 판단하기 어렵다.
- AI의 영향을 받기 쉬운 업무와 임금 총액이 큰 직업의 업무가 평가 문항에 더 자주 등장해, 측정의 공백도 직업마다 다르게 나타난다.
- 직업별 업무를 고르게 반영하도록 점수를 다시 계산해도 네 직업의 시험 결과는 크게 달라지지 않았지만, 계산에 넣을 만큼 문항이 있는 업무는 3분의 1 미만이었다.
- 머코어는 문항 수와 품질, 사람을 돕는 효과, 현장 업무의 측정 가능성을 해결해야 직업별 성능 점수가 실질적인 판단 자료가 된다고 봤다.
923개 직업을 펼쳐 놓은 평가 지도
AI 벤치마크는 늘었지만, 그 점수가 사람들이 실제로 하는 일을 얼마나 대표하는지는 다른 문제다. 머코어는 미국 노동부의 직업 분류 체계인 오넷(O*NET)에 실린 직업 923개를 22개 직업군으로 묶고, 각 직업의 업무가 선정한 AI 벤치마크에 얼마나 등장하는지 지도로 만들었다. 오넷에는 이들 직업을 이루는 업무가 모두 1만8797개 등록돼 있다. 지도에서 직업의 색은 해당 직업의 업무 가운데 평가 문항과 연결된 비율을 나타낸다.
머코어는 하나의 평가 문항을 여러 오넷 업무에 연결할 수 있도록 했다. 반대로 어떤 업무에 문항이 조금 등장했다고 해서 충분히 평가됐다고 보지는 않았다. 한 업무가 선정된 벤치마크의 문항 5개 이상과 연결돼야 평가 범위에 포함된 것으로 계산했다. 이 기준에서 직업 923개 중 적어도 한 업무가 포함된 직업은 208개였고, 22개 직업군 중 6개에는 그런 직업이 하나도 없었다.
이 연결 결과를 업무별 노동시간 추정치와 합치자, 미국인의 노동시간 약 90%가 벤치마크에서 거의 다뤄지지 않거나 빠진 업무에 해당했다. 여기서 90%는 AI가 수행하지 못하는 업무의 비율도, AI가 대체할 일자리의 비율도 아니다. 모델을 시험하는 현재 문항으로는 그만큼의 노동시간에 해당하는 업무를 충분히 살펴보기 어렵다는 측정 범위의 추정치다.
29개 벤치마크를 고른 기준
머코어는 품질과 경제적 관련성을 기준으로 벤치마크 29개를 첫 목록에 넣었다. 공개된 업무 문항이 적어도 25개 있는 벤치마크를 대상으로 삼되, 자체 에이펙스(APEX) 벤치마크는 별도로 포함했다. 에이펙스에는 머코어가 오넷 업무와 대조할 수 있는 비공개 평가 문항이 있기 때문이다. 질문에 답하거나 방법을 조언하는 시험보다 모델이 실제로 업무를 수행하도록 요구하는 시험을 우선했다.
선정 과정에서는 현실의 기업 업무와 닮았는지, 경제적 가치가 있는지, 최상위 모델이 아직 완전히 풀어내지 못한 난도인지도 살폈다. 소프트웨어 공학과 연구 업무가 인기 벤치마크에 과도하게 등장하는 점을 고려해 직업군별 포함 개수에도 상한을 뒀다. 가능한 한 많은 직업군을 비추려는 선택이지만, 이미 시험이 많은 분야의 평가 범위는 실제보다 낮게 계산될 수 있다. 따라서 이 지도가 보여주는 것은 모든 AI 벤치마크의 분포가 아니라, 선정된 29개의 분포다.
문항을 업무에 연결하는 작업에는 대형언어모델(LLM)을 판정자로 썼다. 판정 모델이 각 문항에 해당한다고 보는 오넷 업무를 모두 붙이도록 하고, 에이펙스 문항 일부에서는 사람 전문가의 분류와 비교해 확인했다. 이어 업무별 평가 범위와 별도 연구의 업무별 노동시간 비중 추정치를 결합해 전체 노동시간 수치를 냈다. 어떤 문항을 어느 업무로 볼지, 업무별 시간을 얼마나 잡을지가 최종 지도에도 영향을 미치는 구조다.
변호사 업무는 촘촘하고 법원 서기는 드물다
평가 문항의 쏠림은 직업별 차이에서 드러난다. 머코어의 목록은 AI의 영향을 받기 쉬운 변호사의 업무는 많이 다루지만, 비슷하게 AI의 영향을 받기 쉽다고 분류된 법률 비서나 법원 서기의 오넷 업무는 거의 다루지 않는다. 소프트웨어 공학과 재무 분석 업무가 트럭 운전이나 가스 플랜트 운영 업무보다 자주 등장하는 것도 같은 지도에서 보인다. 디지털 환경에서 수행하는 일이 시험 문항으로 만들기 쉬운 데다, 평가가 AI 발전 가능성이 큰 업무에 집중된 결과다.
분석에서 AI의 영향을 받기 쉬운 업무는 그렇지 않은 업무보다 벤치마크에 포함될 가능성이 약 6배 높았다. 직업의 임금 총액이 클수록 해당 업무가 평가에 등장할 가능성도 높았으며, 이는 AI 영향도를 고려한 뒤에도 나타났다. 여기서 직업별 임금 총액은 평균 임금과 해당 직업의 취업자 수를 바탕으로 계산했다. 머코어는 노동시장이 큰 곳부터 평가 자원이 투입되는 패턴으로 읽으면서, 규모가 작거나 중간 소득대인 지식 업무의 긴 꼬리는 상대적으로 비어 있다고 봤다.
같은 직업 안에서도 중요한 업무가 더 자주 시험에 나온다. 오넷의 15점 업무 중요도 평가를 비교한 결과, 가장 중요하게 평가된 업무는 중요도가 가장 낮은 업무보다 포함될 가능성이 약 610배 높았다. 제한된 자원으로 영향도가 높고 중요한 일을 먼저 재는 것은 합리적인 선택일 수 있다. 다만 머코어는 벤치마크의 수와 종류가 늘지 않으면 이런 집중이 다른 경제 활동에 대한 큰 사각지대로 남는다고 지적했다.
문항 평균을 직업 점수로 바꾸는 실험
평가 문항과 직업을 연결했다고 곧바로 그 직업에서의 AI 성능 점수가 나오는 것은 아니다. 특정 직업과 관련된 문항의 점수를 단순 평균하면, 문항이 많이 만들어진 업무가 평균을 좌우한다. 머코어는 이를 줄이기 위해 오넷이 구분한 직업별 업무를 기준으로 성능을 다시 계산했다. 한 업무에 문항이 많이 몰렸다는 이유만으로 그 업무가 직업 전체를 대표하지 않도록 하려는 방식이다.
첫 시험에는 에이펙스 벤치마크의 투자은행, 법률, 회계, 소프트웨어 공학 관련 문항을 썼다. 업무별로 가중치를 반영한 점수와 문항을 단순 평균한 점수를 비교했지만, 결과는 대체로 비슷했다. 머코어는 가중치 계산에 들어간 오넷 업무 사이에서 모델 성능이 비슷해 조정 효과가 작았다고 설명했다. 그러나 네 직업과 관련된 오넷 업무 가운데 에이펙스 문항이 충분해 점수 계산에 들어간 업무는 3분의 1도 되지 않았다.
따라서 이번 실험은 직업별 점수를 정교하게 만드는 방법과 함께 그 방법의 한계도 보여준다. 빠진 업무가 많으면 포함된 업무를 아무리 공정하게 평균해도 직업 전체의 성능을 대표하기 어렵다. 머코어는 앞으로 더 많은 벤치마크를 합쳐 직업별 점수의 질을 높이려 한다. 그러려면 우선 각 직업의 업무를 평가할 만한 문항 자체가 늘어야 한다.
문항의 질과 사람을 돕는 능력
평가 범위를 넓혀도 문항 수 문제는 남는다. 미국 경제의 업무 종류가 워낙 많아 직업별·업무별로 확보할 수 있는 문항은 적을 수밖에 없고, 그럴수록 질이 낮은 문항 한두 개가 점수를 크게 흔든다. 문항의 난도와 현실성도 제각각이다. 오래된 시험은 지금의 모델에 너무 쉬울 수 있고, 일부 문항은 채점이 단순하거나 작은 오류가 있으며, 실제 업무를 잘하지 않아도 점수만 높이는 방식으로 풀릴 수 있다.
머코어는 아직 이런 품질 차이를 명시적으로 가중하는 방법이 없다고 밝혔다. 이미 모델이 높은 점수에 도달한 벤치마크를 제외하면 쉬운 업무의 평가 범위를 과소평가할 위험이 있다. 반대로 현실성이 낮아 쉽게 만점을 받는 시험까지 넣으면, 실무에서 유효한 평가 범위를 과대평가할 수 있다. 머코어는 후자의 위험이 더 크다고 판단했지만 어느 쪽도 완전한 해법으로 제시하지 않았다.
또 하나의 간극은 시험이 주로 업무의 자동 수행을 묻는 반면, 실제 현장에서는 사람이 AI를 도구로 쓰는 경우가 많다는 점이다. 직업에서 모델이 얼마나 유용한지를 재려면 사람의 생산성을 얼마나 높이는지도 봐야 한다. 머코어는 이 방향의 초기 작업을 했지만, 여러 직업에 적용할 수 있는 평가 방법은 아직 찾지 못했다고 했다. 혼자 끝까지 해내는 능력과 사람이 더 잘하도록 돕는 능력을 구분해야 하는 이유다.
화면 밖 업무까지 재려면
모든 직업을 현재 방식의 벤치마크로 시험할 수 있는지도 남은 질문이다. 컴퓨터나 전화기에서 주로 이뤄지는 지식 업무는 문항과 결과물을 만들어 평가하기가 비교적 쉽다. 반면 머코어가 인용한 연구에서는 미국 일자리 중 집에서 전적으로 수행할 수 있는 비율을 37%로 추정한다. 머코어는 나머지 약 63%의 일자리에는 현재 벤치마크에 담기 어려운 물리적 세계의 업무가 일부 포함될 수 있다고 봤다.
이 차이는 지도에서 빈칸이 뜻하는 바도 달라지게 한다. 어떤 업무는 평가 문항을 더 만들면 측정할 수 있지만, 어떤 업무는 화면 속 문항만으로 수행 환경을 재현하기 어렵다. 머코어는 로봇 기술이 발전할수록 물리적 업무를 시험하는 벤치마크의 필요성도 커질 것으로 예상했다. 지금의 지도는 AI 역량의 최종 성적표라기보다, 어느 직업의 어떤 일을 아직 제대로 시험하지 못하는지 표시한 출발점에 가깝다.
커뮤니티 의견
한 사용자는 도어맨을 자동문으로 바꾸는 사례에 빗대어, 겉으로 보이는 업무만 평가하면 고객 응대처럼 함께 수행하던 역할을 놓칠 수 있다고 했다. 답글에서는 그런 역할이 인정도 보상도 받지 못했다는 해석이 나왔다. 다른 답글은 반대로, 부수적인 역할에 과도한 의미를 부여하는 것일 수도 있다고 맞섰다.
다른 사용자는 ‘충분히 평가됐다’는 표현이 실제로는 ‘문항이 조금이라도 있다’에 가까운 것 아니냐고 지적했다. 양육 문제를 상담하는 사회복지 업무에 문항 13개가 연결돼 있어도, 그 문항으로 현장의 다양한 상황을 충분히 대표하기는 어렵다는 주장이다. 이는 머코어의 ‘문항 5개 이상’이라는 기준이 측정의 시작점이지 평가의 완성도를 보증하지는 않는다는 비판이다.
정신건강 분야를 두고는 AI가 정신의학 업무를 대체할 수 있다고 보는 듯한 분류 자체를 우려하는 의견이 나왔다. 한 답글은 정신건강 전문가의 실제 성과 또한 이상화해서는 안 된다고 반박했다. 두 의견은 서로 다른 결론을 내렸지만, 벤치마크에 업무가 등장하는 것과 그 일을 안전하게 맡길 수 있다는 판단을 구별해야 한다는 점을 드러낸다.
한 사용자는 현재 벤치마크가 무언가를 만들거나 해결하는 능력에 치우쳐 있다고 봤다. 실제 업무에서는 결과에 오류가 있는지 찾아내는 능력이 그만큼 중요하므로, 오류 탐지 시험이 늘지 않으면 평가 점수와 현장 성능 사이의 간격도 남는다는 주장이다. 이는 문항 수뿐 아니라 무엇을 성공으로 채점할지도 따져야 한다는 의견이다.
업무 자동화 뒤에 남는 일의 부담을 지적하는 경험담도 있었다. 한 사용자는 코딩과 스크립트 작성의 생산성이 크게 높아졌지만, 그만큼 코딩을 더 하는 대신 발표 자료, 업무 관리, 품질 확인에 시간을 쓴다고 했다. 답글에서는 품질 확인과 코드 검토가 업무 시간의 대부분을 차지하게 됐다는 반응이 나왔다. 빠른 수행을 재는 시험만으로는 작업 이후의 확인과 조정에 드는 시간을 읽기 어렵다는 얘기다.
임금 총액이 큰 직업의 업무가 평가에 더 많이 나오는 현상을 두고는 노동시장의 우선순위가 논쟁이 됐다. 한 사용자는 소프트웨어 개발자나 법률가의 일이 먼저 자동화되는 동안 청소 같은 일은 사람에게 남는 상황을 냉소적으로 그렸다. 답글에서는 수익이 큰 업무를 먼저 자동화하는 것은 기업의 자연스러운 선택이며, 경쟁이 유지되면 소비자 비용도 낮아질 수 있다는 반론이 나왔다. 또 다른 답글은 고임금 업무를 의도적으로 골랐다기보다 디지털 결과물을 확인하기 쉬워 평가가 그쪽에 몰렸을 수 있다고 봤다.
AI가 지식 업무를 곧 대체한다는 주장과 일상에서 드러나는 모델의 취약함 사이를 구분하자는 의견도 있었다. 한 사용자는 업무 범위, 기간, 가능성을 명확히 하지 않으면 낙관과 비관이 서로 다른 이야기를 하게 된다고 했다. 답글은 하나의 중간 입장을 찾기보다, 업무 단계마다 필요한 추론과 사람·AI 협업 방식이 다르다는 점을 봐야 한다고 덧붙였다.
평가가 잘 이뤄진 직업군에서도 문항이 부가가치가 낮고 수치화하기 쉬운 업무에 몰린다는 현장 경험도 공유됐다. 한 사용자는 측정하기 쉬운 일을 자동화하다가 정작 중요하지만 수치화하기 어려운 요소를 놓쳐 전체 업무가 나빠질 수 있다고 했다. 이 의견은 평가 범위가 넓다는 사실만으로 업무 개선을 기대할 수 없으며, 자동화 이후의 결과까지 살펴야 한다는 경고다.
핵심통찰
이번 지도가 바꾸는 것은 AI 성능 점수를 읽는 순서다. 모델이 몇 점을 받았는지 묻기 전에, 그 시험이 해당 직업의 어떤 업무를 얼마나 현실적으로 다뤘는지 확인해야 한다. 특히 문항이 몰린 업무의 성과를 직업 전체의 역량으로 확대하면, 드물게 측정되는 업무와 결과를 검토하는 사람의 부담이 사라진다. 앞으로는 벤치마크의 개수뿐 아니라 빠진 업무를 채우는 방식, 문항의 질, 사람과 함께 일할 때의 성과가 직업별 AI 평가의 신뢰도를 가를 것이다.
원본: A benchmark map of the US economy | Mercor
토론: Hacker News