벤드 2가 불러온 바이브 코딩의 함정 논쟁

벤드 2(Bend 2)를 둘러싼 논쟁은 AI가 코드를 얼마나 빨리 쓰느냐보다, 무엇을 만들지 결정하기 전에 무엇을 알아야 하느냐를 묻는다. 한 기술 블로그 필자는 사람이 지켜야 할 규칙을 쓰고 AI가 구현과 증명을 작성하는 벤드 2의 방식을 살펴본 뒤, 바이브 코딩(vibe coding, AI에 자연어로 요청해 코드를 빠르게 만드는 방식)이 기존 분야의 해법을 놓치게 할 수 있다고 비판했다. 하지만 해커뉴스(Hacker News) 토론에서는 벤드 개발자가 형식 검증을 몰랐을 것이라는 필자의 추측이 반박됐다. 이 논쟁은 AI 개발 도구의 속도만큼 사전 조사와 설계 판단이 중요해졌다는 점을 드러낸다.

핵심 요약

  • 벤드 2는 사람이 규칙을 쓰고 AI가 구현과 증명을 작성하며 컴파일러가 증명을 검사하는 언어로 제시됐고, 논쟁은 그 작업 분담이 효율적인지에 집중됐다.
  • 필자는 벤드의 게임 시연에 규칙 58줄과 증명 442줄이 쓰였다며, 기존 형식 검증 도구를 먼저 살폈어야 한다고 주장했다.
  • 필자가 AI로 같은 시연을 스파크(SPARK)로 다시 작성해 그나트프루브(GNATprove)로 검사하자 12개 검증 항목을 모두 통과했지만, 토론에서는 두 접근의 확장성을 단일 사례로 비교하기 어렵다는 반론이 나왔다.
  • 댓글에서는 벤드 개발자의 과거 형식 검증 작업이 제시돼, 그가 해당 분야를 몰랐을 것이라는 필자의 추측이 논쟁의 핵심 약점으로 떠올랐다.
  • 토론 참여자들은 AI에게 기존 연구를 먼저 찾게 하는 방법부터 공개 프로젝트에 대한 비판의 역할까지 제안하며, 빠른 구현과 충분한 검토를 어떻게 함께 가져갈지 따졌다.

사람이 규칙을 쓰고 AI가 증명하는 언어

벤드 2는 AI 코딩 시대를 위한 언어로 소개된다. 사람이 프로그램이 반드시 지켜야 할 ‘법칙’을 적으면 AI가 구현과 증명을 작성하고, 컴파일러가 그 증명이 타당한지 검사한다는 구상이다. 이 방식의 매력은 사람이 원하는 성질을 명시하고 AI에 구현 작업을 맡길 수 있다는 데 있다. 필자도 그런 언어를 원하는 이유는 이해한다고 밝히면서, 자신이 따질 문제는 AI와 증명의 결합 자체가 아니라 벤드가 택한 구체적인 작업 방식이라고 선을 그었다.

필자는 벤드 홈페이지의 게임 시연을 출발점으로 삼았다. 플레이어가 깃발에 닿거나 게임에서 이길 수 없다는 규칙을 적는 데 LAWS.bend 파일 58줄이 필요하고, AI가 그 규칙을 증명하기 위해 작성하는 PROOF.bend 파일은 442줄이라는 것이다. 필자는 AI가 게임을 구성하는 하위 프로그램을 다시 정의할 수 있다는 별도 문제도 언급했지만, 글의 초점은 거기에 두지 않았다. 짧게 설명할 수 있는 성질을 보장하려고 긴 명세와 더 긴 증명을 작성하는 방식이 적절한지 묻는 것이 핵심이다.

58줄의 규칙과 442줄의 증명

여기서 형식 검증(프로그램이 정해진 성질을 만족하는지 수학적 방법으로 확인하는 일)이 비교 기준으로 등장한다. 필자의 주장은 AI가 긴 증명을 생성할 수 있다는 사실만으로, AI가 그런 증명을 직접 써야 하는 설계가 정당화되지는 않는다는 것이다. 이미 해당 분야에는 프로그램의 조건과 성질을 기술하면 검증 도구가 증명 작업을 수행하는 방식이 있다. 무엇을 자동화할지 정하기 전에 그런 방법과 비교해야 한다는 지적이다.

필자는 바이브 코딩의 함정을 ‘문제를 충분히 알기 전에 그럴듯하게 작동하는 결과물을 완성하는 것’으로 설명한다. 코드를 만드는 비용이 낮아지면 언어와 컴파일러처럼 큰 작업에도 빠르게 착수할 수 있지만, 그 속도가 기존 해법을 찾는 시간을 대신해 주지는 않는다. 이 비판은 AI가 코드를 못 쓴다는 뜻이 아니다. 오히려 AI가 요청받은 설계를 잘 구현하기 때문에, 처음 내린 설계 판단이 충분했는지 뒤늦게 점검하게 될 수 있다는 뜻이다.

같은 게임을 스파크로 다시 만들다

필자는 비교를 위해 형식 검증에 쓰이는 오픈소스 언어와 컴파일러인 스파크로 같은 게임 시연을 다시 작성했다. 벤드만 불리하게 평가하지 않겠다며, 이 작업 역시 LLM에 별도 지침 없이 재현을 요청하는 방식으로 진행했다고 밝혔다. 제시한 코드에는 게임판의 좌표 범위와 벽, 시작 상태, 플레이어 이동이 정의돼 있다. 플레이어가 안전한 위치에 있고 승리하지 않은 상태를 유지한다는 조건도 함께 적었다.

이 코드에서는 이동 뒤에도 안전 조건이 유지돼야 한다는 약속과, 입력을 차례로 재생한 결과 플레이어가 승리하지 않고 깃발 칸에도 도달하지 않는다는 조건을 검사한다. 필자가 그나트프루브를 실행하자 12개 검증 항목이 모두 증명됐다. 필자가 강조한 차이는 사람이 검증할 성질과 구현을 적은 뒤 도구가 증명을 수행했다는 점이다. 적어도 이 시연에서는 AI가 기초부터 442줄의 증명을 조립하도록 할 필요가 없었다는 것이 그의 판단이다.

자동 증명과 AI가 쓰는 증명의 차이

필자는 벤드 방식이 AI의 시간과 토큰을 증명 작성에 지나치게 쓴다고 본다. 기존 검증 도구를 먼저 조사했다면, 언어 설계에서 AI에게 맡길 일과 컴파일러가 처리할 일을 다르게 나눌 수 있었으리라는 주장이다. 다만 스파크로 다시 만든 시연이 벤드 2의 목표 전체를 평가하는 것은 아니다. 토론에서 바로 쟁점이 된 것도 하나의 게임에서 자동으로 증명이 끝났다는 사실을 더 복잡한 문제까지 일반화할 수 있는지였다.

한 댓글은 그나트프루브가 SMT 솔버(SMT solver, 논리식이 주어진 조건에서 성립하는지 판정하는 도구)를 사용한다는 점을 들었다. 이 사용자는 자동으로 처리되는 증명은 작성하기 편하지만 규모가 커지면 한계가 있으며, LLM이 직접 증명을 쓰는 접근에는 다른 가능성이 있다고 반박했다. 이는 벤드의 442줄이 곧바로 불필요한 낭비인지, 아니면 자동 증명과 다른 범위의 문제를 겨냥한 선택인지를 가르는 질문이다. 필자의 시연 결과와 토론의 반론은 서로 다른 설계 기준을 놓고 맞선다.

개발자의 이력을 둘러싼 반박

글에서 가장 강한 표현은 벤드 개발자가 형식 검증이라는 분야 자체를 모른 채 언어를 만들었을 수 있다는 추측이다. 필자는 그 말이 벤드 웹페이지와 코드 저장소에서 ‘형식 검증’이라는 표현을 찾지 못했다는 관찰과 이어진다고 썼다. 그러나 댓글에서는 개발자가 형식 검증에 관해 여러 차례 글을 올렸고, 2018년에는 포멀리티(Formality)라는 관련 프로젝트를 작업했다는 자료가 제시됐다. 분야를 몰랐을 것이라는 추측은 설계 선택에 대한 비판과 별개로 반박을 받은 셈이다.

필자는 이후 글 앞부분에 설명을 더했다. 자신은 개발자가 어떤 경력과 판단 과정을 거쳤는지 모르며, 벤드를 최근 주목받은 바이브 코딩의 사례로 사용했을 뿐이라고 밝혔다. 기존 댓글을 고려해 본문 표현을 바로 고치기보다는 글을 쓸 때의 생각을 설명하기로 했다는 말도 덧붙였다. 그러면서도 AI가 다른 도구로 처리할 수 있는 증명에 토큰을 쓰도록 하는 설계에는 여전히 반대한다고 했다.

빠른 구현 앞에 놓인 사전 조사

필자가 벤드 사례에서 일반화한 문제는 AI가 기존 연구를 먼저 알려주는 역할보다 요청받은 결과물을 만드는 역할에 치우치기 쉽다는 것이다. 사용자가 기초부터 증명을 쌓는 언어를 요구하면 LLM은 그 요구에 맞춰 설계를 진행할 수 있다. 필자는 그 과정에서 이미 있는 도구와 축적된 작업을 놓치면, 구현 속도가 높을수록 뒤늦게 되돌려야 할 설계도 커진다고 본다. 핵심은 코드를 생성하기 전 무엇을 찾아보고 어떤 질문을 던지느냐다.

토론에서는 이에 대한 실천법도 갈렸다. 한 사용자는 큰 작업을 맡길 때 AI에게 기존 연구부터 조사하라고 요청하자고 했고, 다른 사용자는 그런 지시만으로는 AI가 사용자의 원래 요구를 충족하려는 경향을 바꾸기 어렵다고 반박했다. 검색 기능이 있는 LLM으로 선행 사례를 찾는 습관이 시간을 절약해 줬다는 경험담도 나왔다. 결국 AI를 조사 도구로 쓰는 일과 설계 판단을 대신 맡기는 일 사이의 구분이, 이 글이 던진 질문으로 남는다.

커뮤니티 의견

한 사용자는 AI가 작동하는 결과물을 잘 만들어도, 사용자가 무엇을 모르는지 먼저 지적하는 데는 약하다고 했다. 몰랐던 해법을 나중에 발견하는 일 자체는 예전에도 있었지만, LLM은 그 과정을 훨씬 빠르게 만든다는 설명이다. 답글에서는 예전의 서툰 실험은 만드는 동안 배움이 남았지만, 이제는 배우지 않고도 작동하는 나쁜 아이디어를 얻을 수 있다는 차이를 짚었다.

다른 사용자는 벤드의 앞선 토론에서 프로젝트 내용보다 개발자의 인지도와 자격을 둘러싼 반응이 눈에 띄었다고 지적했다. 한 답글 작성자는 자신이 기술적 비판을 냈을 때도 구체적인 주장보다는 개발자의 이력을 내세운 감정적인 응답을 받았다고 했다. 이 의견은 공개 프로젝트를 비판할 때 설계 자체를 따지는 대화가 필요하다는 문제의식으로 이어졌다.

벤드 개발자가 형식 검증을 몰랐을 것이라는 주장에는 직접적인 반박이 나왔다. 한 사용자는 개발자가 관련 글을 여러 차례 쓴 사실을 확인했다고 했고, 답글에서는 2018년의 포멀리티 작업을 제시했다. 이어지는 논의에서 필자는 벤드를 일반적인 문제를 설명하기 위한 사례로 삼았다고 해명했지만, 개발자의 지식을 추정한 표현은 글의 설득력을 떨어뜨렸다는 비판이 남았다.

그나트프루브의 성공 사례를 받아들이는 방식도 달랐다. 한 사용자는 SMT 솔버를 쓰는 자동 증명과 사람이 구성하는 증명은 다르며, 자동화가 어려운 문제를 생각하면 벤드의 접근을 단순히 비효율적이라고 볼 수 없다고 주장했다. 이어진 댓글에서는 벤드 개발자의 경력을 조금만 조사했어도 필자의 추측을 피할 수 있었다며, 사전 조사를 강조하는 글이 스스로 그 기준을 지켰는지 물었다.

해결책으로는 AI에게 구현 전에 기존 연구를 조사하라고 요청하자는 제안이 나왔다. 그러나 다른 사용자는 그런 지시가 ‘실수하지 말라’는 주문처럼 쉽게 뒷전으로 밀릴 수 있다고 반박했다. 한편 벤드에 대한 평가가 지나치게 가혹하다는 의견도 있었다. 기존 형식 검증 언어의 문법과 사용성이 어렵기 때문에 새로운 접근을 찾을 수 있다는 주장이다.

프로젝트의 구현 상태를 살핀 댓글에서는 벤드의 설명 문서에 컴파일러가 거의 AI로 작성됐고 아직 완전히 감사를 받지 않았다고 적힌 점을 짚었다. 또 다른 사용자는 사람이 규칙을 먼저 적는 방식이 테스트 주도 개발과 무엇이 다른지 물었다. 이에 대한 답글은 개별 사례를 검사하는 테스트와 가능한 입력 전체에 대한 성질을 증명하는 형식 검증은 다르다고 설명했다.

마지막으로 한 사용자는 새 프로젝트를 시작할 때 검색 기능이 있는 LLM으로 기존 작업을 살펴보며 시간을 아꼈다고 했다. 답글에서는 이를 설계를 맡기는 바이브 코딩보다는 AI의 도움을 받는 개발에 가깝다고 구분했다. 또 다른 댓글은 필자 자신도 상대에게 요구한 만큼 조사하지 않은 것처럼 보인다고 지적했다. 논쟁은 AI 사용법뿐 아니라 기술 비판을 쓰는 사람의 조사 책임까지 돌아왔다.

살펴볼 점

벤드 2 논쟁에서 확인할 것은 AI가 증명을 쓸 수 있느냐는 한 가지 질문이 아니다. 사람이 적는 규칙의 양, AI가 생성하는 증명의 비용, 기존 검증 도구가 맡을 수 있는 범위, 더 큰 문제에서의 확장성을 함께 비교해야 설계의 장단점이 보인다. 동시에 개발자의 전문성을 확인하지 않은 추측은 타당한 기술 비판까지 흐릴 수 있다. AI가 구현을 빠르게 만드는 시대일수록 선행 작업을 찾는 일과 대안을 공정하게 시험하는 일이 개발과 비판 양쪽의 기본 과정이 돼야 한다.


원본: Bend 2 and the Vibe-Coding Trap

토론: Hacker News