AI Product를 만든다는 것

한 번쯤 정리해보고 싶었던 주제.

여러 해에 걸쳐 AI Product를 만들면서, 그리고 그 일을 미국이나 중국이 아닌 한국에서 해나가며 느끼고 배우는 점들에 대해 써보고 싶었다. 여기서 말하는 AI Product는 콘텐츠 생성 AI Product로서, 이미지·영상·음성·음악·3D 등 콘텐츠를 생성하는 AI Product 중에서도 핵심 생성 모델을 직접 설계·학습하고 서빙하는 형태다. Midjourney, Runway, ElevenLabs, Suno, Meshy, Tripo 같은 제품을 떠올리면 된다.

여러 모델을 연결하고 Interface Layer에서 가치를 더해 제공하는 Higgsfield 같은 접근도 물론 있다. 다만 이번 글에서는 핵심 모델의 연구부터 제품화와 운영까지 직접 책임지는 경우에 초점을 맞춰보려 한다. 모델을 직접 만든다는 조건이 더해지면, 제품을 만드는 일이 일반적인 SaaS와는 상당히 달라지기 때문이다.

소프트웨어지만, 제조업 같은.

AI Product를 만들면서 가장 크게 느끼는 건, 이 일이 일반적인 SaaS를 만드는 것과는 꽤 다르다는 점이다. 제품의 구조부터 팀이 일하는 방식, 필요한 역량까지. 사용자가 마주하는 것은 분명 소프트웨어 서비스지만, 그 뒤에서 제품을 만들어가는 과정은 제조업에 더 가깝게 느껴질 때가 있다.

콘텐츠 생성 AI Product에서 사용자가 가장 먼저 가치를 판단하는 대상은 생성 결과물이다. 이미지가 마음에 드는가. 목소리가 자연스러운가. 생성된 3D를 내가 하려는 작업에 쓸 수 있는가. 그래서 초기 피드백은 생성 품질과 제어 능력에 집중되는 경우가 많다. 해상도가 낮다거나, 텍스트를 잘 표현하지 못한다거나, 원하는 부분만 바꾸고 싶다는 식이다. 어느 정도 쓸 만한 결과를 얻은 사용자에게서는 같은 톤으로 여러 개를 만들고 싶다거나, 기존 작업 도구로 바로 가져가고 싶다는 다음 질문도 나오기 시작한다.

이 중에는 UI를 개선하거나 기능과 플러그인을 추가하면서 비교적 빠르게 풀어갈 수 있는 문제도 있다. 하지만 모델 성능을 개선해야만 넘어갈 수 있는 구간이 있다. 품질과 활용성이 완전히 순서대로 해결되는 것은 아니지만, 내가 경험한 범위에서는 결과물이 사용 목적에 필요한 하한을 넘지 못하면 그다음 사용 경험을 검증하기가 어렵다. 그 하한도 재미로 만들어보는 사람, 후처리를 전제로 재료를 얻으려는 사람, 최종 제작에 바로 쓰려는 사람마다 다르다. 제품을 빠르게 고쳐 나가더라도, 정작 사용자의 작업을 막는 병목은 모델에 남아 있을 수 있다.

제조업을 닮았다고 느끼는 건 이 지점이다. 단순히 GPU가 비싸서만은 아니다. 일반적인 SaaS 실험에서는 최소한의 리소스로 빠르게 가설을 검증하려 하지만, 자체 모델 기반의 제품에서는 그 실험 자체가 상당한 투자가 되기도 한다. 결과를 확인하기 전에 대량의 데이터를 준비하고 GPU를 확보해야 하며, 개선의 속도도 확보한 자원과 학습 시간에 묶인다. 학습이 끝났다고 바로 제품에 넣을 수 있는 것도 아니다. 품질뿐 아니라 안정성, 처리량, 서빙 단가까지 맞춰야 한다. 소프트웨어를 만들지만, 그 뒤에서는 연구와 생산의 문제를 동시에 다루고 있는 셈이다.

사용자에게는 소프트웨어지만, 만드는 우리에게는 제조업처럼 느껴질 때가 많다. 화면과 기능은 빠르게 바꿀 수 있어도, 그 안에서 결과물을 만들어내는 모델까지 같은 속도로 바꾸기는 어렵다. 데이터를 준비하고 GPU를 확보해 학습한 뒤에야 개선 여부를 확인할 수 있고, 그렇게 만든 모델도 품질과 처리량, 서빙 단가를 맞춰야 한다. 사용자는 하나의 소프트웨어를 쓰지만, 팀 안에서는 소프트웨어 개발과 생산 설비를 다루는 듯한 일이 동시에 돌아간다.

같은 제품, 다른 템포.

실제 일하는 현장은 어떨까. Product 팀에는 매일 피드백이 들어온다. 제품을 개선하고 빠른 주기로 새로운 기능을 내보내지만 일부 사용자는 생성 품질이 마음에 들지 않는다며 떠난다. 그마저도 그냥 ‘품질이 별로네요’ 하는 피드백이 태반이다. 도대체 어떤 품질일까. 모델 품질이 먼저라는 생각이 들 수밖에 없고, Research 팀에 개선을 요청한다.

Research 팀도 그 문제를 알고 있다. 다만 안다고 바로 고칠 수 있는 것은 아니다. 원인을 추정하고, 가설을 세우고, 데이터를 준비하고, 실험해야 한다. 매일 피드백이 들어온다고 연구에서 매일 의미 있는 진전이 생기지는 않는다. 여러 실험을 동시에 돌리고 비교할 수 있다면 좋겠지만, GPU가 부족하니 하나를 돌리고 결과를 기다린 뒤 다음 실험을 정해야 한다. Product 팀은 답답하다. Research 팀도 답답하다. 한쪽은 매일 들어오는 사용자 반응을 보고 있고, 다른 쪽은 다음 학습 결과를 기다리고 있다. 같은 제품을 만들지만 서로 다른 시간으로 일하고 있다.

팀 리더에게는 양쪽의 사정이 다 보인다. 모델 개선을 빠르게 하려면 자원을 더 확보해야 한다. 그렇다고 다음 모델이 나올 때까지 제품과 마케팅을 멈출 수도 없다. 현재 모델로 가치를 줄 수 있는 사용자를 찾고, 그들의 작업을 더 편하게 만들어야 한다. 비용이 큰 결정일수록 신중해지지만, 모든 결정을 충분히 확신한 뒤 내리려 하면 실험은 더 늦어진다. 속도를 내기 위해 투자해야 하는데, 투자하기 위해서는 먼저 확신을 보여줘야 한다.

일하는 방식 바꿔보기

아직 확실한 답을 찾지는 못했지만, 주어진 조건 안에서 조금씩 시도해보고 있는 방식들이 있다.

첫 번째는 모델 개선의 목표를 좁히는 것이다. 제한된 리소스로 모든 면에서 최고 성능을 동시에 추구하기는 어렵다. 대신 사용자들이 반복해서 제기하는 가장 크리티컬한 문제, 실제 작업을 막고 있는 품질 문제를 골라 우선순위를 설정한다. 모델 전체의 막연한 진전보다 특정 사용자의 작업이 가능해지는 변화를 목표로 삼는 것이다. 그러려면 품질이 부족하다는 피드백도 더 구체적으로 이해해야 한다. 누가 어떤 결과를 만들려고 했고, 어디에서 왜 막혔는가. 그 문제를 풀면 실제로 사용할 것인가.

두 번째는 연구와 배포 사이의 거리를 최대한 줄이는 것이다. 모델을 연구한 사람이 서비스 환경에서 모델을 추론하는 Worker까지 어느정도 책임지도록 한다. 학습이 끝난 모델을 직접 배포하고 안정성·속도·메모리 사용량까지 검증할 수 있는 환경을 조성한다. Codex나 Claude 같은 도구가 배포와 운영 코드를 다루는 일을 도와주면서, 연구원이 초기 서빙 검증까지 가져갈 여지가 매우 커졌다. 연구 결과를 Ops 팀에 넘기고 기다리는 대신 실제로 서빙 환경에서 돌아가는 상태까지 확인한 뒤 Product 팀에 전달한다. 이러면 Ops 단계에서 발생했던 커뮤니케이션 Cost 및 시간 지연을 크게 줄일 수 있다. 다만 별도 Ops 단계가 생략된다고 운영 업무와 책임 경계까지 사라지는 것은 아니었다. 이 부분이 가장 어려운데, Research와 Product가 각각 어디까지 책임지고 공통으로 지켜야 할 기준은 무엇인지 더 명확하게 만드는 일을 지속중이다.

마지막으로는 모든 사용자가 다음 모델을 기다리게 하지 않는 것이다. 현재 모델로도 필요한 품질을 얻는 사용자들이 있다. 그들이 어떤 작업에 활용하고 있는지 찾고, 그 안에서 사용성과 작업 흐름을 빠르게 개선한다. 제품과 마케팅에서는 계속 짧은 실험을 이어가는 것이다. 모델의 한계가 있다는 이유로 제품의 모든 문제를 다음 학습으로 미뤄서는 안 된다. 반대로 제품을 빠르게 바꿀 수 있다는 이유로 모델 연구에도 같은 속도를 요구할 수는 없다. 모델에는 긴 시간이 필요하지만, 팀 전체가 그 시간을 기다리며 같은 속도로 움직일 필요는 없을 것이다.

아마 지금 만들고 있는 것은 AI 모델이나 제품만은 아닌 것 같다. 서로 다른 템포로 움직이는 연구와 제품이 하나의 사용자 경험을 향해 함께 일할 수 있는 방식까지 만들어가는 일에 가까운 것 같다.

유연한 고객 전략

모델 품질을 개선한다는 것은 보통 기존 사용자에게 더 좋은 결과를 제공하는 일로 생각하기 쉽다. 틀린 부분을 줄이고, 디테일을 살리고, 입력한 의도를 더 잘 따라가게 만드는 것. 그런데 콘텐츠 생성 AI에서는 품질 개선이 타겟 고객의 범위 자체를 바꾸기도 한다. 같은 결과물도 누군가에게는 충분히 쓸 만하고, 다른 누군가에게는 작업을 시작할 수조차 없는 수준이기 때문이다. 취미로 콘텐츠를 만드는 사람과 상업용 콘텐츠를 제작하는 사람이 요구하는 조건은 다르다. 지금보면 당연해 보이지만, 깨닫는데 시간이 걸렸다.

3D의 경우 컨셉을 확인하거나 배우는 데 유용한 결과물도, 실제 게임 제작에 활용하려면 토폴로지와 UV, 수정에 드는 시간 등 추가 조건을 충족해야 한다. 초창기 서비스를 기획할 때는 자연스럽게 3D 모델러나 게임 스튜디오 등 전문가를 돕는 제품을 생각했다. 지금도 그들의 제작 과정에 필요한 조건과 실제 활용 가능성을 계속 검증하고 있다. 작업에 따라 추가적인 수정이 필요하거나 적용이 어려운 경우도 있다. 그 검증을 이어가는 동안, 현재 결과물을 다른 목적으로 유용하게 활용하는 고객들도 발견했다. 우리가 생각했던 고객보다 먼저 제품의 쓸모를 발견한 사람들이 있었던 셈이다.

AI Product에서 어려운 것은 고객 전략을 세우는 것보다 검증하는 일이다. 어떤 고객의 어떤 작업을 돕겠다는 계획은 세울 수 있지만, 그들이 실제로 사용할지는 필요한 품질을 갖춘 모델이 나와야 제대로 확인할 수 있다. 문제는 모델의 개선 주기가 길고, 그 검증까지 상당한 선행 투자가 필요하다는 점이다. 몇 달을 들여 모델을 만들었는데 예상했던 고객이 여전히 쓰지 않는다면, 모델 성능과 별개로 사업적으로는 큰 실패가 될 수 있다. 그렇다고 지금 잘 쓰는 고객이 발견될 때마다 모델의 방향을 바꿔서도 안된다. 당장 반응이 좋은 용도만 따라가다 보면, 정작 처음 풀고자 했던 문제 혹은 장기적 가치를 지니게 될 모델에서 멀어질 수도 있기 때문이다.

그래서 장기적으로 돕고 싶은 고객과, 지금 가치를 줄 수 있는 고객을 구분해서 보는 것이 필요하다. 3D 모델러 등 전문가의 제작을 보조한다는 목적지는 유지하고, 모델 연구도 그 방향으로 이어간다. 다만 그곳에 도달하는 동안 제품과 마케팅이 만나는 고객까지 고정할 필요는 없다. 현재 품질로도 충분한 가치를 얻는 사람들을 찾아 사용 경험을 개선하고, 그 과정에서 얻는 피드백과 매출을 다음 단계의 기반으로 삼을 수 있다. 동시에 목표로 하는 전문가들과도 계속 결과물을 검토하며, 아직 부족한 조건과 도입 의사를 수시로 확인해야 한다. 완성된 모델이 나오기 전까지 검증을 전부 미뤄두지 않는 것이다. 목적지를 매번 바꾸지는 않되, 그곳으로 가는 경로는 실제 사용을 보며 조정하는 것이 필요한데, 쉽지는 않다.

한국에서 만든다는 조건

여기까지의 어려움이 한국만의 문제는 아닐 것이다. 자체 모델 기반의 제품을 만드는 팀이라면 어디서든 겪을 문제다. 다만 한국에서 이 일을 하며 그 부담을 더 크게 체감하는 조건들이 있다. 우선 GPU다. 단순히 있느냐 없느냐보다, 필요한 시점에 원하는 종류의 GPU를 충분한 규모로, 감당할 수 있는 비용과 운영 조건 안에서 확보할 수 있느냐의 문제다. 때로는 예산이 있어도 필요한 GPU를 제때 확보하기 어려운 경우가 있다.

인재도 비슷하다. 글로벌 시장에서 경쟁하는 연구자와 엔지니어에게 어떤 보상과 기회를 제공할 수 있을까. 좋은 사람을 모으는 것뿐 아니라, 그들이 충분히 실험해볼 환경까지 마련해야 한다. 이를 지속하는 일은 결국 투자 여력과도 연결된다. 자체 모델 개발에는 결과를 확인하기 전에 감수해야 하는 비용이 있고, 한 번의 학습으로 원하는 수준에 도달한다는 보장도 없다. 중요한 것은 첫 실험을 시작할 자원뿐 아니라, 그 결과를 바탕으로 다음 실험을 이어갈 수 있는 여력이다. 모델의 가능성을 실제 고객 가치로 연결하기까지 얼마나 긴 호흡으로 시도할 수 있는가의 문제이기도 하다.

그사이 미·중 경쟁자들은 빠르게 모델을 업데이트하고 제품을 내놓는다. 큰 마케팅 예산을 가진 경쟁자들과 같은 채널에서 사용자를 만나야 하고, 제품 품질뿐 아니라 검색 노출, 크리에이터 협업, 콘텐츠 확산에서도 경쟁하게 된다. 이 조건들은 서로 맞물려 있다. 인력이 있어도 실험 자원이 부족하면 속도가 나지 않고, 자원을 확보해도 좋은 실험을 설계하고 제품으로 연결할 사람이 필요하다. 여기에 조직의 조건도 더해진다. 보안·개인정보·법무·계약 등 함께 검토해야 할 사항들이 있다. 제품을 안정적으로 제공하기 위해 필요한 과정이지만, 연구와 제품 개발의 속도를 이 과정들과 어떻게 맞출지도 함께 풀어야 하는 과제다.

그럼에도 자체 모델을 만드는 이유?

한편에서는 소버린 AI, 미·중 이외 국가의 모델이라는 가치를 이야기한다. 한국에서 만들었다는 사실이 어떤 의미를 가질지는, 나의 경험만으로는 답하기 어려운 질문인 것 같다. 다만 한국의 콘텐츠 제작 현장과 가까이 있기 때문에 더 잘 이해하고 풀 수 있는 문제는 있을지도 모르겠다. 물론 그 가능성도 결국 사용자가 체감하는 차이로 이어져야 의미가 있을 것이다.

그보다는 모델을 직접 만들고 바꿀 수 있다는 것은, 어떤 제품 경험을 가능하게 할까에 대해 생각해본다. 결국 만들고 싶은 것은 3D를 대신 생성해주는 서비스에서 한 걸음 더 나아가, 사람들이 자신의 의도를 끝까지 구현할 수 있도록 돕는 제작 도구. 한 번에 좋은 결과를 얻는 것도 중요하지만, 마음에 들지 않는 부분을 고치고 기존 작업에 연결해 실제로 쓸 수 있어야 한다. 그 과정에서 마주치는 문제 중에는 화면을 바꾸면 풀리는 것도 있고, 모델까지 바꿔야 풀리는 것도 있을 것이다.

우리가 돕고 싶은 작업을 기준으로, 화면부터 모델까지 제품을 이루는 기술 전반을 이해하고 바꿔갈 수 있다는 것. 필요한 경험을 만들기 위해 어디를 고쳐야 하는지 스스로 판단하고, 그 선택을 실제 구현까지 이어갈 수 있다는 데 의미가 있는 것 같다. 모든 것을 직접 만들어야 한다는 뜻은 아니지만 제품의 핵심 경험을 결정하는 기술에 대해서는, 그 한계를 이해하고 다음 방향을 우리 손으로 선택할 수 있고 싶다. 아직 풀어야 할 문제가 많지만, 그 가능성이 자체 모델 기반의 제품을 계속 만들어가는 이유이지 않나 생각해본다.

그리고 결국 이런 시도를 통해 쌓이는 경험과 역량은 한국에도 남는다는 점에 의미를 두고 싶다. 만들어진 기술을 활용하는 것을 넘어, 아직 풀리지 않은 문제를 직접 연구하고 제품으로 연결해보는 팀들이 이곳 한국에도 필요하다고 생각한다. 그 과정에서 쌓인 기술적 이해와 판단의 경험이 다음 시도의 기반이 된다면, 우리가 만드는 하나의 제품을 넘어서는 의미도 남지 않을까.