AI는 제품과 캠페인을 만드는 시간을 크게 줄였어요. 마케터는 하루에도 여러 캠페인을 실행하고, 제품팀은 전보다 훨씬 빠르게 기능을 출시하죠.
하지만 실행이 빨라졌다고 해서 사용자를 이해하는 속도까지 빨라진 것은 아니에요. 무엇을 출시했는지는 분명해도, 사용자가 어떻게 반응했고 어떤 변화가 실제 성과를 만들었는지는 뒤늦게 확인하는 조직이 많아요.
무엇이 통했는지 모른 채 다음 기능과 캠페인을 내놓으면 결과물은 늘어도 다음 결정에 활용할 근거는 남지 않아요.
“실행 속도는 분명 중요합니다. 하지만 시간이 지날수록 차이를 만들고 조직을 돋보이게 하는 것은 학습 속도입니다.”(앰플리튜드 APJ 부사장 Matt Bennett)
📌핵심 포인트
실행 속도와 이해 속도 간의 격차가 커지면 팀은 같은 실수를 반복해요. 신규 기능과 UX는 계속 바뀌지만 사용자가 어떤 변화에 긍정적으로 반응했는지 알지 못하기 때문이에요.
학습을 가로막는 첫 번째 장애물은 신뢰예요. 같은 성과를 두고 팀마다 다른 대시보드를 보거나 어트리뷰션 결과를 믿지 못하면, 회의는 지표의 의미를 따지는 데서 끝나요. 상관관계를 인과관계로 잘못 해석할 가능성도 커지죠.
두 번째 장애물은 속도예요. 사람이든 에이전트든 인사이트가 정확해도 타이밍이 맞지 않으면 행동으로 연결하기 어려워요.
앰플리튜드는 실행 속도와 학습 속도의 격차를 줄이는 구조를 ‘자가학습 성장 엔진’으로 설명해요. 이 엔진은 인텔리전스(Intelligence), 검증(Proof), 자율(Autonomy)의 3단계로 이어지는데요. 더 자세히 알아볼게요.
자가학습 성장 엔진 3단계는 서로 분리된 기능이 아니에요. 조직이 같은 사실에서 출발해야 실행의 영향을 검증할 수 있고, 그 결과가 쌓여야 자율의 단계로 넘어갈 수 있어요.
인텔리전스는 데이터를 분류하는 기준을 명확히 세우고, 고객이 남긴 신호를 마케팅·제품·개발 조직이 같은 의미로 읽게 만드는 일이에요.
역할에 따라 질문은 달라도 데이터의 정의와 기준은 공유해야 해야 하는데요. 마케터와 제품 담당자가 각자의 질문을 직접 확인할 수 있다면 분석팀에 요청하고 답을 기다리는 시간도 줄어들어요. 누구나 공통된 근거를 바탕으로 판단할 수 있어야 진정한 데이터 민주화를 이룰 수 있어요.
원티드랩은 마케팅·제품·개발 조직이 같은 데이터를 직접 살펴보는 환경을 만들었는데요. 실무자가 사용자의 이동과 마찰 지점을 직접 확인하고 이를 실험으로 연결한 결과, 랜딩 페이지 회원가입 전환율을 150% 높였어요.
뿐만 아니라, 인기 검색어 전환율도 38% 높였고, 사용자 여정의 마찰 지점을 개선해 놓치고 있던 월간 지원 7,000건을 회복했어요.
이 사례의 핵심은 실무자가 분석 결과를 전달받고 끝났다는 데 있지 않고, 문제를 직접 발견하고 실험하고 다음 판단까지 이어가는 구조를 만들었다는 데 있어요.
👉원티드랩이 공통 데이터 언어와 실험 문화를 만든 과정
이처럼 조직이 같은 사실에서 출발해야 무엇이 일어났는지 합의할 수 있어요. 하지만 그 변화가 조직의 실행에서 비롯됐는지 확인해야 관찰이 학습으로 이어져요.
사용자가 무엇을 했는지 아는 것과, 조직의 실행이 그 행동을 바꿨다고 증명하는 것은 다른 문제예요. AI로 출시량이 늘어난 만큼 검증조차 하지 못한 채 흘려보내는 학습 기회도 많아졌어요. 그래서 새 기능이 개발되거나 캠페인이 시작되면 그 영향을 확인하는 과정이 평소 업무 안에 들어가야 해요.
노션은 실험을 별도 프로젝트가 아니라 제품 운영의 일부로 만들었어요. Statsig의 피처 플래그를 활용해 600개 이상의 기능을 출시하고, 분기당 300건 이상의 제품 실험을 진행했는데요. 이러한 실험을 통해 활성화율을 10~15% 높였어요.
이처럼 실험을 일상화할 수 있었던 배경에는 피처 플래그가 있어요. 피처 플래그는 기능을 코드에서 삭제하지 않고도 특정 사용자에게만 켜거나 끌 수 있게 하는 장치예요. 결과가 좋으면 적용 범위를 넓히고 문제가 생기면 빠르게 이전 상태로 되돌릴 수 있어요. 전체 사용자에게 한꺼번에 공개하지 않아도 되기 때문에 실패의 여파를 줄이면서 더 자주 실험하고 학습할 수 있죠.
노션 사례는 실험을 자주 반복할 수 있는 운영 기반이 왜 필요한지 보여줘요.
하지만 실험 횟수가 많다고 해서 모든 결과가 학습으로 남는 것은 아니에요. 관찰한 변화가 실제로 해당 실행에서 비롯됐는지 확인해야 다음 판단의 근거로 활용할 수 있어요.
예를 들어 장바구니 쿠폰의 최소 적용 금액을 3만 원에서 2만 원으로 낮춘 뒤 매출이 올랐다고 해도, 쿠폰 정책이 원인이라고 바로 단정할 수는 없어요. 계절적 수요나 경쟁사의 프로모션처럼 같은 시기에 일어난 변화가 영향을 줬을 수 있기 때문이에요.
실험을 시작하기 전에 어떤 사용자 행동과 핵심 지표가 달라질지 가설을 세워야 해요. 이후 정책을 변경하지 않은 통제 집단과 결과를 비교해야 쿠폰 정책의 영향을 구분할 수 있어요.
검증 과정은 작게 시작할 수도 있어요. 변경 사항을 일부 사용자에게 먼저 공개하고 결과를 확인한 뒤 적용 범위를 넓히면, 예상과 다른 결과가 나왔을 때의 비용을 줄일 수 있죠.
이렇게 검증한 결과가 다음 제품 결정에 활용돼야 비로소 실험이 학습으로 남아요. 무엇을 이어가고 무엇을 멈출지 판단할 근거가 쌓이면, 다음 행동도 사람이나 에이전트에게 더 자신 있게 맡길 수 있어요.
자율은 검증된 근거를 바탕으로 다음 행동을 사람이나 코딩 에이전트에게 연결하는 단계이며, 사람이 매번 데이터를 찾고 해석하느라 멈추는 구간을 줄이는 데 가까워요.
앰플리튜드의 제품 에이전트 Wave는 이 과정을 Sense, Decide, Act·Learn 루프로 연결해요.
Wave가 모든 일을 직접 처리하는 것은 아니에요. 과제의 성격에 따라 사람의 판단이 필요한 일과 코딩 에이전트가 수행할 일을 구분해 전달하고, 실행 뒤에는 처음 세운 판단이 맞았는지도 다시 확인해요.
학습 루프의 성과는 자동화한 작업량이 아니라 고객 행동의 실제 변화로 판단해야 해요.
AI 전환의 성과로 AI 사용률과 토큰 비용, 절감한 업무 시간, 코드 생성량, 자동화 건수를 제시하는 조직이 많아요. 모두 필요한 운영 지표지만, 이 수치만으로는 고객 경험이 좋아졌는지 알기 어려워요. 사용자가 더 많이 구매하고 다시 찾아오는지, 제품의 가치를 더 빨리 깨닫는지도 확인해야 해요.
행동 데이터는 사용자가 무엇을 했는지 보여줘요. 이유를 이해하려면 앱스토어 리뷰와 고객센터 상담, 설문 답변, 소셜미디어 반응을 함께 봐야 해요. 챗봇이나 에이전트가 사용자와 나눈 대화도 새로운 학습 데이터가 될 수 있어요.
세션 리플레이는 사용자가 화면에서 어디를 헤매고 어느 지점에서 포기했는지 보여줘요. 행동 데이터에서 이탈 지점을 찾고, 고객의 목소리와 화면 속 움직임으로 이유를 확인한 뒤, 가설과 실험으로 검증해야 하나의 학습이 완성돼요.
자동화 건수가 늘어도 구매와 재방문이 달라지지 않았다면 실행은 빨라졌지만 성장으로 이어졌다고 말하기 어려워요. 이처럼 더 많이 만드는 데서 그치지 않고 결과를 평가해 다음 시도에 반영하는 능력이 AI 시대의 장인정신이에요.
같은 분석 도구와 AI 에이전트를 도입한다고 같은 결과를 얻는 것은 아니에요. 데이터를 공유하는 방식과 실험하는 문화, 결과를 다음 행동으로 옮기는 속도는 조직마다 다르기 때문이죠.
자가학습 성장 엔진은 자동화 기능을 모아 놓은 제품군이 아니에요. 실행에서 데이터를 얻고 가설을 세운 뒤, 실험으로 확인한 판단 근거를 다음 행동에 반영하는 운영 방식이에요. 이 과정이 반복될수록 조직은 고객이 어떻게 반응하는지에 대한 자신만의 맥락을 쌓아요.
“오늘 만든 기능과 UI, 프로모션은 누군가 몇 시간 만에 따라 할 수 있습니다. 하지만 지난 1년, 2년 동안 차곡차곡 쌓아온 학습 결과는 누구도 복제할 수 없어요. 그 학습이 앞으로 남는 해자가 됩니다.”(앰플리튜드 한국 비즈니스 총괄 최동훈)
오늘 만든 결과물은 경쟁사가 따라 할 수 있어요. 하지만 어떤 실패를 피해야 하는지, 어떤 고객 신호를 믿어야 하는지, 무엇이 실제 성과를 만들었는지에 대한 축적된 판단은 그대로 가져갈 수 없어요. AI로 실행 속도를 높였다면, 이제는 그 실행만큼 배우고 있는지 확인해야 해요.
