프로덕트에 새롭게 출시되는 기능이 정말 기대하는 효과를 가져올까요? 실제로 유저가 새 기능을 이용해 보기 전까지는 유저가 어떤 것을 좋아하고 싫어하는지 확신할 수 없습니다. 이에 많은 기업이 가설을 세워 검증하는 프로덕트 실험을 도입했습니다.
실험은 프로덕트가 성장하기 위해 꼭 필요한 과정이지만 적지 않은 비용과 시간이 드는 일입니다. 그렇기 때문에 신뢰할 수 있는 데이터를 바탕으로 실험의 가설 수립부터 결과 분석까지 더 빠르고 효율적으로 수행하기 위한 방법을 찾는 것이 중요합니다.
이것이 바로 앰플리튜드 익스페리먼트(Amplitude Experiment)가 주목받는 이유입니다. 앰플리튜드 익스페리먼트는 프로덕트 분석 솔루션 앰플리튜드의 실험 플랫폼으로 실험과 분석을 하나로 통합하여 더 신속하고 현명한 의사 결정을 내릴 수 있도록 지원합니다. 이번 포스트를 통해 프로덕트 분석 솔루션에서 실험하는 것이 더 빠르고 효과적인 이유를 자세히 살펴보겠습니다.
가설 수립은 실험의 첫 번째 단계입니다. 앰플리튜드와 같은 프로덕트 분석 솔루션에서 수집한 데이터는 가설을 세울 수 있는 중요한 단서가 됩니다. 유저 데이터를 분석하여 문제가 발생하는 곳이나 전환율을 낮추는 요인을 파악하고 이를 통해 실험 가설을 세울 수 있기 때문입니다.
예를 들어, 이번 실험의 목표는 ‘구독 전환율’을 높이는 것이며 이를 위해 구독 과정을 개선하고자 합니다. 이때 유저 행동 데이터를 통해 어느 지점에서 유저가 가장 많이 이탈하는지 확인하는 것에서 시작하면 좋습니다. 만약 연락처 입력 단계에서 이탈하는 유저가 많다면 해당 페이지의 UI/UX를 변경하거나, 연락처 수집 목적을 설명하는 문구를 추가하면 전환율이 개선될 것이라는 가설을 세울 수 있습니다.
이처럼 앰플리튜드 익스페리먼트에서는 유저 행동 데이터를 근거로 한 가설을 세우면서 실제로 개선이 필요한 곳에서 실험을 시작할 수 있습니다.
‘통계적 유의성’은 실험 결과를 평가할 때 중요한 개념입니다. 통계적 유의성을 확보하지 않은 실험의 결과는 우연히 발생했을 가능성이 높기 때문에 그 어떤 것도 신뢰할 수 없습니다. 따라서 실험을 설계하는 단계부터 통계적 유의성을 확보할 수 있는 실험 규모를 예측할 수 있어야 합니다. 하지만 프로덕트의 트래픽에 관한 데이터와 통계적인 전문 지식이 없다면 이 적절한 실험 규모를 예측하기 매우 어렵다는 문제가 있습니다.
이때 앰플리튜드 익스페리먼트에서 제공하는 샘플 사이즈 계산기를 활용하면 전문가의 도움 없이도 통계적 유의성을 얻기 위한 실험 규모를 빠르게 파악할 수 있습니다. 샘플 사이즈 계산기는 프로덕트 분석을 위해 수집한 데이터 트래픽에 기반하여 실험이 통계적 유의성에 도달하기 위해 필요한 실험 규모를 예측합니다. 이 정보를 바탕으로 적절한 실험 대상자 수와 실험 실행 기간을 결정할 수 있습니다.
그뿐만 아니라 샘플 사이즈 계산기에는 실험 기간을 최적화할 수 있는 기능도 포함되어 있습니다. 예상 실험 기간이 너무 길 때 실험의 신뢰 구간, 검정력, MDE(Minimum Detectable Effect, 최소 검증 가능 효과) 등을 조절하여 실험 기간을 줄일 수 있습니다. 이처럼 앰플리튜드 익스페리먼트는 실험 규모 예측을 통해 통계적 유의성 확보는 물론 효과적인 실험 계획 수립을 가능하게 함으로써 신속하고 올바른 의사결정을 돕습니다.
실험 플랫폼에서 ‘타겟팅’은 굉장히 중요한 역할을 합니다. 검증하고자 하는 가설에 따라 특정 유저를 실험 대상으로 선택하거나 실험에서 제외해야 할 필요가 있기 때문입니다. 예를 들어 실험을 통해 파워 유저가 새로운 기능에 어떻게 반응하는지 알기 위해서는 ‘프로덕트에 주 3회 이상 로그인하고 30,000원 이상을 사용하는 유저’와 같은 대상을 타겟팅 해야 합니다.
그런데 파워 유저가 새로운 디바이스로 로그인했다는 이유로 신규 유저로 식별되면 어떻게 될까요? 유저 경험이 나빠지는 것은 물론이고 실험 결과의 신뢰도도 감소하게 됩니다. 따라서 실험 플랫폼을 선택할 때 반드시 신뢰할 수 있는 데이터와 유저 식별 기능을 바탕으로 정확한 타겟팅 기능을 제공하는지 확인해야 합니다.
앰플리튜드 익스페리먼트는 프로덕트 분석 솔루션의 유저 데이터를 기반으로 한 고도화된 유저 식별(Identity Resolution) 기능을 갖추고 있습니다. 이를 통해 한 명의 유저가 실험에서 2개 이상의 변형을 보게 되는 배리언트 점핑(Variant Jumping)을 방지하고, 정확한 고정 타겟팅을 돕는 스티키 버켓팅(Sticky Bucketing), 실험에서 제외할 그룹을 설정하는 홀드아웃 그룹(Holdout Groups), 유저가 2개 이상의 실험에 참여하지 않도록 설정하는 상호 배제 그룹(Mutual Exclusion Groups) 등 실험의 정확도를 높이는 기능들을 제공하고 있습니다.
이에 더해 앰플리튜드에서는 프로덕트 분석을 위한 차트에서 단 몇 번의 클릭만으로 손쉽게 원하는 유저 코호트를 생성할 수 있습니다. 위 이미지에서 그래프를 클릭한 후 코호트 생성(Create Cohort)을 누르면 ‘앱을 설치한 후 장바구니 담기를 한 유저’ 코호트를 즉시 생성할 수 있습니다. 그리고 이 코호트를 바로 분석이나 실험에 활용할 수 있습니다.
요약하자면, 앰플리튜드 익스페리먼트에서는 실험에 알맞은 유저를 빠르고 정확하게 타겟팅할 수 있기 때문에 효율적이면서도 신뢰할 수 있는 실험을 진행할 수 있습니다.
대부분의 A/B 테스트 툴은 유저의 최종적인 전환 여부만을 실험 결과로 제공합니다. 하지만 앰플리튜드 익스페리먼트는 유저가 최종 전환을 일으키기까지 이동하는 여정 전체를 확인할 수 있도록 퍼널 분석을 제공합니다. 아래 한 실험 예시를 통해 더 자세하게 살펴보겠습니다.
위 이미지는 앰플리튜드 익스페리먼트에서 회원 가입을 유도하는 랜딩 페이지를 실험한 결과입니다. 파란색은 기존 페이지, 녹색은 새로운 변경을 시도한 실험 페이지의 전환율을 나타냅니다. 이 예시 실험에서 확인할 수 있는 퍼널 단계는 아래 4단계입니다.
앞서 언급한 바와 같이 대다수의 A/B 테스트 툴은 회원 가입을 완료한 최종 전환율인 24.4%, 0.0%만 실험 결과로 제공합니다. 이 결과만 봤다면 이번 새로운 페이지의 실험은 실패로 처리하는 것이 합리적일 것입니다.
이와 달리 앰플리튜드 익스페리먼트는 각 단계별 전환율을 제공합니다. 실험 페이지가 최종 전환율은 형편없지만 3단계(퀴즈 완료)의 전환율은 기존 페이지보다 더 높은 것을 확인할 수 있습니다. 따라서 우리는 기존 랜딩 페이지의 퀴즈 수행 단계를 개선하면 최종 전환율을 높일 수 있다는 것을 알 수 있습니다. 이처럼 앰플리튜드 익스페리먼트에서는 어떤 실험도 실패한 채로 끝나지 않으며 다른 실험 플랫폼으로는 볼 수 없는 개선과 학습의 기회를 찾을 수 있습니다.
앰플리튜드 익스페리먼트에서 진행한 실험 관련 데이터는 별도의 추가적인 개발 작업 없이 앰플리튜드의 유저 속성(User Property)으로 자동으로 연동됩니다. 따라서 실험에 참여한 유저 코호트를 쉽게 생성할 수 있고 해당 코호트를 대상으로 한 캠페인이나 새로운 실험을 진행할 수 있습니다. 또는 유저 경험을 위해 지난 실험에 참여한 유저가 다른 실험에는 참여하지 않도록 설정할 수 있습니다.
예를 들어 실험을 진행했던 새로운 페이지에 치명적인 문제가 있어 전환율이 매우 낮았다고 가정해 보겠습니다. 해당 변경 사항은 출시하지 않기로 하면 되지만, 이미 실험 과정에서 그 좋지 못한 경험을 접한 유저는 어떻게 되었을까요? 이미 서비스에 큰 실망을 느끼고 경쟁사의 프로덕트를 이용하고 있을지도 모릅니다.
이때 자동으로 연동된 유저 속성을 바탕으로 해당 유저 코호트를 생성하여 이 유저들이 현재 앱을 어떻게 이용하고 있는지, 다른 유저군과 비교하여 분석할 수 있습니다. 그리고 이 유저들을 다시 우리 앱으로 부르기 위한 타겟팅 프로모션을 진행할 수도 있습니다.
종합하면 앰플리튜드 익스페리먼트는 실험 결과를 더 깊게 분석하고 유저 여정을 세밀하게 이해하는 데 도움을 줍니다. 각 단계에서의 전환율을 파악하고 실제 문제점을 파악할 수 있으며, 실험에 참여한 유저에 대한 후속 조치를 통해 실패한 실험으로 끝나지 않고 지속적인 학습과 개선을 가능하게 합니다.
지금까지 프로덕트 분석 솔루션에서의 실험이 더 빠르고 효과적인 이유에 대해 살펴보았습니다. A/B 테스트 툴을 도입한 많은 회사들이 실험에 지나치게 많은 리소스가 투입되거나 데이터 신뢰성 문제로 인해 실험을 진행하고 분석하는 데 어려움을 겪고 있습니다.
앰플리튜드 익스페리먼트는 프로덕트 분석 솔루션의 데이터를 바탕으로 이러한 문제를 최소화하고 데이터 분석가 없이도 쉽게 실험을 설계하고 분석할 수 있도록 다양한 기능을 제공하고 있습니다. 프로덕트 분석을 통해 발견한 인사이트를 실험으로 검증하고, 실험 결과를 분석하여 다시 새로운 가설을 세우는 사이클을 반복하여 꾸준하고 빠른 성장을 이루어 낼 수 있습니다.
💡Amplitude Experiment와 실험에 대한 자세한 설명을 보고싶다면 성장을 위한 프로덕트 실험 가이드북을 확인해 보세요!
