안녕하세요 ! 데이터 기반 마케팅 솔루션 & 컨설팅 컴퍼니 AB180입니다.

오늘은 지난번 리텐션 101 포스팅에 이어서, 리텐션을 측정하는 여러가지 방법과 샘플 데이터를 사용해서 리텐션 데이터를 더욱 깊게 이해할 것입니다. 

여러분은 시중에 떠도는 수많은 리텐션 데이터들이 어떤 산식을 통해 측정되는지 알고 계신가요? 누구는 단순히 유저가 재방문한 비율이 리텐션이라고 하는데, 또 다른 누군가는 첫 유입 이후 특정 코호트의 세션이 다시 열리면 리텐션으로 본다고 합니다.

온갖 용어들이 난무하는 만큼 리텐션은 귀에 걸면 귀걸이, 코에 걸면 코걸이가 되는 그런 값입니다. 데이터를 분석할 때 가장 중요한 작업은 사전에 명확히 정의 및 측정된 분자, 분모인데 말이죠.

본 문서에서는 프로덕트 애널리틱스의 글로벌 리더인 Amplitude가 제시하는 기준을 가지고 가장 일반적인 리텐션 측정 방법을 다루는데요. 재방문 유저수를 집계하는 기준이 어떻게 되냐에 따라, 리텐션을 측정하는 3가지 방법을 알아보겠습니다.

1. 리텐션의 3가지 분류 방법

재방문 유저수 측정 방법에 따른 3가지 리텐션

1) N-Day Retention

: 첫 유입 시점 이후, 리텐션 분석 기간 중 특정 날짜에만 재방문한 유저수

  • 예를 들어, 7일 기준 리텐션을 분석한다고 가정합시다. 이 때 특정 코호트의 모집단 수가 100명인데 이 중 10명의 서로 다른 사용자가 Day 2에 방문했다면, 이 코호트의 Day 2 리텐션 비율은 10%입니다
  • 가장 일반적인 리텐션 분석 방법으로, Classic Retention이라고도 부릅니다
2) Unbounded Retention

: 첫 유입 시점 이후, 특정 날짜를 포함한 그 이후의 날짜에도 한 번 이상 재방문한 유저수

  • 이번에는 분석 기간을 3일로 두고 리텐션을 분석한다고 가정합시다. 이 때 특정 코호트의 모집단 수는 3명(A, B, C)인데 이 중 A와 B는 Day 1에 방문했지만 C는 Day 3에만 방문했습니다. 이 경우, Day 1 리텐션은 100%입니다. 왜냐하면 C는 분석 기간인 3일 가운데 1번 이상 방문한 사용자에 해당하기 때문입니다.
  • Unbounded 리텐션은 분석 기간 이내에 1번 이상 재방문한 유저의 리텐션을 특정 날짜로부터 1일씩 증가시키면서 측정할 수 있는데요. 이런 의미에서 Rolling Retention이라고도 부릅니다.
3) Bracket Retention

: N-Day 리텐션을 좀 더 유연하게 확장한 것으로, N개로 나누어진 리텐션 분석 기간에서 각 구간별로 재방문한 유저수

  • 예를 들어, Bracket 리텐션에서는 총 7일의 분석 기간을 3가지로 구분해서 Day 1-3 / Day 4-5 / Day 6-7 각 구간별로 재방문한 유저들을 확인하게 됩니다. 
  • 여기에서 중요한 점은 역시 이전 구간에서 재방문한 유저는 다음 구간에서 재식별이 되냐, 안되냐에 대한 여부일 것입니다. 결과적으로는 이전 구간에 방문한 사용자라고 할 지라도 이후 구간에서 다시 한번 재식별이 가능합니다. (Unbounded 리텐션의 경우, 분석 기간 내에서 특정 유저의 재방문수를 1번 이상 집계하지 않습니다)
  • 특정 구간별 리텐션을 분석한다는 의미에서, Range Retention이라고도 부릅니다.

2. Deep Dive into Retention

이제부터는 아래와 같은 조건 하에서 저와 같이 무료/유료 고객의 리텐션을 분석하는 샘플 프로젝트를 진행해보도록 합시다 ! 본 문서에서 활용하는 모든 데이터는 Amplitude가 제공하는 데모 데이터를 토대로 세팅되었습니다. 음원 스트리밍 서비스 Amplitunes의 데이터를 활용하였으며 우리가 분석할 리텐션은 “무료/유료 이용 고객의 7일 기준 리텐션” 데이터입니다.

리텐션 분석에서 활용될 조건들

1) N-Day 리텐션

N-day 리텐션은 가장 일반적이고 간단한 리텐션 분석 방법인데요. 본 문서에서는 이 방법을 기준으로 다른 2가지 리텐션 측정 방법(Unbounded, Bracket)과의 수치 차이를 알아보도록 하겠습니다.

N-Day 측정 기준으로 분석한 코호트별 Day 7 리텐션
  • Day 1부터의 리텐션을 살펴보면, 무료 이용 고객보다 유료 이용 고객의 리텐션이 월등히 높은 것을 확인할 수 있습니다. 그리고 Day 7에는 각각 0.26%, 2.71%로 하락하는 추세를 볼 수 있네요.
  • 이처럼 특정 날짜에만 되돌아오는 유저들의 비율을 확인하고자 할 때에는 N-day 리텐션을 사용하면 됩니다.

2) Unbounded 리텐션

N-day 리텐션이 “우리 제품의 실질적인 리텐션을 반영하는게 맞나”하는 의문이 드시나요? 그렇다면, 똑같은 유저 데이터셋을 가지고 좀 더 포괄적으로 재방문 유저수를 측정하는 방법이 있습니다. 바로 Unbounded 리텐션입니다.

Unbounded 리텐션은 재방문 유저수를 집계하는 윈도우를 특정 날짜 하루가 아니라, 분석 기간의 끝까지 가져갑니다. 이를 통해, N-day 리텐션에 비해 더욱 포괄적으로 유저의 재방문을 측정하게 되죠 ! 

따라서, Unbounded 리텐션의 경우에는 동일 날짜에 측정된 리텐션임에도 불구하고 N-day 리텐션에 비해 수치가 높을 수 있습니다. 특정 날짜에는 방문하지 않았더라도 분석 기간 이내에 1번 이상 방문한 유저라면, 해당 날짜에 측정되는 리텐션의 분자에 포함시켜버리기 때문이죠.

Unbounded 측정 기준으로 분석한 코호트별 Day 7 리텐션
  • Unbounded 리텐션의 경우, N-day 리텐션에서 집계하지 않은 유저수를 추가적으로 집계할 수 있기에 N-day 리텐션보다 전반적으로 높게 측정되는 것을 볼 수 있습니다.
  • 예를 들어, N-day 리텐션 기준으로 무료 이용 고객의 Day 1 리텐션은 11.89%, 유료 이용 고객이 49.59%이지만 Unbounded 리텐션 기준으로는 각각 16.51%, 63.84%인 것을 확인할 수 있습니다. 이러한 비율 차이는 Day 1 이후에 1번 이상 재방문한 유저가 추가로 재방문 유저수에 카운트된 것에서 기인합니다.

3) Bracket 리텐션

Bracket 리텐션은 분석 기간을 N개의 구간으로 쪼개서 리텐션을 확인할 수 있는 방법인데요. 1달에 1번 또는 1주일에 1번 등 특정 주기로 앱을 사용하는 경우, 해당 주기 안에서 1번 이상 재방문하기만 하면 이는 곧 유의미한 리텐션일 것입니다. 그러나, 만약 N-Day 리텐션으로 이들의 리텐션을 분석한다면 어떻게 될까요? 

분명히 정상적인 주기로 앱을 사용한건데, 딱 어느 날짜에 재방문하지 않았기 때문에 특정 코호트의 잔존율이 낮다고 평가될 것입니다. 이렇게 리텐션이 과소계상되는 경우를 방지하기 위해서 Bracket 리텐션을 사용할 수도 있습니다. 

다시 동일한 유저 데이터를 가지고 로직을 바꿔서 재측정해보겠습니다. 아래 표는 7일의 분석 기간을 총 4개의 구간(Day 0-1 / Day 2-3 / Day 4-6 / Day 7)으로 나누어서 리텐션 비율을 확인한 것입니다.

Bracket 측정 기준으로 분석한 코호트별 Day 7 리텐션
  • 각 구간별 리텐션은 구간별로 재방문한 유저들의 비율입니다. 구간 4의 경우에는 Day 7 하루만 포함되어 있기 때문에 N-Day 리텐션에서 측정된 값과 당연히 동일하겠죠?
  • Bracket 리텐션이 또 유용하게 사용될 수 있는 경우는 할인 프로모션 등 마케팅 캠페인 진행 효과를 분석하고자 할 때입니다. 이 경우, 이벤트 실행 구간과 미실행 구간을 구분해서 리텐션을 보고 싶을 수 있는데, 해당 구간들을 Bracket으로 설정해서 이벤트 집행과 리텐션 변화 간의 상관관계를 확인할 수도 있습니다.

3. Conclusion

1) 유료 고객 및 비유료 고객의 Retention 분석 결과

Bracket 리텐션의 경우, 제가 임의로 Day 0과 Day 1 리텐션을 같은 구간으로 봤기 때문에 다른 리텐션 데이터보다 과대계상된 경향이 있으니 참고하시기 바랍니다 !

2) Retention Data Charts by Cohorts

위 리텐션 데이터를 그대로 차트를 통해 확인해보면 아래와 같습니다.

Amplitude가 제공하는 데이터셋에 의하면 유료 고객 수는 무료 고객 수보다 약 3.4배 적지만, 리텐션은 약 1.5~2배 높은 것으로 확인이 되네요.

Data Source

마케터 분들이 좀 더 리텐션 데이터에 접근하기 쉽게끔 AB180이 자체 제작한 리텐션 분석 시트의 원본을 공개하오니, 궁금하신 분들은 아래 링크를 클릭하고 편하게 살펴보세요 !

Link : https://abit.ly/retention-playground-ab180
Insights

앞서 살펴본 3가지 리텐션 측정 방법을 통해 얻을 수 있는 중요한 인사이트는 무엇일까요? 동일한 원본 데이터를 가지고도 측정하는 방법이 어떠냐에 따라 리텐션이 높아보일 수도, 적어보일 수도 있다는 것입니다. 

퍼포먼스 마케팅 과정에서 제품과 고객, 그리고 산업의 특성에 따라 마케팅 어트리뷰션 로직을 다르게 적용하듯이 리텐션 역시 마찬가지입니다. 제품이 처해있는 상황에 따라 유동적으로 리텐션 측정 기준을 다르게 적용할 필요가 있습니다.

뿐만 아니라, 제 3자(투자 심사역 등)가 특정 제품의 리텐션을 바라봐야 한다면, 어떤 리텐션 기준으로 측정한 것인지, 코호트는 무엇이며 분석 기간은 어떠한지 등 리텐션 분석에 수반되는 각종 속성들을 면밀히 확인하는 것도 중요한 포인트라고 생각합니다.


AB180은 고객의 디지털 제품 성공을 돕는 다양한 마테크(Martech) 솔루션을 지원합니다.
바로 문의하기
Written by
Published in
Share article