브레이즈(Braze)는 기본적인 CRM 캠페인 성과 분석에 필요한 지표를 여러 형태의 리포트로 제공합니다. 본 시리즈의 첫 포스트에서는 캠페인(Campaign) 또는 캔버스(Canvas) 런칭 이후 실시간으로 집계되는 다양한 마케팅 성과 지표를 해석하는 방법에 대하여 알아봅니다. 데이터에 기반한 마케팅 캠페인 운영을 위해서는 우선 개별 캠페인 단위로 여러 지표를 제공하는 Campaign Analytics 부터 메시지 수신 이후 유저의 행동 양상을 반영하는 Retention Report 및 Funnel Report 활용 방법, 그리고 하나의 캔버스를 구성하는 Canvas / Variant / Step 단위의 지표를 올바르게 이해해야 합니다. 향후 이어지는 시리즈를 통해 여러 캠페인 또는 캔버스의 성과를 통합하여 분석하는 방법과 나머지 리포트 기능에 대하여 알아보고, 상황에 따라 브레이즈 내 가장 적합한 리포트 기능은 무엇인지 살펴보겠습니다. 

1. Campaign

Campaign Analytics

캠페인 런칭 이후 확인 가능한 Campaign Analytics 페이지에서는 메시지 발송과 관련된 다양한 지표와 더불어 해당 캠페인의 주요 성과 지표를 실시간으로 확인할 수 있습니다. Campaign Analytics 내 다양한 성과 지표에 대한 자세한 설명은 지난 Braze Glossary (브레이즈 용어 정의) 포스트 중 Report Metric Glossary 부분을 참고해주세요. Campaign Analytics 페이지는 아래와 같은 섹션으로 구성되어 있습니다.

• Campaign Details: Messages Sent(총 메시지 발송 건수), Conversion Rate(전환율), Total Revenue(총 매출액) 등 캠페인 전반에 걸친 주요 성과 지표와 더불어 Delivery Settings(전송 방식), Audience Settings(타겟 조건), Conversion Settings(전환 설정) 등 해당 캠페인의 설정 사항을 한눈에 확인할 수 있습니다.
  

• Message Performance: Variant 별 메시지 발송 건수부터 발송 실패 수, 오픈 수 등 메시지 관련 세부 지표를 확인할 수 있으며, 각 메시지 채널에 따라 제공되는 지표의 종류는 상이할 수 있습니다.
  

• Historical Performance: Message Performance 섹션의 성과를 일간 시계열 그래프로 시각화하여 나타내며, 동일 데이터를 CSV 파일 또는 이미지로 다운로드할 수 있습니다.
  

• Conversion Event Details: 캠페인 설정 시 Assign Conversions 단계에서 전환 성과로 지정한 Primary Conversion Event(주요 전환 이벤트) 및 Conversion Event(전환 이벤트) 에 대하여 캠페인 런칭 시점 이후 타겟 조건을 충족한 유저가 수행한 이벤트 횟수 및 전환율을 Variant 별로 집계합니다.
  

• Audience Details: 캠페인의 모든 타겟 조건을 충족하여 메시지 수신 대상이 된 유저의 전체 모수를 메시지 채널 별 확인할 수 있습니다.
  

• API Identifier: Braze API 활용 시 해당 캠페인 또는 개별 Variant 구분에 필요한 Campaign API Identifier 값과 Variant API Identifier 값을 확인할 수 있습니다.
  

• Conversion Correlation: 캠페인의 타겟 대상이 되는 유저 중 전환율에 유의미한 영향을 미쳤을 가능성이 있는 것으로 판단되는 유저의 특정 속성값이나 유저가 수행한 이벤트가 있다면 이에 대한 상관관계를 보여줍니다.
  

Retention Report

지속적인 비즈니스 성과를 나타내는 Retention(리텐션)은 마케터에게 가장 중요한 지표 중 하나이며, 서비스의 유의미한 성장을 위해 반드시 측정해야 할 지표입니다. 브레이즈의 Retention Report 는 실제 메시지 수신 이후 최대 30일 간 서비스 방문, 구매, 이벤트 수행 등 다양한 기준으로 유저의 리텐션을 측정합니다. 해당 리포트는 아래 용도를 포함하여 다양한 목적으로 활용될 수 있습니다.

• 캠페인 수신 이후 유저들의 평균 재방문 기간을 확인하고 싶을 때
• 캠페인 수신 여부에 따른 리텐션의 차이를 비교하고 싶을 때
• 캠페인 수신 이후 리텐션 감소의 시작점을 확인하고 싶을 때

캠페인 별 ‘Retention Report’ 탭을 통해 리포트를 생성할 수 있으며, 방법은 다음과 같습니다.

1. 리포트 기간 선택‍

리포트에 포함시킬 데이터의 기간을 선택합니다 (Today, Yesterday, Last 7 Days, Last 30 Days, This Month, All Time, Custom Range 옵션 중 선택 가능). 리포트 기간은 캠페인 런칭 이후 시점부터 현재까지 일 단위로 자유롭게 설정 가능합니다.

2. 리텐션 이벤트 설정‍

리텐션으로 정의할 이벤트를 선택합니다 (Started Session, Made Purchase, Performed Custom Event 중 선택 가능).

3. 리텐션 유형 선택‍

리포트 생성이 완료되면 아래와 같이 그래프와 테이블 형태의 지표를 확인할 수 있습니다.

이때 Rolling Retention 과 Range Retention 중 차트 유형을 선택할 수 있습니다.

• Rolling Retention: 특정 시점 이후의 리텐션을 측정하는 방식입니다.
  예) >3 days: 메시지 수신 후 3일 혹은 그 이후에 Retention Event를 수행한 고객
  Rolling retention 은 일반적으로 시간이 지날수록 감소하는 경향이 있습니다.
• Range rentention: 지정한 기간 동안의 리텐션을 측정하는 방식입니다.
  예) Day 3-7: 메시지 수신 후 3일에서 7일 사이에 Retention Event를 수행한 고객
  Range retention 은 측정 시점에 따라 증가하거나 감소할 수 있습니다.

캔버스에서도 Canvas Retention Report 를 통해 동일한 리텐션 지표를 확인하실 수 있습니다. 

Use Case: 리타겟팅 캠페인 성과 측정

Q. 콘텐츠 스트리밍 플랫폼에서 이탈한 고객을 대상으로 다시 콘텐츠 재생을 유도하는 이메일 캠페인과 카피에 따른 A/B 테스팅을 동시에 집행하고 싶습니다. 해당 캠페인이 리텐션에 어떠한 영향을 주었는지, 특정 문구 또는 길이가 리텐션 향상에 효과가 있었는지 알 수 있는 방법이 있을까요?

Variant 1 메시지는 헤드라인과 썸네일 위주로 구성된 반면, Variant 2 메시지는 특정 영화 컨텐츠 위주로 구성되었습니다.

Retention Report 기능을 활용하면 캠페인 런칭 후 리텐션을 Variant 별로 측정하기 때문에 메시지 수신 이후 리텐션 향상에 더 효과적인 메시지가 있었는지 성과를 비교할 수 있습니다. 일례로, 하단의 이미지와 같이 캠페인 런칭 이후 데이터를 살펴보면 초반(메시지 수신 이후 1~7일 경과한 시점)에는 Variant 1 메시지를 수신한 유저의 콘텐츠 재생률이 비교적 더 높았지만, 후반(메시지 수신 이후 7일 이상 경과한 시점)부터는 양 Variant 가 유사한 수준의 콘텐츠 재생률을 보이고 있는 것을 확인할 수 있습니다. 

그래프 아래 위치한 테이블 형태의 상세 데이터를 살펴보면, 메시지 수신 당일의 경우 Variant 1(45%)이 Variant 2(35%) 대비 22% 더 높은 리텐션을 기록한 것을 확인할 수 있습니다.

캠페인 성과에 기반하여 고려해 볼 수 있는 액션 아이템은 다음과 같습니다:

• Variant 1 메시지를 기본 이메일로 지정 (또는 Variant 2 메시지를 변경하여 A/B 테스트 추가 진행)
• 타겟팅 및 개인화 요소 추가 (타겟 조건 세분화, Connected Content, Liquid 등 활용)
• 장기 리텐션 향상을 유도하는 별도의 캔버스 운영

Funnel Report

캠페인 집행 이후 메시지 수신 여부에 따라 유저의 행동 양상이 바뀌었는지 성과를 측정하는 것은 해당 캠페인이 전환율 향상에 실질적인 효과가 있었는지 판단하는데 큰 도움이 될 수 있습니다. 브레이즈의 Funnel Report 는 실제 메시지 수신 이후 최대 30일간 서비스 방문, 구매, 이벤트 수행, 메시지 인게이지먼트 등 다양한 기준으로 유저의 퍼널을 시각화합니다. 해당 리포트는 아래와 같이 다양한 목적으로 활용될 수 있습니다.

• 캠페인 수신 이후 유저의 구매 퍼널 (또는 다른 주요 퍼널) 중 이탈이 발생하는 구간을 확인하고 싶을 때
• 캠페인 수신 여부에 따른 전환율의 차이를 비교하고 싶을 때
• 메시지 수신 이후 유입부터 전환까지 유저의 행동 양상을 빈도에 따라 시각화하고 싶을 때

캠페인 별 ‘Funnel Report’ 탭을 통해 리포트를 생성할 수 있으며, 방법은 아래와 같습니다.

1. 리포트 기간 선택‍

리포트에 포함시킬 데이터의 기간을 선택합니다 (Last 7 Days, Last 30 Days, This Month, Past 6 Months, Custom Range 옵션 중 선택 가능). 리포트 기간은 캠페인 런칭 이후 시점부터 최근 6개월 이내까지 일 단위로 설정 가능합니다. 퍼널 구간은 최소 1일부터 최대 30일까지 일 단위로 설정 가능합니다.

2. 퍼널 이벤트 설정‍

퍼널로 정의할 이벤트를 선택합니다 (Started Session, Made Purchase, Performed Custom Event, Message Engagement Event 중 선택 가능). Message Engagement Event의 경우 메시징 채널에 따라 제공 여부 및 필터가 상이할 수 있습니다.

3. 리포트 확인‍

리포트 생성이 완료되면 아래와 같이 그래프와 함께 테이블 형태의 지표를 확인할 수 있습니다.

• Variant 가 1개인 경우:
  

• Variant 가 2개 이상인 경우:
  

캔버스에서도 Canvas Funnel Report 를 통해 동일한 퍼널 지표를 확인하실 수 있습니다. 

Use Case: 온라인 구매 퍼널 이탈 구간 파악

Q. 고객의 온라인 구매 퍼널 중 가장 많은 이탈이 발생하는 구간을 파악하여 구매 전환율을 개선하고 싶습니다. 고객의 이탈은 주로 어디에서 발생하는지 알 수 있는 방법이 있을까요?

이탈률이 높은 구간을 파악하면 현재 운영 중인 구매 유도 캔버스를 개선할 수 있습니다. 

Funnel Report 기능을 통해 캔버스 런칭 후 유저가 수행하는 이벤트를 Variant 별로 측정하고, 메시지 수신 이후 이탈이 가장 많이 발생하는 구간을 빠르게 파악할 수 있습니다. 일례로, 캔버스 런칭 이후 데이터를 살펴보면 캔버스 진입 후 30일 이내 세션 시작 > 제품 상세 페이지 방문 > 장바구니 추가 > 상품 구매를 모두 완료한 유저의 퍼널은 아래와 같이 나타나고 있습니다. 이때 가장 많은 이탈이 발생하고 있는 구간은 1) 캔버스 진입 이후 세션 시작 구간 및 2) 장바구니 추가 이후 상품 구매 구간입니다.

캔버스 성과에 기반하여 고려해 볼 수 있는 액션 아이템은 다음과 같습니다:

• 초기 이탈률을 낮추기 위해 세션 시작 유도 목적의 캔버스 step을 추가 (다양한 메시징 채널, 카피, 소재 A/B 테스팅 진행하여 적합한 채널 및 컨텐츠 확립)
• 장바구니에 담긴 제품이 최종 구매로 이어지도록 Abandoned Cart 캔버스 구현
• 전환율을 높이기 위한 개인화 및 자동화 도입

2. Canvas

Canvas Analytics 페이지에서는 캔버스 전체부터 개별 스텝까지 총 3가지 수준으로 성과 지표를 구분하여 확인할 수 있습니다.

• Canvas Level Reporting
• Variant Level Reporting
• Step Level Reporting

캔버스에만 존재하는 지표이거나 캔버스 구조로 인해 다르게 해석 가능한 여지가 있는 지표의 경우에만 하단에 별도 설명해두었습니다. 나머지 지표에 대한 설명은 지난 Braze Glossary (브레이즈 용어 정의) 포스트 중 Report Metric Glossary 부분을 참고해주세요. 

Canvas Level Reporting

캔버스 전반에 걸친 주요 성과 지표에 대해 한눈에 파악하기 쉽게 최상단에서 제공되는 리포트이며, 기본적인 구조는 캠페인 내 Campaign Details 섹션과 유사합니다.

• Messages Sent: 발송된 메시지 수의 총계를 의미하며, 집계 기준은 캠페인과 동일하게 메시지 수신 유저 수가 아닌 총 메시지 발송 건수입니다. 일례로, 100명의 유저가 하나의 variant에 속하여 2개의 message step을 거치는 캔버스에서는 총 400개의 메시지를 전송하게 되므로 Messages Sent는 400 건으로 집계됩니다.
  
  
• Total Entries: 캔버스로 진입하여 각 variant 또는 control 그룹으로 배정된 유저 수의 총계를 의미합니다. 이때 재진입 조건에 따라 1 명의 유저가 캔버스를 2번 진입한 경우 Total Entries는 2건으로 집계됩니다.
  
  
• Conversion Rate: 캔버스 진입 유저 수의 전환율(전환 이벤트를 수행한 유저의 비율)을 의미합니다. 1 명의 유저가 캔버스 진입 이후 수행한 전환 이벤트는 캔버스 이탈 시점까지 1 건만 집계되며, 재진입 후 전환 이벤트 수행 시에는 1건이 추가로 집계됩니다.

전환율은 실제 메시지 수신 또는 클릭 여부와 관계없이 캔버스에 진입한 유저가 설정된 Primary Conversion Window 내 지정된 전환 이벤트를 수행하기만 하면 이를 성과에 포함합니다. 실제 메시지 수신 이후의 전환율은 ‘Analyze Variant’ 버튼 클릭 후 Canvas Funnel Report 기능을 통해 확인 가능합니다. 특히 Canvas Level Reporting 에서의 전환율 집계 기준은 Variant 및 Step Level Reporting 에서의 집계 기준과 상이하므로 주의가 필요합니다. (링크)

• Total Revenue: 캔버스에 진입한 유저가 설정된 Primary Conversion Window 내 발생시킨 총 매출이며, Converion Rate 지표와 동일하게 실제 메시지 수신 또는 클릭 여부와 관계없습니다.
  
  
• Current / Estimated Audience: 캔버스 진입 요건을 모두 충족하여 메시지 수신 타겟 대상이 되는 유저의 모수를 의미합니다. 캔버스가 생성된 Braze 앱그룹에서 집계 중인 유저가 적으면 Current Audience로, 많으면 Estimated Audience로 표기됩니다.

Variant Level Reporting

하나의 캔버스에 속한 여러 Variant 간 성과를 비교할 수 있는 리포트이며, 메시지를 수신하지 않는 Control 그룹 대비 다른 Variant의 성과 또한 비교 가능합니다.

• Entries: Total Entries 중 설정한 Variant %에 따라 해당 Variant에 할당된 유저의 수입니다.
• Total Conversions: 해당 Variant 에 할당된 유저가 설정된 Primary Conversion Window 내 수행한 전환 이벤트 수의 합계입니다 (Conversion event는 Primary conversion event를 포함하여 총 4개까지 설정 가능합니다).
• Revenue: 해당 Variant 에 할당된 유저가 설정된 Primary Conversion Window 내 수행한 구매 이벤트를 통해 기록된 매출의 합계입니다.
• Primary Conversion Event - A: 해당 Variant에 할당된 유저가 설정된 Primary Conversion Window 내 수행한 주요 전환 이벤트 수의 합계입니다.

Analyze Variant 기능을 통해 해당 캔버스 내 Variant 간 또는 Control 그룹 대비 성과를 비교할 수 있습니다. 뿐만 아니라, Canvas Funnel Report 와 Canvas Retention Report 도 해당 기능에서 생성 및 조회할 수 있습니다.

Step Level Reporting

하나의 캔버스에 속한 여러 스텝(Step) 간 성과를 살필 수 있는 리포트이며, Canvas Flow를 활용하는 경우 스텝의 유형에 따라 리포트의 구조나 제공되는 지표가 상이할 수 있습니다. 하단의 Canvas Flow 예시는 좌측에 Delay 스텝의 성과를, 우측에 Action Paths 스텝의 성과를 각각 나타내고 있습니다.

• Entered: 해당 스텝에 진입한 유저의 수입니다.
• Pending in step: 다음 스텝으로 넘어가지 않고 해당 스텝에 머무르고 있는 유저 수입니다.
• Proceeded to Next Step: 다음 스텝으로 넘어간 유저 수입니다.
• Exited: 해당 스텝에서 캔버스를 이탈한 유저 수입니다.
• Unique Recipients: 메시지를 수신한 일별 유저 수의 합계입니다.
• Sends: 해당 스텝에서 발송된 메시지 수의 합계이며, 메시지 채널 별로 의미하는 바가 다릅니다.

동일한 Sends 지표라도 집계 기준은 상이할 수 있습니다.

- Push(Android/iOS): Braze 서버에서 FCM/APNs 등 플랫폼 별 푸시 관리 서비스를 통해 유저의 디바이스로 푸시 메시지 발송을 요청한 수
- Web Push: 페이로드 fetching이 완료된 웹 푸시 메시지 발송 수
- Email: Braze 서버에서 ESP(이메일 서비스 제공자) 측에 이메일 발송 요청 후 ESP 측에서 성공적으로 전송 완료한 이메일 전송 수
- Webhook: 웹훅 메시지 작성 시 지정한 엔드포인트에 호출된 웹훅 요청 수

참고로 Canvas Flow 도입 이전에 런칭된 캔버스의 Full Step 리포트를 해석해야 하는 경우, 아래와 같이 각 메시지 채널에 해당하는 지표를 확인하실 수 있습니다.