Braze
Braze 리포트의 모든 것 - (2) Report Builder, Engagement Reports, Global Control
2023-03-21
By
Sunghwan Kim
Braze
Braze 리포트의 모든 것 - (2) Report Builder, Engagement Reports, Global Control
March 21, 2023
By
Sunghwan Kim

지난 Braze 리포트의 모든 것 - (1) Campaign & Canvas 포스트에서는 각 캠페인 또는 캔버스 별 성과 집계 기준과 지표 해석 방법에 대하여 알아보았습니다. 이번에는 개별 성과가 아닌 여러 캠페인 또는 캔버스 간 성과를 비교하는 여러 리포트 기능에 대하여 이어서 알아볼텐데요. Report Builder를 통해 여러 캠페인 또는 캔버스에 걸쳐 다양한 지표를 비교하는 방법과 Engagement Reports를 통해 여러 캠페인 또는 캔버스의 성과를 주기적으로 받아보는 방법, 그리고 Global Control을 통해 브레이즈(Braze) 캠페인 운영에 기인하는 순증가분 성과 측정 방식에 대하여 살펴보겠습니다. 

1. Report Builder

여러 개의 캠페인 또는 캔버스의 주요 성과 지표를 한눈에 비교하기에 가장 적합한 기능은 Report Builder입니다. 특히 아래와 같이 다양한 시나리오에서 어떠한 캠페인 또는 캔버스가 가장 좋은 성과를 기록했는지 빠르게 확인할 수 있습니다:

  • 특정 태그 / 메시지 채널 중 가장 좋은 성과를 기록한 캠페인 또는 캔버스
  • 동일 캠페인 또는 캔버스 내 컨트롤 그룹 대비 가장 성과가 좋았던 variant
  • 정기 프로모션 캠페인 중 가장 구매 전환율이 높았던 캠페인
  • 오픈율이 가장 높았던 푸시 메시지
  • 전환율이 가장 높았던 캔버스 스텝
  • 캠페인 발송 방식이 오픈율 / 전환율 / 구매전환율에 미친 영향 등

이처럼 Report Builder 페이지에서는 메시지 발송과 관련된 다양한 지표와 더불어 해당 캠페인의 주요 성과 지표를 실시간으로 비교할 수 있습니다. Report Builder에서 활용되는 지표에 대한 설명은 지난 Braze Glossary (브레이즈 용어 정의) 포스트 중 Report Metric Glossary 부분을 참고해 주세요. 

Report Builder 사용법

다양한 캠페인 간 성과를 비교하는 마케팅 성과 분석은 효과적인 CRM 캠페인을 위한 필수 요소입니다. 브레이즈의 Report Builder 기능은 여러 캠페인 또는 캔버스 성과를 한눈에 비교할 뿐만 아니라 손쉬운 리포트 생성, 저장 및 추출을 지원하고 있습니다.

브레이즈 대시보드 내 좌측 ‘Report Builder’ 메뉴를 통해 성과 비교 리포트를 생성할 수 있으며, 방법은 다음과 같습니다.

1. 신규 리포트 생성

새로운 리포트를 생성할 기준을 선택합니다. 캠페인의 경우 Manual campaign selection 또는 Automated campaign selection 옵션 중 선택 가능한 반면, 캔버스는 별도의 옵션이 없습니다. 하나의 리포트 안에서 캠페인과 캔버스는 동시에 비교할 수 없으며, 캠페인의 경우 최대 250개, 캔버스는 최대 5개까지 추가 가능합니다.

Manual campaign selection으로 생성된 리포트에는 이후 캠페인을 직접 추가할 수 있으며, Automated campaign selection으로 생성된 리포트에는 필터 조건을 충족한 모든 캠페인이 자동으로 추가됩니다.

2. 캠페인 / 캔버스 선택
마지막 발송 시점 (Last Sent), 태그 (Tags), 메시징 채널 (Channels), 캠페인명 (Campaign Name) 등의 조건을 통해 어떠한 캠페인 또는 캔버스를 리포트에 추가할지 선택합니다. Advanced Search 기능을 활용하면 캠페인명에서 특정 단어를 제외할 수도 있습니다.

지난 6개월간 발송 이력이 있는 캠페인 또는 캔버스만 리포트에 추가할 수 있습니다. 원하는 캠페인 또는 캔버스를 모두 선택한 후 Compare Campaigns 버튼을 클릭합니다.

3. 비교 지표 설정

[Edit Columns] 드랍다운 메뉴를 통해 비교할 지표를 선택합니다. 캠페인 리포트의 경우 선택 가능한 지표로는 전체 채널 지표 (Channel Universal Stats), 전환 지표 (Conversion Events), Variant 간 비교 지표 (Variant Calculations), 메시징 채널 별 지표 (Channel Specific Stats)가 있습니다.

캔버스 리포트는 캔버스 간 비교 지표 (Breakdown by Canvas), 스텝 간 비교 지표 (Breakdown by Step), 메시지 간 비교 지표 (Breakdown by Message)에 따라 선택 가능한 지표가 일부 상이할 수 있습니다.

4. 리포트 실행 (캠페인 리포트에만 해당)

Run Report 버튼을 클릭하여 리포트를 실행하면 상단 테이블 형태의 결과와 함께 하단 Campaign Performance 그래프 형태의 결과를 함께 확인하실 수 있습니다.

Use Case: 주간 캠페인 성과 비교

Q. 이번 주 캠페인 성과를 확인하고 싶은데, 현재 운영 중인 캠페인이 많아 개별 Campaign Analytics 페이지에서 일일이 확인하기 어렵습니다. 어떤 캠페인이 가장 좋은 성과를 거두었는지 한눈에 확인할 방법이 없을까요?

Report Builder 기능을 활용하면 여러 캠페인에 걸친 성과를 실시간으로 측정하고 이를 캠페인 운영에 빠르게 반영할 수 있습니다. 이번 주 푸시 캠페인의 최고 전환 성과는 27.17%였으며, 구체적인 타겟 오디언스를 대상으로 액션 기반의 메시지 발송을 했던 캠페인에서 비교적 높은 전환율 및 오픈율을 기록하였습니다. 

이러한 결과에 기반하여 고려해 볼 수 있는 액션 아이템은 다음과 같습니다:

  • 구체적인 CRM 타겟 오디언스 발굴
  • 기존 스케쥴 기반의 메시지 발송에서 액션 기반의 메시지 발송으로 전환
  • 플랫폼 별 푸시 메시지 카피라이팅 최적화

2. Engagement Reports

Engagement Reports는 캠페인/캔버스 별 메시지 발송 결과를 주기적으로 확인하기에 최적화된 리포트 기능입니다. 정해진 스케쥴 대로 특정 캠페인 또는 캔버스의 성과를 이메일로 받아보고 싶거나, 브레이즈 대시보드에 들어가지 않고도 주기적으로 CSV 파일 형태의 리포트를 받아보고 싶을 때 주로 사용합니다.

Engagement Reports 사용법

Engagement Reports 기능을 통해 주기적으로 캠페인 또는 캔버스 성과를 확인하고 보고서 생성을 자동화해보세요. 

1. 신규 리포트 생성 및 캠페인 / 캔버스 선택

새로운 리포트를 생성할 기준을 선택합니다. 캠페인과 캔버스 모두 동일하게 Manual selection 또는 Automatic selection 옵션 중 선택 가능합니다. Manual selection의 경우 추가하고 싶은 캠페인 또는 캔버스를 직접 선택하며, Automatic selection의 경우 특정 태그를 가진 캠페인 또는 캔버스만 리포트에 추가할 수 있습니다.

캠페인과 캔버스 동시 선택 시 CSV 파일은 2 개로 분리되어 전달됩니다.

2. 비교 지표 설정

비교할 지표를 선택합니다. 선택 가능한 지표로는 전체 채널 지표 (All Universal Stats), 전체 전환 지표 (All Conversion Events), 메시징 채널 별 지표 (All Channel Specific Stats)가 있습니다.

Report Builder 와는 달리 Variant 또는 Step 단위의 지표는 제공하지 않습니다.

3. 리포트 설정

데이터 조회 기간과 리포트 발송 주기를 포함한 여러 설정을 진행합니다.

  1. Enter Report Name: 리포트 이름 지정
  2. Choose Compression: 리포트의 압축 파일 종류 선택
  3. Select Delimiter: 리포트의 구분 기호 지정
  4. Send Report to: 리포트 수신자 이메일 지정
  5. Time Frame: 데이터 조회 기간 설정
  6. Data Display: 리포트의 데이터 표시 간격 설정
  7. Additional Options: Archived된 캠페인 또는 캔버스 리포트 자동 제거 선택
  8. Report Schedule: 리포트 발송 시간 예약 또는 즉시 발송 선택

4. 리포트 확인
리포트 수신자로 지정한 이메일 계정에서 리포트를 확인합니다.

브레이즈와 Amazon S3를 연동할 경우 Engagement Report 기능을 포함한 브레이즈 대시보드 데이터를 CSV 파일 형태로 전송할 수 있습니다. 브레이즈 대시보드 내 Technology Partners에서 Amazon S3를 연동해 보세요 (자세한 내용은 관련 가이드 참고 부탁드립니다).

3. Global Control

Global Control Group 이란 브레이즈를 통해 집행한 모든 마케팅 캠페인으로부터 어떠한 메시지도 수신하지 않는 유저 그룹을 의미하며, 전체 유저 대비 비율을 설정함으로써 무작위로 배정됩니다. 반면, Global Control Group을 제외한 나머지 모든 유저는 Global Control Treatment Sample (이하 “Treatment Sample”)로 자동 분류됩니다. 이처럼 Braze를 통한 메시지 수신 여부를 기준으로 하여 유저를 두 집단으로 배분하므로, 두 집단 간 성과를 비교하는 Global Control Group Reporting 기능을 활용하면 브레이즈로 인한 순증가분 성과 측정이 가능합니다. 

Global Control 사용법

Global Control 사용법은 매우 간단합니다.

1. 비교 지표 및 데이터 조회 기간 설정

성과를 비교하는 기준과 데이터를 조회할 기간을 설정합니다. 성과 비교 기준은 세션 시작 (Started Session) 또는 특정 이벤트 수행 (Perform Custom Event)입니다.

2. 리포트 생성

Run Report 버튼을 클릭하여 리포트를 생성합니다.

리포트 생성 후 수치 해석 방식은 아래와 같습니다.

  • Conversion Rate: 각 캠페인 또는 캔버스 설정에 따른 유효 전환 기간 내 전환 이벤트를 수행한 유저의 비율 (전환 이벤트 수행 횟수가 매우 적거나 그룹에 속한 유저 수가 매우 많은 경우 전환율은 0에 수렴할 수 있습니다)
  • Estimated Group Size: 설정한 데이터 조회 기간 내 Global Control 그룹 및 Treatment Sample 그룹에 속한 유저 수의 추정치
  • Total Number of Events: 설정한 데이터 조회 기간 내 전환 이벤트가 발생한 횟수 (unique user 기준이 아닌 총 발생 횟수입니다)
  • Events Per User: 각 그룹 별 전환 이벤트 수행 횟수를 Estimated Group Size로 나눈 수치
  • Change from Control: Global Control 그룹 대비 Treatment Sample 그룹의 전환 성과 백분율 차이
  • Incremental Uplift: Treatment Sample 그룹의 이벤트 수행 횟수에서 Global Control 그룹의 이벤트 수행 횟수를 뺀 수치 (Estimated Group Size를 고려하지 않은 단순 감산입니다)
  • Incremental Uplift Percent: Incremental Uplift 수치를 Treatment Sample 그룹의 이벤트 수행 횟수로 나눈 수치 (브레이즈를 통한 캠페인 집행으로 인해 발생한 것으로 추정되는 순증가분 성과)
Sunghwan Kim
Customer Success Manager
더 알아보기
마이리얼트립, 1년 만에 국내 여행 거래액 2,000% 성장을 이룬 여행 플랫폼의 CRM 마케팅 전략
1년 만에 국내 여행 거래액 2,000% 성장을 이룬 마이리얼트립을 인터뷰했습니다. 마이리얼트립의 성장에 기여한 CRM 마케팅 전략 및 Braze 활용 인사이트를 확인해보세요.
성공 사례 보러가기
라이너, "프로모션 캠페인 자동화를 통해 매출 80% 상승 효과를 얻을 수 있었습니다."
AB180 그로스해킹 인터뷰를 통해 이번에 만나뵌 분은 웹 형광펜 서비스인 라이너(LINER)를 서비스하는 아우름플래닛의 김진우 대표님입니다. 전세계에서 백만 명 이상이 사용해 우리나라보다 오히려 글로벌에서 훨씬 더 유명한 서비스라고 할 수 있습니다.
성공 사례 보러가기
15,000명 이상의 업계 관계자들이 구독하고 있는 뉴스레터를 통해 업계 최신 트렌드를 가장 먼저 만나보세요.
응답이 제출되었습니다. 감사합니다.
잘못된 메일주소입니다.
주식회사 에이비일팔공
서울특별시 서초구 강남대로 61길 17, 3층, 4층 (서초동)
사업자등록번호: 550-88-00196
대표이사: 남성필
Copyright ⓒ 2023 AB180 Inc. All Rights Reserved.
개인정보 처리방침