전환율 50% 올리는 A/B 테스트 설계 방법과 사례
디지털 서비스를 운영하고 있거나 온라인에서 제품을 판매한다면 한번쯤 들어봤을 A/B 테스트. 마케팅과 서비스 운영에 꼭 필요한 방법이라고는 하는데 정확히 어떤 개념이며 어떻게 설계하는지 잘 몰랐다면, 이번 콘텐츠를 주목하세요.
A/B 테스트의 정의부터 설계 방법, 유명한 사례까지 자세히 소개해 드리겠습니다.
1. A/B 테스트 알아보기
출처: Optimizely
1) A/B 테스트란
A/B 테스트란 두 가지 이상의 버전을 비교하는 그로스 해킹 방법론입니다. 주로 서비스 사용자를 A와 B 두 가지 집단으로 나누고, 각 집단에 다른 콘텐츠를 제공하여 더 높은 성과를 나타내는 버전을 확인하고, 최적화하기 위해 사용합니다. 보통 A안은 대조군(Control Group)을 뜻하며, B안은 실험군(Experimental Group)으로 구분합니다.
예를 들어 고객에게 보내는 이메일의 제목이나 웹사이트 CTA 버튼 문구, 광고 소재의 디자인이나 이미지, 문구 등을 두 가지 이상의 버전으로 제작하고, 클릭률과 전환율 등의 결과를 비교할 수 있습니다.
2) A/B 테스트 필요한 이유
A/B 테스트는 기업이 더 효과적이고 효율적인 방향으로 서비스를 개선하고자 할 때 중요한 역할을 할 수 있습니다. 내부의 기획자나 개발자, 디자이너, 마케터가 프로덕트를 제작할 때 의도한 것과 실제 고객 행동에 영향을 미치는 것이 다를 수 있는데, A/B 테스트가 이 차이를 정량적인 결과로 검증해 주기 때문입니다.
A/B 테스트는 주로 마케팅과 웹 분석 분야에서 활용하는 방법이며, 아래와 같은 결과를 기대할 수 있습니다.
✔ 사용자 경험 개선
고객은 정보를 얻거나 제품 또는 서비스를 구입하기 위해 웹사이트에 접속합니다. 하지만 이 과정에서 고객이 불편함을 겪는다면 방문 목적을 달성하지 못하고 사이트에서 이탈할 수 있는데요. 이럴 때 웹사이트 랜딩 페이지의 이미지나 문구, 상품 배치 등을 A와 B 집단으로 나눠 A/B 테스트를 진행하고, 더 나은 경험을 제공할 수 있습니다.
✔ 전환율 증가
광고 소재는 미디어 종류와 디자인, 문구에 따라 클릭률과 전환율이 달라질 수 있는데요. 비슷한 디자인에 광고 문구만 조금씩 변화를 줘도 결과에 큰 영향을 미칠 수 있습니다.
✔ 비즈니스 리스크 감소
A/B 테스트의 이점 중 하나는 더 높은 효율을 보이는 버전을 선택하여 남은 리소스를 집중할 수 있다는 것인데요. 비효율적 버전에 낭비할 수 있었던 시간과 비용 등을 최소화할 수 있어 사업 초기 단계에 활용하면 효율적입니다.
2. A/B 테스트 설계 방법
출처: VWO
A/B 테스트는 ①리서치 및 가설 설정 ②테스트 실행 ③결과 분석 크게 세 가지 단계로 나눠 설계할 수 있습니다.
1) 리서치 및 가설 설정
A/B 테스트를 설계할 때는 현재 제공하는 서비스의 사업 방향을 파악한 뒤, 각종 지표 데이터를 수집하고, 사용자 행동에 가장 많은 영향을 주는 요소가 무엇인지 파악해야 합니다.
리서치에서 충분한 데이터 수집과 분석을 통해 인사이트를 얻었다면, 결과를 바탕으로 가설을 설정할 수 있는데요. 비즈니스 목표를 고려해, 더 높은 클릭율이나 전환율 등을 달성할 수 있는 가설을 설정해야 합니다.
예를 들어 웹페이지 CTA 버튼의 클릭율 데이터를 모두 확인해 본 뒤, 'CTA 문구 내용에 따라 클릭율이 달라질 것'이라는 가설을 세울 수 있습니다.
2) A/B 버전 생성 및 테스트 실행
가설을 세웠다면 가설을 검증할 테스트를 진행해야겠죠. CTA 버튼 문구가 고객의 행동에 영향을 줄 것이라는 가설을 세웠다면, '할인율을 강조한 문구를 사용한 A안'과 '제품 USP(Unique Selling Point)를 강조한 문구를 사용한 B안' 두 가지 버전으로 CTA 버튼을 생성할 수 있습니다.
두 가지 이상의 버전을 만들었다면, 기간과 노출 위치 등 다른 변수는 최대한 통제하고 A/B 테스트를 진행해 데이터를 누적하면 됩니다.
3) 결과 분석 및 의사결정
특정 기간 테스트를 진행했다면 클릭률이나 전환율 등 다양한 데이터를 확인하고, 처음 설계한 가설에 따라 결과가 도출되었는지 비교합니다. 가설이 맞았다면 해당 시스템을 도입하고, 원하던 결과가 나오지 않았다면 새로운 가설에 따른 A/B 테스트를 진행합니다.
3. 기업의 A/B 테스트 사례
1) 절차 간소화로 효율 높인 오바마 대선 홍보 캠페인
출처: medium
A/B 테스트 사례 중 가장 유명한 것은 오바마의 대선 홍보 활동입니다. 당시 오바마 대선 캠페인팀은 다양한 데이터를 활용해 정치 후원금을 증가시킬 방법을 고민했는데요. 한 페이지에서 많은 양의 정보를 요구하는 기존 A안과 4단계로 구분하되 각 단계에서 요구하는 항목을 최소화한 B안으로 구분해 캠페인을 진행하고,그에 따른 결과를 분석했습니다. 그 결과 B안의 후원금 모집 결과가 5%가량 높다는 것을 확인할 수 있었습니다.
2) 랜딩페이지 실험으로 가입율 높인 넷플릭스
출처: MakeUseOf
넷플릭스 A/B 테스트 역시 유명한데요. 넷플릭스는 서비스의 대부분에 A/B 테스트를 적극적으로 활용하며 제품을 개선합니다.
넷플릭스는 회원 가입 전 노출되는 랜딩 페이지 중앙에 '지금 가입하세요'와 같은 CTA 버튼이 있는 화면을 사용하고 있었습니다. 하지만 넷플릭스에서 감상 수 있는 영상 목록을 보고 싶다는 사용자들의 의견을 반영해 새롭게 B안을 제작했는데요. B안의 가입 전환율이 오히려 낮다는 결과를 확인할 수 있었습니다. 사용자가 본인이 원하는 영상을 탐색하면서 가입 전환 콘텐츠에서 벗어나기 때문이었죠. 또한 CTA 버튼 문구도 '30일 무료 이용', '지금 이용해 보기', '시작하기' 등 다양한 문구를 놓고, 가입 전환율을 실험하기도 했습니다.
3) 문구 변화로 클릭률 50% 증가한 부킹닷컴
출처: medium
마지막으로 소개해 드리는 A/B 테스트 사례는 숙박 예약 플랫폼인 부킹닷컴입니다. 부킹닷컴은 더 많은 숙박 업체가 부킹닷컴에 등록할 수 있도록 하는 고객 경험 개선 과제를 안고 있었는데요. 랜딩 페이지에 처음 방문한 사용자 수와 최종 등록까지 이탈한 수 등을 확인했습니다. 부킹닷컴은 이탈율을 줄이기 위해 skip 버튼을 없애고, 문구를 사용자 중심으로 변경하는 등 A/B 테스트를 진행했는데요. 기능을 소개하는 문구보다 사용자가 얻을 수 있는 가치를 소개한 B안의 클릭률이 50% 증가했습니다.
A/B 테스트의 목적은 어떤 안이 더 효율이 높은지 데이터를 확인하고자 함이 아닙니다. 해당 결과를 바탕으로 서비스의 질을 개선하는 것이 진짜 목적이죠. 특히 모바일 서비스를 제공하고 있다면 A/B 테스트를 적극적으로 활용해 최적화하는 것이 중요한데요. 소규모 기업일수록 인력 부족이나 기술적 어려움으로 자체 A/B 테스트를 설계하고 실행하기 어려울 수 있습니다.
A/B 테스트 구현에 관심은 있지만, 내부 인력으로 운영이 어렵다면 다빈치에서 IT 컨설팅을 받아 보는 것을 추천합니다. 다빈치는 스타트업부터 대기업까지 다양한 고객군에게 제품 개발, 기업용 소프트웨어 제작, 자동화 컨설팅, 데이터 분석 및 AI 개발을 제공합니다. 특히 고객사의 현황과 목표, 비즈니스 모델 이해를 바탕으로, 고객사가 생각하지 못한 부분까지 고민하고 제품을 개발하는 업무 방식을 지향합니다.
베인앤드컴퍼니, 우아한형제들(배달의민족), 삼성 출신 멤버들로 구성된 다빈치 팀을 A/B 테스트를 위한 TF팀으로 활용해 보세요!