로톡 의뢰인 스쿼드는 어떻게 문제를 풀까? 사용자 로그인 요청 프로젝트 ②
WORK
BY | 로톡 의뢰인 스쿼드 (문근영)
DATE | 2023. 05. 17.
로톡 의뢰인 스쿼드의 로그인 요청 프로젝트
스쿼드 조직에서는 어떻게 데이터를 기반으로 의사결정하고 프로덕트를 개선할까요?
안녕하세요. 로앤컴퍼니 데이터분석팀 문근영입니다.
저는 로톡 의뢰인 스쿼드에서 데이터분석을 담당하고 있는데요, 이번 ‘로그인 요청 프로젝트’에서 데이터로 프로덕트를 개선한 사례가 있어 공유하고자 합니다.
데이터로 프로덕트를 개선하는 과정은?
일반적으로 데이터로 프로덕트를 개선하는 과정은 어떻게 진행될까요?
프로덕트 개선 목표 하에 데이터로 문제를 정의하고, 문제를 해결하기 위한 프로젝트를 제안합니다. 그리고 프로젝트의 성과를 판단할 수 있는 주요 지표를 설정해요. 프로젝트 출시 후에는 단순 주요 지표 값의 등락을 근거로 프로젝트의 성공과 실패를 판단하는데, 이 때 유저의 반응을 살피며 목표를 달성하기 위한 방향으로 프로젝트를 수정합니다. 뿐만 아니라 프로젝트 관련 여러 가지 지표를 복합적으로 해석하고, 데이터를 세밀하게 들여다 보며 부작용의 가능성은 없는지, 해당 프로젝트에서 피벗할 수 있는 요소는 없는지 등을 분석하게 됩니다.
이번 ‘사용자 로그인 요청’ 프로젝트에서도 위 과정에 따라 프로덕트를 개선했는데요, 데이터로 어떻게 이번 프로젝트를 판단하고 수정했는지 설명드릴게요!
데이터로 확인한 낮은 재방문율? 로톡 서비스의 리텐션을 개선하자!
프로덕트 ‘개선’에는 현재 우리 프로덕트에 어떤 목표 설정이 필요한지, 이러한 목표 하에 어떤 부분을 개선해야 하는지 문제 정의가 가장 중요합니다.
로톡 의뢰인 스쿼드는 로톡 서비스를 사용하는 유저들의 데이터를 꾸준하게 분석하고 있는데요, 데이터를 분석해보니 한 가지 현상을 발견하게 되었어요. 바로 로톡 유저들이 로톡의 주요 서비스에 방문한 후 재방문하는 비율이 높지 않다는 것입니다. 당장 법률 문제를 갖고 있지 않더라도 다시 방문하는 서비스와 플랫폼을 만들려면 어떤 부분을 개선해야 할지 고민하기 시작했어요.
로톡 의뢰인 스쿼드에서는 데이터로 도출할 수 있는 개선사항을 발견하더라도 프로젝트에 착수하기 전에 반드시 선행하는 과정이 있는데요, 바로 프로젝트에 대한 타당한 논리를 세우고 구성원들의 공감을 얻는 것입니다.
왜 재방문율을 높여야 하는지에 대한 논리가 부족하다면 목표 설정과 문제 정의 과정이 잘못된 것이고, 구성원들이 프로덕트의 목표와 풀어야 할 문제에 공감하지 못하면 일을 원활하게 진행할 수 없기 때문입니다. 마치 노를 각자 다른 방향으로 젓는 배에 함께 타고 있는 것과 같아요. 이렇듯 제대로 된 논리를 세우고 합리적으로 문제 정의를 했을 때, 이를 통해 형성된 공감대를 바탕으로 모두가 한 마음으로 프로젝트에 임할 수 있게 됩니다.
유저의 재방문율을 높이기 위해 로그인 요청 기능을 넛지로 제공
로톡 전체 유저의 재방문율이 높지 않지만 한 번이라도 로그인한 이력이 있는 유저의 재방문율은 4~5배에 달합니다. 이와 같은 수치로 미뤄봤을때, 로그인한 이력이 있는 유저는 그렇지 않은 유저에 비해 재방문율이 높다는 것을 알 수 있었습니다. 따라서 재방문율을 높이기 위해 유저의 로그인을 유도해보기로 결정 하였습니다.
사실 단순 로그인 유도를 하여 로그인 비율을 높이면 재방문율이 올라갈 것이라는 논리에는 문제가 있습니다. 원래 재방문 의사가 있어 회원가입을 하거나 로그인을 한 유저일 수 있기 때문입니다. 로톡 서비스는 온라인 글 작성이나 유료 상담 예약 기능을 제외하면 모든 콘텐츠는 로그인 없이 탐색할 수 있기 때문에 ‘로그인’을 했다는 점으로 재방문을 유도하기는 어려울 수 있지만, 일단 작은 기능을 출시해 넛지를 가해보고 유저 반응을 살피며 경험 데이터를 쌓아보자는 생각으로 로그인 요청 기능을 기획하게 됐습니다.
‘로그인 요청 기능을 넣으면 로그인 할 것이다.’ 라는 가설이 수립할까?
왼쪽 이미지는 모바일 화면, 오른쪽 이미지는 데스크탑 화면
‘로그인 요청 기능을 넣으면 로그인을 할 것이다’ 라는 가설을 수립하고 로그인 요청 바텀시트 기능을 로톡 프로덕트내 출시하였습니다.
재방문율을 높이기 위한 로그인 요청, 시도는 좋았지만 부작용이?
로그인 바텀시트 기능을 출시하고, 가설 검증의 주요 지표인 ‘로그인 요청 출시 전후의 로그인 유저수 비교 추이’ 를 추적할 수 있는 대시보드를 작성했습니다.
단순 로그인 유저 수뿐만 아니라 해당 로그인 요청 바텀시트가 노출된 이후에 로그인을 하였는지 유저의 행동 순서를 고려한 퍼널을 살펴보았어요. 로그인 데이터뿐만 아니라 이러한 요청을 통해 회원가입 유저도 늘었는지도 살펴보았습니다.
또한, 단순 목적 지표 추이를 통해 목적을 달성했는지 보는 것에만 그치지 않고 모바일과 데스크탑 유저로 나눠서 로그인 요청 바텀시트에 대한 유저들의 반응까지 살펴보았어요.
하지만 이렇게 다양한 유저 반응을 살피다 보니 부작용이 우려되었습니다.
새롭게 추가한 인터페이스 사용자 반응을 볼 수 있는 그래프
위 이미지와 같이 로그인 요청에 대한 노출 건당 수락과 거절 데이터를 파악했을때, PC에서는 수락도 거절도 하지 않는 경우가 대다수인 반면에 모바일로 접속한 경우에는 거절하는 경우가 많았습니다.
그 이유는 모바일 환경에서의 바텀시트 영역의 크기가 PC 화면과는 다르게 모바일 화면의 많은 부분을 차지하고 있기 때문이에요. 재방문율을 높이기 위해 시도했던 개선작업에 오히려 유저들이 탐색 피로도를 느껴 이탈하지 않을지 우려되었습니다. 좀 더 본격적으로 문제를 파악하기 위해 모바일 환경에서의 로그인 바텀시트 영역의 부작용에 집중하여 데이터를 살펴보기 시작했습니다.
데이터를 통해 유저 행동에 대한 진실을 찾아가는 여정
데이터로 유저의 행동을 분석할 때에는 여러 방면으로 고민해 보아야 합니다.
이번 프로젝트에서는 유저의 행동에 영향을 미치는 요인이 순수하게 로그인 요청 바텀시트인지에 대한 고민이 필요했습니다. 따라서 로그인 요청 바텀시트의 영향을 최대한 객관적으로 분석할 수 있도록 기획하는 것이 중요했어요.
유저가 로그인 요청 바텀시트 노출 후에 페이지를 이탈하였을 때, 로그인 요청 바텀시트 때문에 이탈한 것인지 혹은 로그인 요청 관계없이 원래 이탈할 유저였는지를 데이터로 확실하게 알 수 있는 방법은 존재하지 않아요. 명확한 인과관계는 엄밀한 설계 하에 수행된 실험 결과로만 알 수 있으며 로그인 요청 바텀시트를 본 유저들 하나하나에게 경험을 물어보고 답을 얻는 것은 불가능에 가까워요. 그래서 주어진 유저 데이터를 복합적으로 살펴보면서 진실에 가까운 답을 찾아가야 합니다.
우선 로그인 요청 바텀시트의 영향을 받은 유저의 콘텐츠 소비량을 가능한 정확하게 추적하기 위해서 ‘바텀시트 출시 전에도 로톡을 방문하여 여러 컨텐츠를 탐색한 유저들’을 분석 대상으로 한정했어요. 분석 대상을 한정하지 않을 경우에는 페이지 탐색 경향성이 서로 다른 유저의 행동을 ‘로그인 바텀시트 요청의 영향 때문’이라고 잘못된 판단을 내릴 수 있기 때문입니다.
그런데 로그인 요청 기능 출시 전후에 모두 로톡을 경험한 유저들은 로그인 요청 기능 출시 전 상황보다 로톡의 서비스와 여러 페이지에 대한 이해도가 높을 가능성이 크기 때문에 오히려 분석의 노이즈로 작용할 여지도 있습니다. 이러한 여러가지 사항을 고려해서 주어진 데이터에서 최선의 분석 방법을 찾는 것이 중요합니다.
데이터로 확인한 바텀시트 영역 축소의 필요성
이와 같이 순수한 바텀시트 영역에 대한 반응 데이터를 보다 정확하게 추적하기 위해 분석 기획을 하였으며, 여러 분석 결과를 복합적으로 해석했습니다.
.png&blockId=e5ed55ad-74fd-4ddf-9c5e-3a1e957104b8)
그 결과, 로그인 요청 바텀시트 기능이 출시되기 전에 로톡에 방문해 여러 페이지를 탐색한 적이 있는 유저들 중 로그인 요청 바텀시트를 종료하지 않고 무반응한 경우에는 페이지 탐색이 줄었으며 이탈율도 증가했다는 분석 결과를 얻을 수 있었습니다. 이러한 결과를 통해 로그인 요청 기능이 오히려 부작용을 줄 가능성이 있다는 것을 확인 할 수 있었어요. 부작용을 확인하게 되면서 로그인 요청 바텀시트의 사이즈를 줄이는 것을 제안하게 됐습니다.
데이터에 근거한 로톡 의뢰인 스쿼드의 유저인터페이스 의사결정
로톡 의뢰인 스쿼드는 분석 과정과 내용, 그 근거를 적극 수용하여 제품의 새로운 개선 방안들을 만들어가고 있습니다.
로그인요청 기존화면
로그인요청 개선화면
모바일 화면에서 로그인 요청 기능의 디자인 개선 포인트는 다음과 같습니다.
심볼 아이콘과 설명 영역 삭제를 통해 로그인 요청 영역을 기존보다 약 68% 축소하여 모바일 유저의 컨텐츠 탐색에 방해가 되지 않게 하는 디자인 ‘로그인’ 버튼명에 로그인 시 혜택을 언급한 디자인 ‘로그인’ 버튼이 길어짐에 따라 ‘다음에’ 버튼을 ‘x’버튼으로 변경한 디자인로그인 요청 바텀시트의 성공적인 개선 결과
앞서 설명한 과정을 통해 모바일 화면에서 로그인 요청 바텀시트를 줄였습니다.
바텀시트를 줄이는 것으로 끝내지 않고, 로그인 요청 바텀시트의 사이즈 축소 전·후 유저들의 페이지 탐색량과 이탈률 등을 비교했어요. 사이즈 축소 전 부작용으로 우려되었던 바텀시트 영역에 아무런 반응도 하지 않은 유저의 페이지 조회수와 이탈률을 살펴보았습니다. 그리고 혹시 이번에는 바텀시트 영역 축소의 부작용으로 로그인 요청을 수락하는 유저 비율이 줄지는 않았는지 함께 분석하였습니다.
마찬가지로 바텀시트 영역의 축소 요소만 달라졌을 때의 분석 결과를 추적하기 위해 분석 기획을 하고, 여러 분석 결과를 복합적으로 해석하였습니다. 전후 비교이기 때문에 일별로, 주별로 서비스의 여러 트래픽에 영향을 미칠 만한 다른 요소가 있는지를 꼼꼼히 살펴야 합니다. 전후 비교를 할 때는 서비스의 주요 지표의 일자별, 전후 비교를 포함한 주별 시계열 트렌드를 시각화하고 함께 살펴보는 작업이 필요합니다.
배포 전후 개선된 차이를 확실히 보여주고 있는 그래프
위의 그래프는 바텀시트 영역 변화 전후로 로그인 요청 바텀시트에 대한 반응에 따라 이탈률의 추이가 어떻게 변하는지 시각화한 자료입니다. 이때 분석 대상 유저도 바텀시트 영역 축소 전후에 모두 로톡 서비스에 방문하여 해당 기능을 경험한 이력이 있는 대상으로 좁혔습니다.
그리고 위의 단순 이탈률만 보아서는 원래 이탈할 유저였는지, 바텀시트 영역 때문에 이탈한 것인지 알 수 없기 때문에 위의 자료를 포함해서 여러 가지 다른 분석 결과를 통해 바텀시트 영역 축소의 영향을 분석 후 결론 내렸습니다.
이러한 분석 과정을 통해 바텀시트 영역 축소로 바텀시트에 아무런 반응도 하지 않는 경우에는 페이지 탐색량이 늘고 이탈률이 감소하였다는 것을 확인할 수 있었습니다. 그리고 로그인 요청 바텀시트에 로그인을 하는 유저 비율은 영역 축소 후에도 줄지 않았던 점을 통해 바텀시트 축소가 옳은 판단이었음을 확인하였습니다.
이번 분석결과를 확인한 로톡 의뢰인 스쿼드의 멤버 중 한 명은 로그인을 보다 강력하게 요구(큰 바텀시트 영역)하면 더 많이 수락하고, 그렇지 않으면(작은 바텀시트 영역) 덜 수락할 것으로 생각하였던 자신의 생각은 주관적이었음을 깨달았다고 전했어요.()
)로그인 요청 프로젝트, 그 이후…
지금까지 로톡 의뢰인 스쿼드에서 진행한 로그인 요청 프로젝트를 설명드렸는데요, 저희는 로그인 요청에서 그치지 않고 ‘로그인을 한 이용자에게 어떤 서비스를 제공할 수 있을까’를 고민하고 있습니다.
로그인을 한 이용자에게 양질의 콘텐츠와 서비스를 제공하여 로그인 비율을 높인다면 법적 문제를 가지고 있는 유저부터 법적 문제를 가지고 있지 않는 유저도 재방문하지 않을까요? 유저의 재방문율을 높일 수 있는 다양한 방법들을 고민 중에 있어요.
내 알림 키워드 기능
고민의 결과로, 키워드를 등록하면 로그인 유저에게 해당 키워드와 관련이 있는 조회수가 높거나 정확도가 높은 콘텐츠를 카카오톡 알림으로 전송해주는 ‘내 알림 키워드’ 기능도 출시했었는데요, 단순 서비스 출시에 그치지 않고 기능의 문제는 없는지 그리고 재방문율을 높이고자 했던 목표 성과를 달성하는 데 신규 기능이 기여하였는지 데이터 분석도 실시간으로 진행하고 있습니다.
로톡 의뢰인 스쿼드는 프로덕트 개선 목표인 ‘당장 법률 문제를 갖지 않아도 재방문하는 서비스’를 만들기 위해 이용자분들을 위한 어떤 메뉴(?)를 준비하는 것이 좋을까 고민하고 있습니다. 고민의 매 순간, 데이터로 판단하고 의사 결정하는 과정을 거칠 것입니다. 우리는 이러한 여정 중에 있습니다.
의뢰인 스쿼드는 앞으로도 사용자가 불편할 새가 없는 서비스를 만들기 위해 노력할 것입니다. 저희가 가는 여정에 많은 관심 부탁드리며, 문제를 해결하는 방식을 종종 공유드리겠습니다!
Writer: 문근영
Edit: 신다솜
-이 아티클은 2023년 5월 기준으로 작성되었습니다.
