딜리셔스 그로스팀에서는 정량/정성적인 방법을 사용하여 사용자 인사이트라는 퍼즐 조각을 수집하고 맞춰나가는 일을 하고 있습니다. 본 포스트에서는, 유저 리서처에 대한 간략한 소개와 진행했던 분석 사례를 중심으로 사용자 인사이트를 구체적으로 어떻게 발굴하고 있는지를 소개해 보도록 하겠습니다.

“사용자들은 왜 이렇게 행동할까?”

플랫폼 서비스에서 일하는 사람들이라면 한 번씩은 고민해봤을 겁니다. 접속은 매일 하는데 활동 로그가 하나도 없는 유저, 장바구니에 몇백 개의 상품을 쌓아놓고 주문을 하지 않는 유저, 체류시간이 비정상적으로 높은 유저 등등… 회사마다 고민하는 관심 질문은 다를 수 있지만, 수많은 불특정 다수의 유저를 대상으로 서비스를 하다 보면, 반드시 우리가 의도한 것과 다르게 서비스를 이용하는 유저들을 만나게 되고, 그럴 때마다 ”대체 그들은 왜 저렇게 행동을 할까”라는 고민이 피어나기 마련입니다.

이 단순하면서 심오한 질문을 대하는 자세 역시도 회사마다, 사람마다 제각각일 순 있습니다. 그러나 감히 추측을 해보자면, 대부분 유저를 더 잘 이해하는 것이 중요하다는 점은 공감을 하면서도, 수행 방법론 및 리소스 부족으로 인해, 그 의문이 여전히 남은 채로 기획/디자인/개발이 진행되는 경우가 빈번할 것으로 예상해봅니다.

유저 리서처에게 이 질문은 회피할 수도, 회피해서도 안 되는 질문입니다. 이 질문을 조금이라도 해소하는 것이 우리의 정체성이자 본분이니까요.

이 질문이 해소되는 것이 왜 중요할까요? 그 답변이 곧 유저 중심적인 서비스/디자인을 만들기 위한 핵심 요소이기 때문입니다.

유저 중심적으로 제품을 만들기 위한 핵심 요소는 ‘내가 얼마나 열심히, 치열하게 유저의 입장에서 생각하고 고민했는가’보다는, ‘내가 얼마나 열심히, 치열하게 유저의 입장을 보고, 들었는가’ 라고 생각하는데요. 유저의 입장에서 생각하고 고민해서 나온 결과는, 그냥 내 생각에 불과하기 때문이지요. 예를 들어 레스토랑 셰프로서의 경험이 전혀 없는 제가 ‘셰프들한테는 이런 기능이 필요할 것 같으니 이렇게 기획과 디자인을 하면 되겠다’라고 생각하고 제품을 만드는 과정은 실제 셰프들의 니즈가 반영된 과정이라 생각하지 않습니다. “이 기능은 셰프들의 입장을 제대로 알고 만든 것 같네요”라는 가슴 벅찬 칭찬을 듣기 위해서는 제품의 최초 기획부터 개발하는 과정 중간중간에 지속적으로 셰프들의 의견이 수집되고 반영되어 제품이 만들어져야 합니다. 그렇지 않다면 ”이 기능은 요리의 ‘요’자도 모르는 사람이 만든 게 분명하네요”라는 뼈아픈 비판을 듣게 될 수도 있습니다.

“그래서 사용자를 제대로 이해하려면 도대체 뭘 해야 되나요?”

사실 누군가를 이해한다는 것은 생각보다 거창하고 대단한 일이 아닙니다. 오랜만의 외식에서 부모님이 드시고 싶은 식당을 찾기 위해, 그리고 배우자/연인과의 기념일에 상대방이 원하는 것을 주기 위해 우리는 무엇을 하나요? 별것 없습니다. 그냥 만나서, 또는 전화로 질문을 던지지요. 다만 그 질문이 매우 기계적인 단답형 질문이 아닌, 맥락적인 이해를 갖추기 위한 질문을 던집니다. ‘생일 때 뭐 받고 싶어?’, ‘가격대는?’, ‘브랜드는?’, ‘디자인은?’, ‘원래부터 갖고 싶어 했던 거야?’ 등등 말이죠.

유저 리서치도 크게 다르지 않습니다. 다만 일면식도 없는 낯선 사람을 대상으로 이 작업을 해야 한다는 점이 가장 큰 차이겠네요. 처음 보는 사람과 원활하게 대화를 진행하기 위해 리서처는 다양한 인터뷰 기법들을 활용해 끊임없이 머릿속에서 정보를 정리하고 추가 질문을 떠올리며 맥락적 이해를 달성하려 노력합니다. 그 노력의 결과로 맥락적 이해를 성공적으로 달성하는 순간 드디어 속이 뻥 뚫리는 느낌을 받게 되지요. 이 ‘속뻥뚫’ 순간을 가장 효과적으로 달성하기 위해서는 1) SQL을 활용한 데이터 분석과 2) 1:1 인터뷰를 통한 정성적인 접근을 합친 융합된 접근법을 활용하는 것이 중요합니다.

뭐… 말은 쉽지요. 그 융합된 접근법이 대체 어떤 것인지, 아래 사례를 통해 한번 알아보도록 하겠습니다.

우리 서비스의 주 사용자는 도매/소매 패션 사업자들이다. 소매 사업자들이 우리 앱에서 도매 사업자에게 주문을 넣으면, 도매 사업자들이 들어온 주문을 받아서 물건을 포장하고 주문한 소매 사업자에게 배송하는 구조이다. 이렇게 물건을 준비하는 과정에서, 도매 사용자들이 [포장완료] 버튼을 누르면 소매 사업자에게 알림이 전달되어 물건이 준비가 된 것을 소매 사업자가 인지하게 된다. 문제는, 이 버튼을 누르지 않는 도매 사용자들이 꽤 많다는 것이다. 대체 이들은 왜 [포장완료] 버튼을 누르지 않는 것인가, 이것이 당시 고민하던 질문이었다.

속뻥뚫 인사이트 발굴을 위한 접근 #1 : 정량적 현황 파악

제일 먼저 점검해봐야 하는 것은, ‘과연 이 질문이 충분히 고민할 가치가 있는가’입니다. 일반적으로 특정 사안이 중요한 사안으로 받아들여지기 위해서는 최소한 해당 사안이 발생하는 규모와 이로 인해 발생하는 여파 정도를 따져볼 수 있겠지요.

[포장완료] 버튼을 누르지 않음으로 인해서 발생하는 여파로는, 내부 데이터 정확도 저하와 물건 배송 단계에서 도/소매 사용자 간의 커뮤니케이션 이슈로 인한 사용자 경험 저하, 이로 인해 서비스 이탈까지도 잠재적으로 발생 가능하다는 측면에서 가벼운 사안은 아니라는 공감대가 형성되어 있습니다.

그렇다면 [포장완료] 버튼을 누르지 않는 사용자들이 과연 실제로 얼마나 많은지를 알아볼 필요가 있겠는데요.

[포장완료]처럼 앱 내에서 발생하는 활동들은 대부분 데이터 베이스에 그 기록이 남습니다. 따라서 데이터베이스의 데이터를 직접 조회하고 다룰 수 있다면 우리 앱을 사용하는 전체 유저들에 대해서 얼마나 [포장완료] 버튼이 활용되는지를 보다 수월하게 파악할 수 있습니다.

전체 사용자 중에서 [포장완료] 버튼을 누르는 사용자들의 현황은 과연 어떨까요? 분석을 해보니 아래와 같은 결과를 확인할 수 있었습니다.

이 결과가 시사하는 바는 크게 다음과 같습니다.

1. 대다수의 사용자들이 접수하는 주문수는 10,000개 미만이다.
2. 10,000개 미만의 주문을 받는 사용자 중에서 [포장완료] 버튼을 클릭하는 비율은 0%에서 100%까지 골고루 분포되어있다. (정비례 경향성이 없다.)
3. [포장완료] 버튼 클릭률이 0%에 수렴하는 저조한 사용자들의 규모가 꽤 큰 편이다.

[포장완료] 버튼을 클릭하는 비율이 주문수와 큰 상관관계가 없어 보인다는 점이 특히 유의미하게 보였습니다. 즉, 주문수가 5,000개인 어느 사용자의 [포장완료] 버튼 클릭 비율은 0%인 반면, 동일하게 주문수가 5,000개인 또 다른 사용자의 [포장완료] 버튼 클릭 비율이 100%일 수도 있다는 말이었죠.

이 결과는 조금 곱씹어 볼 가치가 있습니다. 예를 들어, 매출과 직원수의 관계를 생각해볼게요. 월 매출 100만원 매장과, 월 매출 1억 매장에서 직원의 숫자는 어떤 관계를 가질까요? 월 매출 100만원 매장의 직원수가 1명이라면, 월 매출 1억 매장에서는 수십 명의 직원이 필요할 것입니다. 즉, 일반적으로는 매출이 증가함에 따라 직원수도 증가하는 상관관계에 놓여있다고 볼 수 있죠. 그런데 위 데이터가 시사하는 바는, ‘월 매출 1억 매장 중 직원이 50명인 매장들이 있는 반면, 직원수가 0명인 매장도 다수 존재한다’는 의미와 일맥상통합니다.

이 말은 곧, 직원이 0명이면서 월 매출 1억을 유지하는 매장들은 직원 50명의 업무를 대체 가능하게 하는 나름의 업무 행태 노하우가 있다는 의미라고 생각했습니다. 즉, 다시 우리 사례로 돌아오면, 주문수가 5000개인 매장 중에서 [포장완료] 버튼을 누르는 사람들은, [포장완료] 버튼을 누르지 않는 사용자들과 다른 ‘나름의 업무 행태 및 업무 체계’가 존재할 것이라는 추정에 도달한 것이지요. 이를 통해 [포장완료] 버튼 클릭을 촉진시키는 핵심 행태(분석 영역)를 파악하여 대중화(실행 영역)시킨다면, [포장완료] 버튼을 누르지 않은 사용자들도 [포장완료] 버튼을 더 잘 누르게 될 것이다(효과 영역)라는 기초 가설을 생성할 수 있었습니다.

본 가설에서 유저 리서처로서 집중해야 하는 영역은 ‘핵심 행태 파악’, 즉 분석 영역입니다. 분석 영역이 달성되면 대중화라는 실행 영역은 마케팅, 기획 등 타 부서와의 협업을 통해 달성하는 것도 가능하기 때문입니다.

그렇다면 그 행태를 어떻게 파악할 수 있을까요? 이제 정성적인 분석 방법을 사용할 차례입니다.

속뻥뚫 인사이트 발굴을 위한 접근 #2 : 정성적 행태 파악

정량 데이터 분석을 통해 우리는 주문수가 비슷하다는 동질 조건 하에서

• 버튼 클릭 성공률이 높은 사용자 - 고관여자
• 버튼 클릭 성공률이 낮은 사용자 - 저관여자

의 존재를 확인할 수 있었습니다. 이제 해야 할 일은 고관여자, 저관여자를 각각 만나서 인터뷰를 통해 [포장완료] 버튼 클릭과 관련된 맥락을 파악하고 핵심 행태를 발굴하는 것입니다.

정교하게 설계된 정성조사는 무작정 방문해서 이야기를 나누는 것과 다르다는 점을 주의해야 합니다. 사전에 인터뷰 대상자에 대한 조건 설정, 인터뷰 내용에서 다룰 질문 리스트, 섭외 및 일정 조율 등 정교한 정성 조사 수행을 위해서 고려되어야 하는 요소들이 여럿 존재합니다. 정성조사 준비 방법에 대한 세부 내용은 사용자 조사를 해보자라는 개인 블로그 글에서 조금 더 소개해 놓았습니다.

그렇다면 고관여자와 저관여자 간의 행태 차이는 과연 무엇이었을까요? 그것은 바로 주문서 처리 순서였습니다.

저관여자들의 경우, 그날 접수된 모든 주문서를 포스 기기나 수기 장부 등에 일괄적으로 이관시킨 후 물건을 준비했습니다. 반면, 고관여자의 경우 접수된 주문서 건별로 제품 준비까지 모두 완료한 후에 두 번째 주문으로 넘어가는 행태를 보이는 것을 확인할 수 있었습니다. 이 결과로부터 파생된 다음 질문들을 살펴보겠습니다.

Q. 왜 이 순서가 이토록 중요했을까?

[포장완료] 버튼은 우리 앱 내 주문서 화면에 포함되어 있는 버튼이었기 때문에, 제품 준비 단계에서 우리 주문서 화면이 아닌 외부 툴을 참고하는 저관여자들에게 [포장완료] 버튼을 누른다는 것은 굳이 다시 앱을 열어서 버튼을 눌러야 하는 번거로움을 요구하는 작업이기 때문입니다.

반면 고관여자들은 제품을 준비하는 단계에서 우리 앱 내 주문서를 보면서 제품을 준비하기 때문에, 제품 준비 완료 후 바로 같은 화면 내에 있는 [포장완료] 버튼을 누른 후에 다음 주문으로 넘어가는 것이 어렵지 않은 상황이었습니다.

Q. 그렇다면 왜 주문 통합 툴로 주문이 일괄 이관되고 있는 것일까?

도매 사용자들은 우리 서비스 외에도 전화나 카카오톡 등 외부 채널에서 유입되는 주문들이 있기 때문에, 다양한 채널에서 발생하는 주문을 일목요연하게 관리하기 위해 통일된 주문 통합 툴, 또는 수기 장부에 모든 주문을 이관시킨 후에 준비를 하는 기존 관습이 남아있기 때문입니다.

Q. 주문 통합 툴을 쓰는 사용자 중에서도 [포장완료] 버튼 클릭 고관여자가 있는데, 그들은 어떤 행태인가?

정성 인터뷰 과정에서, 고관여자들 중에서도 주문 통합 툴을 사용하면서도 [포장완료] 버튼을 잘 누르는 행태가 있다는 것을 확인할 수 있었습니다. 다만 이 경우, 주문서를 포스 기기에 이관하는 시점에서 [포장완료] 버튼을 미리 눌러놓는다는 것을 포착하였습니다. 즉 [포장완료] 버튼을 우리가 의도한 시점(제품 준비 단계)이 아닌, 그들이 편리한 시점(주문 접수 단계)에 클릭하고 있는 상황이었고, 이로 인하여 소매 사용자 측의 사용 경험까지도 저하될 수 있다고 보였습니다.

속뻥뚫 인사이트 발굴을 위한 접근 #3 : 인사이트 도출

정량 분석을 통해

1. [포장완료] 버튼을 클릭하는 사용자의 규모와 특성을 분석하여 [포장완료] 버튼 클릭 여부가 주문수에 비례하는 것이 아니라, 개개인 유저 별 행태에 기인한다는 단서를 확보하였고
2. 동질 조건 내에서 버튼 클릭 행태 차이를 바탕으로 고관여 집단, 저관여 집단을 식별, 분류할 수 있었습니다.

정성 분석을 통해

1. 고관여 집단과 저관여 집단 간의 클릭 성공률은 주문 처리 순서에서 기인한다는 행태와
2. 주문 처리 순서에서 주문 통합 툴로 주문서가 이관되는 지점에서 [포장완료] 버튼 클릭할 동기가 급격하게 낮아진다는 점,
3. 그리고 주문 통합 툴을 사용하는 고관여자의 경우 우리가 의도하지 않은 시점에 버튼을 클릭하고 있다는 행태를 포착할 수 있었습니다.

여기까지는 발견한 팩트에 불과합니다. 그렇다면 우리의 속뻥뚫 인사이트는 무엇일까요?

[포장완료] 버튼이 클릭되어야 하는 시점과 실제 사용자의 핵심 업무 흐름상의 시점이 일치하지 않아서 [포장완료] 버튼 클릭률이 저조한 사용자들이 존재하는 것으로 보인다.

“대체 왜 사용자들은 [포장완료] 버튼을 클릭하지 않는가?”라는 최초 궁금증이 조금은 해소된 것 같지 않나요?

인사이트를 발굴하는 노력이 가지는 의미

당연한 얘기지만 시장, 그리고 사용자는 True/False처럼 동작하지 않습니다. 100명이 일관된 행동 패턴을 보여도 101번째 사람이 다르게 행동할 수 있는 예측 불허한 환경이 바로 시장이고 사용자이지요. 이러한 불규칙한 환경에서는 ‘정답’을 찾기보다 ‘최선의 합리적인 판단’을 더 추구해야 합니다.

본 글에서 공유한 사례조차도 “근데 이 인사이트를 일반화 하긴 조금 무리이지 않나요?”와 같은 반박에 대해 수긍할 수밖에 없습니다. 모든 유저를 만나서 전수조사를 한 결과가 아니니 어쩔 수 없습니다. 하지만 빠르게 치고 나가는 게 중요한 스타트업에서 일반화가 가능한 인사이트를 수집하는 것에 리소스를 투입하는 것이 과연 효율적인 접근일까요? 오히려 파편적이더라도 납득할 수 있는 수준의 근거가 뒷받침된다면 일단 실행을 해보고, 효과가 미진하더라도 그것을 교훈 삼아 빠르게 개선을 해나가는 문화가 좀 더 스타트업에 적합해 보입니다.

딜리셔스에서는 빠르게 실행하고, 사용자의 반응을 통해 검증받는 접근을 지향합니다. 우리의 결과물에 대해 사용자의 반응은 때로는 열광적이기도, 때로는 냉혹하기도 합니다.

어떻게 하면 항상 환영받는 실행을 할 수 있을까요? 솔직히 잘 모르겠습니다. 하지만 하나 확실한 것이 있다면, 사용자에 대한 이해도가 높아진다고 해서 ‘실패 확률이 높아진다는 것’은 절대 아니라는 것입니다. 수집한 인사이트를 제품에 효과적으로 녹여내는 일은 그 자체로 어려운 일이지만, 사용자에 대한 크고 작은 인사이트들을 수집해 나감으로써 딜리셔스가 취하는 모든 빠른 실행의 성공 확률을 높이는 데 기여할 수 있으면 좋겠습니다.