“세 가지 유형의 질문을 준비해 사용성 테스트를 진행했으나 결과 수치가 어떻게 나왔길래 이런 결론에 도달했는지 알 수 없는 글입니다. (중략)충분한 근거 없이 단순히 소비자의 시각에서 작성된 것 같은 느낌이네요.”

*사용성 테스트(UT)란?

UI·UX 컨설팅조직 닐슨노먼그룹에 따르면, 사용성 테스트는 대표적인 사용자 그룹을 대상으로 디자인이 얼마나 사용하기 쉬운지 테스트하는 방법으로, 사용자가 작업을 수행하는 과정을 관찰함으로써 디자인의 문제점을 발견하는 것을 목표로 한다.

 

“이번 테스트를 통해 토스는 ‘버튼 모양’과 ‘맥락’의 상대적인 기여도를 살펴보고자 한 것 같아요. 따라서 이 두 가지 요소가 변수가 되어야 하는데, 실험에서는 이 두 요인이 충분히 통제되지 않았어요. 버튼 모양과 질문의 맥락이 동시에 작용하는 환경에서 실험이 진행됐죠. 게다가 비교군도 명확하지 않아서, 실험 결과가 무엇으로부터 유발되었는지 알기가 어려운 상황이에요.

따라서 이번 테스트는 ‘특정 상황에서 버튼의 모양이 사용자 선택에 미치는 영향이 미미하다’는 사실을 보여줄 순 있어도, ‘맥락이 버튼 모양보다 중요하다’는 결론을 이끌어내기엔 부족합니다.”

“닐슨의 ‘5명 규칙’에 따르면, 15명의 참가자는 주요 사용성 문제를 발견하기에 충분한 규모로 보입니다. 현업에서는 5명만 대상으로 UT를 해도 충분하다는 인식이 있죠. 사실은 시간 제약 때문에 그렇게 하는 경우가 많습니다. 정확하게 말하면 5명을 대상으로 한 UT는 3분의 1 확률로 나타날 수 있는 사용성 문제의 85%를 검증할 수 있습니다. 10분의 1 확률로 나타나는 사용성 문제의 85%를 검증하려면 18명을 대상으로 사용성 테스트를 해야 합니다.

토스 아티클의 이번 실험은 기존의 디자인 관례를 부정하는 결론을 도출했습니다. 더 신중한 접근이 필요했다고 봐요. 정량적 측면에서 살펴보면 이번 실험은 Adjust Wald 신뢰구간(95% 기준, 약 61~98%)을 고려할 때 최대 39% 사용자 그룹의 잠재적 문제가 간과될 수도 있습니다.”

“토스 같은 대형 플랫폼에서 UI의 보수적인 관성을 탈피한다는 이유로 통용되던 기존의 약속을 깨버리면요. 사용자들은 토스 서비스 안에서는 편리하다고 느낄지 모르나, 다른 앱을 사용할 때 혼란을 겪습니다. ‘토스에선 A가 B로 작동하는데, 다른 곳들은 왜 A로만 작동하지?’라고요.

이를 감당해야 하는 건 다른 기획자, 디자이너, 개발자 등 현업 실무자들입니다. 글이 수정되기 전에는 더욱 급진적인 표현이 많았습니다. 자유로운 의견이라고 치부하기엔 토스는 영향력이 강하고 넓게 작용하는 플랫폼이라는 사실을 기억해야 하지 않을까요.”