저희 팀에서 운영하고 있는 도메인 중 하나로 '실험플랫폼'이 있습니다. 다양한 서비스에서 고객이 접속하면 실험군에 맞게 할당해주고 로그를 남겨주는 녀석입니다. A/B테스트를 하기도 하고, 기능플래그 용도로 사용되기도 합니다. 세부적으로는 지역별로, OS별로, 버전별로 할당도 가능하고 기기나 회원번호를 기반으로 세그멘테이션을 도와줍니다.
실험플랫폼을 운영하다보면 전사에서 어떤 실험들이 진행되고 있는지 알게 됩니다. 실험은 다양한 목적으로 진행됩니다. 세부 실험 내용과 결과 분석까지는 들여다보지 못하더라도 이런 부서에서 이런 종류의 실험을 기획하는구나- 정도는 알 수 있습니다.
저도 실험을 기획하는 입장이기도 하고, 그 실험을 기획하는 것을 보는 입장일 때도 있는데 정말 여러가지 생각이 듭니다. 반드시 성공할 것이라 믿는 실험, 점진적 출시를 위한 롤아웃, 데이터가 좋지 않음을 정량적인 근거로 남기기 위한 실험들을 보면 ‘실패하지 않는 실험이네?’ 라는 느낌이 들어요. 가설이라는 걸 적긴 하지만, 성공할 수 밖에 없는 가설들만 실험하니까요. 저는 이걸 '가짜 실험'이라고 생각합니다. 하지만 진짜 실험들을 보더라도 의외로 같은 목적으로 진행되는 실험이 많지 않습니다.
실험의 목적은 '배우는 것'이다
왜 같은 목적으로 실험을 반복하지 못할까요? 이유는 한 두가지가 아닙니다. 새로 실험을 기획을 하고, 개발하고 분석하는 리소스가 결코 적지 않습니다. 결론이 나버렸다 생각하여 다시 가설을 세우지 않고 그만두기도 합니다. '가짜 실험'들은 당연히 다른 실험으로 이어지지 못합니다. 실험하고 결과를 보고, 학습을 통해 다시 실험으로 태어나는 플라이휠이 돌아야 하는데 그렇지 못하는 것이죠.
아이디어 생성과 행동은 서로 정보를 주고받으며 끊임없이 순환해야 한다. 급성장하는 회사를 살펴보면 피드백 고리가 성장을 견인하고 있음을 알 수 있을 것이다. 테스트, 피드백, 수정과 반복. 성장이 지붕을 뚫고 올라갈 때는 행동과 학습이 서로 연결되어 있다. - 210p
학습은 정신적 표상(mental representation)을 명확하게 하고, 정신적 시뮬레이션(mental simulation)을 반복할 때 일어납니다.
- 정신적 시뮬레이션(mental simulation)이 작동하려면 먼저 개념적 지식과 경험이 정신적 표상(mental representation) 으로 저장되어 있어야 합니다.
- 시뮬레이션을 통해 학습자는 자신의 정신적 표상(mental representation)을 검증하고 수정하며 더욱 정교화합니다.
- 학습자는 정신적 표상(mental representation)을 활용해 다양한 시나리오를 시뮬레이션하고, 이를 통해 새로운 정보를 학습하며 기존 표상을 발전시킵니다.
하지만 이 두 가지가 자연스럽게 교차되지 않으면 한 쪽만 비대해집니다. 정신적 표상만 구체적일 경우 어떤 가설이나 옵션이 있는지 고심하지 않으므로 일단 아무거나 닥치는대로 숫자를 뽑는 데에 의미를 두고 맙니다. 반대로 정신적 시뮬레이션만 하면 실제 결과를 확인하지 않으면서 머리속으로 이건 이래서 안돼, 저건 저래서 안돼 하면서 행동으로 가기까지 많은 아이디어를 처단합니다.
실험 비용은 '빠른 학습'을 방해한다
한 번 개발하는 리소스로 이왕이면 많은 가설들을 검증해보려고 많은 지표들을 설계하는 모습도 봅니다. '앞으로 더 좋은 실험을 할 수 있을 정도의 정보만 얻으면 된다'고 저자가 하는 말과 정 반대의 모습이죠.
효과적인 혁신의 핵심은 '속도'다. 주어진 시간에 더 많은 실험을 하는 것 말이다. (중략) 이때 다른 어떤 요소보다 핵심적인 열쇠는 '비용'이다. 테스트 비용이 많이 들면 지켜야 할 번거로운 절차가 늘어난다. (중략) 복잡한 결재 절차는 '빠른 학습'을 어렵게 하는 걸림돌이다. - 208p
우리가 진행하는 실험의 대부분은 생각하는 것보다 비쌉니다. 이렇게 비싼 실험을 하고 분석 결과를 통해 위너는 정했지만, 그래서 어떤 요소가 지표에 결정적 영향을 미치는지 정확히 파악하지 못할 때가 많습니다. 그러니 다시 바닥부터 새로운 가설들을 찾고 새로운 실험이라는 이름으로 어마어마한 변화를 준비하게되죠.
실험은 '결정'을 대신하지 않는다
아무런 가설도 없이 A정책과 B정책 중 하나를 결정하지 못해서 억지로 개발하고 있는 경우도 있습니다. 고민과 통찰의 부족을 '실험해서 데이터로 결정하자'라는 말로 도피한다는 느낌도 들어요.
여러분이 품은 모든 의문에 답해주고, 모든 이해관계자의 걱정을 해결해줄 이상적인 테스트는 없다. 인내심을 가져라. 완벽주의자가 되지 마라. 그리고 하나에 너무 집착하지 마라. 혁신은 사냥이 아니라 낚시다. - 229p
정량적 데이터는 은탄환이 아닙니다. 정량적인 데이터가 없다고 해서 의사결정을 하지 못했다면 우리는 zero to one 을 해보지도 못했으며, 여기까지 발전하지도 못했을 겁니다. 데이터는 결정의 과정을 도울 뿐입니다. '결정'은 그 과정 끝에서, 통찰과 직관으로 내려야하는 최종단계죠.
저는 이 책을 읽으며 실험플랫폼이라는 제품을 개선해서 비싼 실험문화를 바꾸고 싶다는 생각이 들었습니다. 실험을 많이 해야되는 것은 맞지만, 가설도 없고 설계도 부실한 아이디어를 실험이라고 포장하지 않도록 말이에요. 실험해서 결정해야 되는 것도 맞지만, 실험이 없어도 결정할 수 있어야 제대로 된 '의도'니까요. 그나저나 연간 로드맵 세우는 시즌이라 아이디어를 쏟아내려고 본 책이었는데, 일거리만 쏟아낸 느낌이네요. 그게 그건가?
제러미 어틀리, 페리 클레이반