<A/B 테스트>를 읽고

책을 읽고

새벽올챙이 2023. 8. 29. 00:43

A/B 테스트 - 예스24

신뢰도 높은 실험을 설계하는 가이드를 제공한다. 특히 각각 과정이 더욱 정확하게 측정가능한 온라인을 대상으로 한다. 구글, 링크드인과 마이크로소프트의 빅테크 기업에서 전 세계인을 대상

www.yes24.com

중요 내용 요약

1. A/B테스트 위너 선정은 하나의 지표가 아니라 여러 지표를 보고 판단해야 한다.

2. 여러 지표의 P-Value는 실험의 예상 영향도에 따라 임계치를 분석가가 판단할 수 있다.

3. 가드레일지표로써 비즈니스 관련이 아닌 신뢰도 관련 지표도 필요하다 (ex. SRM - 실험군/대조군 샘플수 비중)

4. 지표는 단기적으로 측정가능하되, 장기적이고 지속적인 성과를 나타낼 수 있어야 한다. 매출의 경우 단기적으로 다크패턴을 활용하여 높일 수 있기에 좋은 지표가 아닐 때가 있다

5. 매출유저수가 아닌 매출액을 지표로 볼 경우, 분산이 커져서 필요한 샘플수도 증가한다.

6. 초두효과, 신기효과를 잘 감지해야 한다. 혹시 감지된다면 실험기간을 늘릴 필요가 있다

7. 페이지로딩속도가 매출에 미치는 영향은 생각보다 크다는 것을 인지하자

느낀 점

A/B테스트에 대한 여러 케이스와 자세한 설명이 있어서 좋았다.

다만 번역이 너무 불친절하고 이해하기 어려워서, 중간부터는 집중력이 많이 꺠졌다.

어쩔수없이 많은 페이지들을 건너뛰고 읽었는데, 한장씩 차근차근 다시 살펴볼 필요가 있을 것 같다.