|
网页的测试可以有很多好处，但这里提到5种A/B测试和多变量测试的误区会让你误入歧途，SO，不要犯这样的错误。 单变量、多变量、“颠覆性设计”测试单变量测试就是只测试一个变量的多个值，就是我们平常说的A/B test。注意啦，a/b测试不只是有a/b两个版本， a/b/c/d/e/f/g一样是a/b test!!。
多变量测试呢，就是说会存在多个变量，比如变量是logo的大小，颜色，布局，logo大小有3个值，颜色有3个值，布局也有2个值，需要测试的版本就有3*3*2=18 ！这就是所谓的全因子实验设计。不过一般制造业不会这样子，成本太高了，于是就有了正交实验设计。这样可以在短时间找到显著较优的方案，但并不适用于互联网！ 颠覆性设计就是的全新的（Radical redesigns），多用于新产品，totally different，测试look-and-feel。 网页的测试可以有很多好处，那什么时候用A/B，什么时候用多变量呢？ A/B test的适用条件
多变量测试的适用条件
但这里提到5种A/B测试和多变量测试的误区会让你误入歧途，SO，不要犯这样的错误。 1. 网站分析程序有不是最优的。 在开始测试前，先确定分析程序是OK的，这样不仅可以保证你测试前的分析是正确的，测试过程和测试后也可以正确运行。（补充一下，就是要保证分析之前，采集数据的方法统一。即使有误差那也都存在误差，互相比较时不会把你带到沟里。） 2. 没有用户细分 平均的综合性的指标会掩盖真正的问题。比如说你在测试出网站平均跳出率为59%，如果你去按用户类型细分，新用户可能是74%，回访用户可能是38%。所以目标应该是降低新用户的跳出率。 同样这种情况存在于国内用户与国际用户，邮件订阅者……可悲的是，不是所有程序都能对用户细分。 （补充：正确的用户细分与业务结合得非常紧密，一般需要经过建模，通过合理的变量来细分用户。这样才能实现更有效的细分） 3、使用错误的度量 4、测试时间过短。学习一下统计知识，均值检验、卡方统计等等，不要过早宣判一个版本的胜利。 |
