小心A/B测试的陷阱：从水沟流入下水道的水

当本应该流入下水道的水，却停滞在水沟时。A/B测试就是个陷阱。你不觉得A/B测试其实是类似于液体那样工作的吗？如果是不，那么我将给出正确的缘由。

在奥斯汀的某地的院子里经常有些深坑。依照常理说，水可以自然的流到大街的下水道里，但在重力作用下的水并不是这么工作的。

水总是在寻找院子里最低点，这个方法很狭隘。水并不考虑全局关系—即流到最低的地方。而是流向附近最低点。水并不知道越过栅栏就可以流到更低的地方，如：下水道。

在数学理论上，水达到的最低点不是“全局最小值”而是“局部最小值” 。也许水这是在一木障林了。

也许A/B测试有时也出现正如上述的情况

典型的A/B测试就像是这样：开始于某一点，然后改动其中一处。也许将标题由“酸奶酪将你挤垮？”改为“如何知道酸奶酪坏掉了？”然后进行测试，其中一个胜出。接着你又继续另外个测试“酸奶酪是好还是坏的？”将你改进的诸如此类的想法付诸行动后。一点一点的你会觉得收入也会随之增加。但事与愿违，往往不是这样的。

时常发生的情况是：做的小改动几乎起不到任何改进作用。并且，你很难意识到这一点。这时，你也许尝试放弃，但这也许是错误的。

你已经知道数学家所说的“局部最小值”也就是我说的“臭水沟”。 你要测试的是院子里流入最低点的水。彻底改变你的观点、话语、布局、价值主张、颜色，或是目标受众可能揭示的新的，断续的，不能增长的变化。真正的关注点在下水道（全局最小值—译者注），你需要越过障碍。由于全新地方寻找的利益有时要比改进有更好的提升。你需要从起点开始寻找那些不连续的点。

做好上述的事情你需要做好两方面：不仅需要将A增长到A2，也需应用于不同于A版本的B版本。这样一来，即可以得到由于小调整带来的增长，也可以通过改进某些地方来获得提升。这也许可以让你的收益增长的更快。

当你在玩弄新想法与新个性的时候，也需要有些微小的变化。

英文地址：Out of the cesspool and into the sewer: A/B testing trap

译文地址：http://davidw.me/translate/local-minimum-global-maximum/

标签：

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点，本站所提供的摄影照片，插画，设计作品，如需使用，请与原作者联系，版权归原作者所有