“我们做了测试了，然后失败了。”

　　这个说法在A/B测试的世界中出现的频率那是相当的高，但它忽略了一个事实，一个概念本身与概念的执行有着本质上的不同。想法经常随着时间重现。

　　一个以前失败过的人往往被贴上失败的标签，他们永远不会走出新的大门。

　　是的，我想到多年以前…虽然做过尝试，但没什么卵用。

　　如果不检查，这种快速击倒的心态可能是有害的。因为 Booking.com 已经进行了大约十年的A/B测试，有时似乎一切都已经尝试过了。虽然我们做了很多，失败了很多次，并且也赢了很多次，但对于客户在我们网站上的体验，依然有很大的改进空间。

　　这就是为什么我对这种无情的陈述的反应通常是，“好吧，那么…你到底试过什么，多久之前试过的？”

　　他们的A/B测试是否以类似的方式接近整体思路，提出新的方法？如果是，它运行了多长时间？它是如何影响用户行为的？他们能否110％确定在其实施中没有引入错误或可用性问题？

　　失败总比成功多。

　　当我听到一个坚实的概念失败时，我会有一个问题列表。这个列表源自我的经验，导致失败的方式比导致成功的方式多得多。

　　这种说法是相当悲观的，并有充足的理由。我已经做了足够多的A/B测试（从生成初始概念到从坚实的技术角度实施它），以掌握可能导致好主意消失的运动部件的数量。

　　一个细节上似乎“无关紧要的变化”或一个难以识别的设计缺陷可能产生的负面影响，足以抵消你的改变可能造成的积极影响。

　　这里有一些可以使好主意失败的具体例子：

　　由于不太理想的技术实施，增加了页面加载时间

　　你添加了一些大图片，重CSS，或一些表现不佳的JS？你有没有注意到任何可能出现的新错误？

　　密切关注所有重要的网站统计信息，因为对用户的“不可见”更改与内容和视觉更改一样重要。

　　关键元素上的颜色，字体或字体大小选择有误

　　最重要的信息足够醒目和清晰吗？

　　即使是像把字体用错地方这样看似无关紧要的事情也可能产生负面影响。

　　与页面上其他内容相关的功能项的大小或位置不正确

　　你添加或重新设计元素时是否注意了页面上的另一个关键元素？你是否删除了其他内容来为新功能“留下空间”？

　　你无法在网页上添加，删除或更改任何内容，而不影响用户与其他内容的互动方式。设计师倾向于密切关注他们正在做的新东西，但忘记了他所改变的元素周围以前是什么样子的。

　　时机不对

　　你实现了在一定时间后消失的工具提示吗？你添加的内容在一年的某个特定时间内是否有意义？

　　显示某些类型的信息太早，太晚，或者没有给人足够的时间吸收内容有时可能与你预期的效果相反。

　　边缘情况下的错误

　　在较少使用的浏览器或设备中是否存在渲染问题？它只是在平板电脑上可用，但是当它出现在桌面上呢？如果网站是多语言的，全部都翻译正确并正确本地化了吗？

　　如果足够多的这些边缘情况组合在一起，j2直播，它们的累积效应可能是负的。然而，这是全面的A/B测试框架的好处之一！

　　你可以使用分析来查看潜在的用户代理，浏览器类型和测试失败的国家/地区。每个用户都应该在你的网站上有一个良好的体验，开奖，并解决你在数据中识别的这些问题可以推动结果超越边缘。A/B测试可以帮助确保每个用户的高品质。

　　做出与原始概念没有内在联系的大的，小的和/或不必要的改变，可能具有意想不到的后果

　　你改变了一行文字，是否同时也使字更大/更小或添加了新颜色？

　　如果是这样，那么你污染了你测试的概念。我已经看到字体大小略有增加，而测试颜色变化导致坚实和可重复的概念失败。

　　嘈杂的跟踪

　　你是否正在测试新流程或不同的互动？你要添加或更改的内容是否会立即显示在网页上？