仅在用户实际受到视觉变化或与包含不同行为的元素交互时跟踪用户。如果你跟踪的人没有看到或使用你测试的概念，那么他们就成为统计噪声并稀释结果。跟踪中有太多噪音的话，你就无法听到用户尝试告诉你的内容。

　　谁是受众？

　　谁会看到这种变化？它暴露给所有的访客吗？对来自电子邮件的访客将看到什么会设置一定的期望吗？他们是来自付费广告还是自然搜索？他们是否直接输入了网址？他们是新访客还是回头客？他们以前曾经购买过吗？

　　客户的进入点及其对网站的历史使用会影响他们如何与内容进行互动。你能够将讯息定位到最相关的用户越多，你就越有可能创建有意义的互动，使指标移动。

　　低流量

　　你的测试是否只对一小部分用户暴露了比较微小的变化？

　　要在低流量网站上得到统计显著的结果，你的更改需要更大，更大胆才能看到效果。换句话说，你的想法可能实际上有效，但你只是不能看到它的统计数字。你所做的更改的大小需要与你拥有的流量有关。

　　超前的想法？

　　你什么时候测试这个概念？一段时间过去了，但问题还没有解决？

　　今天没生效的可能会在明天有效果，昨天有效的可能会把你带回到今天。

　　我们设计的产品必须像设计产品的人一样动态。

　　人是动态的，他们的期望随着他们和他们周围的世界的变化而变化。这就是为什么我们设计的产品必须同样动态。

　　设计师可能倾向于引领潮流，因为我们实时关注着发展脉搏。

　　设计趋势，最新的 HTML 和 CSS 技巧，以及奇特的技术集成可能看起来很酷，但大多数时候，我们的期望与典型用户感觉到舒适的差别很大。

　　我们正在设计的产品是为了正常人今天的使用。

　　我总是试图提醒自己，我正在设计产品为了正常人今天的使用。

　　去年不习惯滑动手势的人可能期望今年看到他们。几年后，随着硬件变得越来越强大，过去引发浏览器崩溃的风骚的几行代码就可以解决这个问题。

　　这些只是我在设计数据时遇到的最常见的几个问题。

　　这就是为什么对你所测试的概念有一个高段位的深入理解，对系统的复杂性，以及无瑕疵的实施解决方案的牢固把握，是一个想法最终成功（或失败）的必要条件。

　　以下是在你设置下一个A/B测试时要记住的一些事项：

　　1、记住仔细地通过复杂性来检验你的概念的重要性。

　　2、结果，无论是积极，消极或中立，可以帮助形成相同概念的未来迭代，或可以为你提供对待测试的新假设的洞察。

　　3、保持自己对质量的高标准，即使在容易的情况下。

　　4、每个A/B测试，无论大小或范围，应该得到相同的关注。

　　5、理解一个负的或中性的结果不一定意味着“不”。这些结果也可能意味着“不太

　　对”或“还不完全”，你测试得越多，你就越能发现“不”实际上意味着“不一定”。

　　等等！还有更多…

　　然而，有时，一个概念是如此强烈，它可以生存，即使在最糟糕的情况。

　　我相信你已经经历了主要网站上的特性或功能的例子，这些功能非常有用，但缺乏视觉细化和/或有一些不幸的可用性问题。

　　有时一个糟糕的执行阻止一个伟大的想法成功，但有时一个伟大的想法会成功，尽管实施很随意。

　　所以，就是这两面。

　　“平均”和“例外”之间的区别让数据驱动设计师意识到“概念 ≠ 执行”。