首先要 Review 问题的方向是不是对的，模型的效果是否符合预期，模型的优化目标是否有明显的变化，比如优化的目标是西瓜好不好，优化之后是不是买到的西瓜好的变多了。

如果不是，那就是这个问题没有解决。那还会有什么原因？是不是指定了错误的目标，用在了错误的环境，或者数据有问题。其实说白了，要么是目标有错，要么是模型用错，要么是数据有问题，基于这 3 点来检查。

在现实业务中，解决了一个问题，有时也会带来新的问题。比如说新闻推荐的系统，现在点击的人多了，那么是不是由于推荐，新闻变得更加娱乐化了，是不是新闻的点击变得更集中化了，这可能并不是业务上非常希望的，需要继续想办法来优化。第二步是 Review 数据，这些数据里面哪些起了关键作用，哪些数据是经验上认为会有作用的，但实际上没有的。那么重新检查这些数据，看是不是数据质量的问题，使得没有发挥应该发挥的作用。还可以看下一步我们可以引入哪些新的数据，数据最好一批一批引入，我加入一批，atv，一次性开发结束。

第三步，当我 Review 上面的事情后，我要制定下一步的方案，往往是我会有新的、更多的数据。我也可能会调整目标，有可能是目标错了要改，也可能是增加目标，原来一个目标不够了，我要加入好几个新的指标，使模型变得更平衡。还有就是在工程上，看性能能不能优化等。