实际上大多数机器学习工具都无法直接支持类别特征，一般需要把类别特征，转化到多维的0/1特征，降低了空间和时间的效率。而类别特征的使用是在实践中很常用的。基于这个考虑，LightGBM优化了对类别特征的支持，可以直接输入类别特征，不需要额外的0/1展开。并在决策树算法上增加了类别特征的决策规则。在Expo数据集上的实验，相比0/1展开的方法，训练速度可以加速8倍，并且精度一致。据我们所知，LightGBM是第一个直接支持类别特征的GBDT工具。

LightGBM的单机版本还有很多其他细节上的优化，比如cache访问优化，多线程优化，稀疏特征优化等等，更多的细节可以查阅Github Wiki(https://github.com/Microsoft/LightGBM/wiki)上的文档说明。

优化汇总对比表:

在探寻了LightGBM的优化之后，发现LightGBM还具有支持高效并行的优点。LightGBM原生支持并行学习，目前支持特征并行和数据并行的两种。特征并行的主要思想是在不同机器在不同的特征集合上分别寻找最优的分割点，然后在机器间同步最优的分割点。数据并行则是让不同的机器先在本地构造直方图，然后进行全局的合并，最后在合并的直方图上面寻找最优分割点。LightGBM针对这两种并行方法都做了优化，在特征并行算法中，通过在本地保存全部数据避免对数据切分结果的通信；在数据并行中使用分散规约 (Reduce scatter) 把直方图合并的任务分摊到不同的机器，降低通信和计算，并利用直方图做差，进一步减少了一半的通信量。基于投票的数据并行则进一步优化数据并行中的通信代价，使通信代价变成常数级别。在数据量很大的时候，atv，使用投票并行可以得到非常好的加速效果。更具体的内容可以看我们在NIPS2016的文章[1]。

LightGBM的工作还在持续进行，近期将会增加更多的新功能，如：

R, Julia 等语言支持（目前已原生支持python，R语言正在开发中）

更多平台(如Hadoop和Spark)的支持

GPU加速

此外，LightGBM开发人员呼吁大家在Github上对LightGBM贡献自己的代码和建议，一起让LightGBM变得更好。DMTK也会继续开源更多优秀的机器学习工具，敬请期待。

　　[1] Meng, Qi, Guolin Ke, Taifeng Wang, Wei Chen, Qiwei Ye, Zhi-Ming Ma, and Tieyan Liu. "A Communication-Efficient Parallel Algorithm for Decision Tree." In Advances In Neural Information Processing Systems, pp. 1271-1279. 2016.

　　看完这篇文章有没有收获很大？还想知道更多相关问题，快来下方评论区提问吧！

　　你也许还想看：

　　微软小冰进驻微软研究院微信啦！快去主页和她聊聊天吧。