./bin/angel-submit --action.type train --angel.app.submit.class com.tencent.angel.example.quickStart.myLRRunner --angel.train.data.path $input_path --angel.save.model.path $model_path --ml.epoch.num 10 --ml.feature.num 10000 --ml.data.type dummy --ml.learn.rate 0.001 --angel.workergroup.number 3 --angel.worker.memory.mb 8000 --angel.worker.task.number 3 --angel.ps.number 1 --angel.ps.memory.mb 5000 --angel.job.name myLR 提交完毕后,可以按照这个指引,《查看到 Yarn 上的作业》,如果你不熟悉 Yarn 的话:https://github.com/Tencent/angel/blob/master/docs/deploy/run_on_yarn.md OK。至此,你已经完成了一个简单的 Angel 作业。想写出更加复杂的机器学习算法吗?请看完整的《Angel 编程指南》吧,欢迎来到 Angel 的世界:https://github.com/Tencent/angel/blob/master/docs/programmers_guide/angel_programing_guide.md 你也可以在这里查看 Spark on Angel 快速入门:https://github.com/Tencent/angel/blob/master/docs/tutorials/spark_on_angel_quick_start.md 编程手册 Angel 编程手册:https://github.com/Tencent/angel/blob/master/docs/programmers_guide/angel_programing_guide.md Spark on Angel 编程手册:https://github.com/Tencent/angel/blob/master/docs/programmers_guide/spark_on_angel_programing_guide.md 设计 核心类的说明:https://github.com/Tencent/angel/blob/master/docs/apis/interface_api.md psFunc 手册:https://github.com/Tencent/angel/blob/master/docs/design/psf_develop.md 算法 这里介绍了 Angel 支持的几种算法,详情请参看原项目: logistic 回归(Logistic Regression) 矩阵分解(Matrix Factorization) 支持向量机(SVM) K-均值(KMeans) GBDT LDA Spark on Angel Optimizer 部署 源码下载和编译 1. 编译环境依赖 Jdk >= 1.8 Maven >= 3.0.5 Protobuf >= 2.5.0 2. 源码下载 git clone https://github.com/Tencent/angel 3. 编译 进入源码根目录,执行命令: mvn clean package -Dmaven.test.skip=true 编译完成后,在源码根目录 dist/target 目录下会生成一个发布包:angel-1.0.0-bin.zip 4. 发布包 发布包解压后,根目录下有四个子目录: bin:Angel 任务提交脚本 conf:系统配置文件 data:简单测试数据 lib:Angel jar 包 & 依赖 jar 包 本地运行 1. 运行环境准备 Hadoop >= 2.2.0 Java 1.8 版本 Angel 发布包 angel-1.0.0-bin.zip 配置好 HADOOP_HOME 和 JAVA_HOME 环境变量,解压 Angel 发布包,就可以以 LOCAL 模式运行 Angel 任务了。 2.LOCAL 运行例子 发布包解压后,在根目录下有一个 bin 目录,提交任务相关的脚本都放在该目录下。例如运行简单的逻辑回归的例子: ./angel-example com.tencent.angel.example.SgdLRLocalExample 3. Yarn 运行:https://github.com/Tencent/angel/blob/master/docs/deploy/run_on_yarn.md 4. 系统配置:https://github.com/Tencent/angel/blob/master/docs/deploy/config_details.md 论文 目前腾讯还没公开发布相关论文,可关注本项目查看更新。 本文为机器之心报道,转载请联系本公众号获得授权。 ✄------------------------------------------------ 加入机器之心(全职记者/实习生):[email protected] 投稿或寻求报道:[email protected] 广告&商务合作:[email protected] (责任编辑:本港台直播) |