本港台开奖现场直播 j2开奖直播报码现场
当前位置: 新闻频道 > IT新闻 >

报码:腾讯Angel 1.0正式版发布:基于Java与Scala的机器学(4)

时间:2017-06-18 03:19来源:天下彩论坛 作者:j2开奖直播 点击:
./bin/angel-submit --action.type train --angel.app.submit.class com.tencent.angel.example.quickStart.myLRRunner --angel.train.data.path $input_path --angel.save.model.path $model_path --ml.epoch.num 1

./bin/angel-submit --action.type train --angel.app.submit.class com.tencent.angel.example.quickStart.myLRRunner --angel.train.data.path $input_path --angel.save.model.path $model_path --ml.epoch.num 10 --ml.feature.num 10000 --ml.data.type dummy --ml.learn.rate 0.001 --angel.workergroup.number 3 --angel.worker.memory.mb 8000 --angel.worker.task.number 3 --angel.ps.number 1 --angel.ps.memory.mb 5000 --angel.job.name myLR

提交完毕后,可以按照这个指引,《查看到 Yarn 上的作业》,如果你不熟悉 Yarn 的话:https://github.com/Tencent/angel/blob/master/docs/deploy/run_on_yarn.md

OK。至此,你已经完成了一个简单的 Angel 作业。想写出更加复杂的机器学习算法吗?请看完整的《Angel 编程指南》吧,欢迎来到 Angel 的世界:https://github.com/Tencent/angel/blob/master/docs/programmers_guide/angel_programing_guide.md

你也可以在这里查看 Spark on Angel 快速入门:https://github.com/Tencent/angel/blob/master/docs/tutorials/spark_on_angel_quick_start.md

编程手册

Angel 编程手册:https://github.com/Tencent/angel/blob/master/docs/programmers_guide/angel_programing_guide.md

Spark on Angel 编程手册:https://github.com/Tencent/angel/blob/master/docs/programmers_guide/spark_on_angel_programing_guide.md

设计

核心类的说明:https://github.com/Tencent/angel/blob/master/docs/apis/interface_api.md

psFunc 手册:https://github.com/Tencent/angel/blob/master/docs/design/psf_develop.md

算法

这里介绍了 Angel 支持的几种算法,详情请参看原项目:

logistic 回归(Logistic Regression)

矩阵分解(Matrix Factorization)

支持向量机(SVM)

K-均值(KMeans)

GBDT

LDA

Spark on Angel Optimizer

部署

源码下载和编译

1. 编译环境依赖

Jdk >= 1.8

Maven >= 3.0.5

Protobuf >= 2.5.0

2. 源码下载

git clone https://github.com/Tencent/angel

3. 编译

进入源码根目录,执行命令:

mvn clean package -Dmaven.test.skip=true

编译完成后,在源码根目录 dist/target 目录下会生成一个发布包:angel-1.0.0-bin.zip

4. 发布包

发布包解压后,根目录下有四个子目录:

bin:Angel 任务提交脚本

conf:系统配置文件

data:简单测试数据

lib:Angel jar 包 & 依赖 jar 包

本地运行

1. 运行环境准备

Hadoop >= 2.2.0

Java 1.8 版本

Angel 发布包 angel-1.0.0-bin.zip

配置好 HADOOP_HOME 和 JAVA_HOME 环境变量,解压 Angel 发布包,就可以以 LOCAL 模式运行 Angel 任务了。

2.LOCAL 运行例子

发布包解压后,在根目录下有一个 bin 目录,提交任务相关的脚本都放在该目录下。例如运行简单的逻辑回归的例子:

./angel-example com.tencent.angel.example.SgdLRLocalExample

3. Yarn 运行:https://github.com/Tencent/angel/blob/master/docs/deploy/run_on_yarn.md

4. 系统配置:https://github.com/Tencent/angel/blob/master/docs/deploy/config_details.md

论文

目前腾讯还没公开发布相关论文,可关注本项目查看更新。

本文为机器之心报道,转载请联系本公众号获得授权。

✄------------------------------------------------

加入机器之心(全职记者/实习生):[email protected]

投稿或寻求报道:[email protected]

广告&商务合作:[email protected]

(责任编辑:本港台直播)
顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
栏目列表
推荐内容