:COO、执行总编、主编、高级编译、主笔、运营总监、客户经理、咨询总监、行政助理等 9 大岗位全面开放。 简历投递:j[email protected] HR 微信:13552313024 新智元为COO和执行总编提供最高超百万的年薪激励;为骨干员工提供最完整的培训体系、高于业界平均水平的工资和奖金。 加盟新智元,与人工智能业界领袖携手改变世界。 【新智元导读】 谷歌大脑团队 Jeff Dean 和 Hinton 最近在arXiv 上发表论文,介绍了最新的研究成果。他们提出了一种新型神经网络层——稀疏门(Sparsely)MOE (Mixture-of-Experts),这种新的神经网络层只需要很小的计算能力提升,便能高效地提升模型的能力。据介绍,研究使用4.3亿参数,每个词超过1亿次计算量,32块K40 GPU跑了47小时。 【论文摘要】神经网络吸收信息的能力通常会受到参数数量的限制,在本研究中,j2直播,我们提出了一种新的(神经网络层)——稀疏门(Sparsely)MOE (Mixture-of-Experts),这种新的神经网络层只需要很小的计算能力提升,便能高效地提升模型的能力。 这一神经网络层由数千个前馈次级网络(也就是Experts)组成,其中包含了总共多达10亿的参数。一个可训练的门网络决定了这些Experts的组合形式和在具体例子中的使用情况。我们把MoE用于语言建模任务,在这些任务中,对于在训练库中吸收大量的可用词汇知识,模型的能力非常关键。我们提出了新的语言模型架构,在这种架构中,MoE层被加入到LSTMs堆栈中间去,结果,模型中的可用的参数数量有了量级的提升。 在语言建模和机器翻译基准中,我们用较低的计算陈本,获得了比当下最好的水平更好的结果,其中包括,在10 亿词汇语言建模基准(1 Billion Word Language Modeling Benchmark )中测试复杂度达到28.0,以及,在BLEU 中得分40.56,在WMT’14 En to Fr and En to De 数据库中得分26.03。 【论文题目】Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer 凶残的大型神经网络:稀疏门Mixture-of-Experts层 作者:Noam Shazeer, Azalia Mirhoseini, Krzysztof Maziarz , Andy Davis1 , Quoc Le, Geoffrey Hinton and Jeff Dean
论文下载地址:https://openreview.net/pdf?id=B1ckMDqlg 新智元招聘 职位 运营总监 职位年薪:36- 50万(工资+奖金) 工作地点:北京-海淀区 所属部门:运营部 汇报对象:COO 下属人数:2人 年龄要求:25 岁 至 35 岁 性别要求:不限 工作年限:3 年以上 语 言:英语6级(海外留学背景优先) 职位描述 负责大型会展赞助商及参展商拓展、挖掘潜在客户等工作,人工智能及机器人产业方向 擅长开拓市场,并与潜在客户建立良好的人际关系 深度了解人工智能及机器人产业及相关市场状况,随时掌握市场动态 主动协调部门之间项目合作,组织好跨部门间的合作,具备良好的影响力 带领团队完成营业额目标,并监控管理项目状况 负责公司平台运营方面的战略计划、合作计划的制定与实施 岗位要求 大学本科以上学历,硕士优先,atv,要求有较高英语沟通能力 3年以上商务拓展经验,有团队管理经验,熟悉商务部门整体管理工作 对传统全案公关、传统整合传播整体方案、策略性整体方案有深邃见解 具有敏锐的市场洞察力和精确的客户分析能力、较强的团队统筹管理能力 (责任编辑:本港台直播) |