本港台开奖现场直播 j2开奖直播报码现场
当前位置: 新闻频道 > IT新闻 >

码报:【图】10 亿图片仅需 17.7微秒:Facebook AI 实验室开源图像搜索工具Faiss

时间:2017-03-04 02:08来源:668论坛 作者:开奖直播现场 点击:
新智元启动新一轮大招聘 :COO、执行总编、主编、高级编译、主笔、运营总监、客户经理、咨询总监、行政助理等 9 大岗位全面开放。 简历投递:j [email protected] HR 微信: 13552313024 新

  新智元启动新一轮大招聘:COO、执行总编、主编、高级编译、主笔、运营总监、客户经理、咨询总监、行政助理等 9 大岗位全面开放。

  简历投递:j[email protected] HR 微信:13552313024

  新智元为COO和执行总编提供最高超百万的年薪激励;为骨干员工提供最完整的培训体系、高于业界平均水平的工资和金。加盟新智元,与人工智能业界领袖携手改变世界。

  【新智元导读】Facebook的FAIR 最新开源了一个用于有效的相似性搜索和稠密矢量聚类的库,atv,名为 Faiss,在10亿图像数据集上的一次查询仅需17.7 微秒,比此前的方法准确度略高,而且快 8.5 倍。

  Faiss 是由 Facebook AI Research(FAIR)开发的一个用于有效的相似性搜索(similarity search)和稠密矢量聚类(clustering of dense vectors)的库。它包含了在任何大小的向量集合里进行搜索的算法,向量集合的大小甚至可以达到装不进 RAM。它还包含了用于评估和参数调优的支持代。Faiss 是用 C ++编写的,带有 Python / numpy 的完整包装。其中最有用的一些算法是在 GPU 上实现的。

  

码报:【图】10 亿图片仅需 17.7微秒:Facebook AI 实验室开源图像搜索工具Faiss

  我们比较了 Wieschollek et al. 在 Sift1B 数据集的10 亿 SIFT 图像特征,其中 nq = 104。我们比较了相同内存使用情况下的搜索效果,以得到类似的精确度(更精确的方法可能需要更多搜索时间或更大的内存使用)。在单个 GPU 上,每个向量大小是 m= 8 bytes,我们的结果是 R@10 = 0.376,每个查询向量需 17.7 µs。而在作比较的研究中,R@10 = 0.35,每个查询向量需 150 µs。也就是说,我们的实现准确度更高,而且速度是它的 8.5 倍。

  介绍

  Faiss 包含了几种用于相似性搜索的方法。它假定示例可以被表示为向量,以及可以通过整数识别,并且这些向量可以与 L2 位距或点积进行比较。与一个查询向量(query vector)相似的向量是具有最低 L2 位距或最高点积的查询向量。Faiss 还支持余弦相似性(cosine similarity),因为这是在标准化向量上的点积。

  大多数方法,例如基于二元向量和紧凑量化代的方法,仅使用向量的压缩表征,并不需要保留原始向量。这通常会导致搜索的准确度降低,但是这些方法可以再单个服务器上的主存储器中扩展到数十亿个向量。

  GPU 上的实现可以接受来自 CPU 或 GPU 存储器的输入。在装有 GPU 的服务器上,GPU 索引可以被用作 CPU 索引的插入替换(例如,使用 GpuIndexFlatL2 替换 IndexFlatL2),并且可以自动处理发往/来自 GPU 存储器的副本。

  构建

  这个库基本上是用 C++ 实现的,带有可选的通过 CUDA 提供的 GPU 支持,以及一个可选的 Python 接口。使用 Makefile 进行编译。详细信息可参见INSTALL:https://github.com/facebookresearch/faiss/blob/master/INSTALL

  Faiss 如何工作

  Faiss 是围绕存储了一个向量集的索引类型(index type)构建的,并且提供利用 L2 和/或点积向量比较在其中进行搜索的函数。有些索引类型是简单的基线,例如精确搜索。大多数可用的索引结构都对应了一下的几点权衡:

搜索时间

搜索质量

每个索引向量使用的内存大小

训练时间

无监督训练对外部数据的需求

  获取 Faiss 的完整文档

完整文档(包括一个指南)可以参阅 GitHub 的 wiki 页:

doxygen 文档提供了每个类的信息:

重现本研究论文的结果,可以参考基准 README:https://github.com/facebookresearch/faiss/blob/master/benchs/README.md

  论文地址:https://arxiv.org/pdf/1702.08734.pdf

  开源地址:https://github.com/facebookresearch/faiss

新智元招聘

  

职位:COO

  职位年薪:50万(工资+金)-100万元(含期权)

  工作地点:北京-海淀区

  所属部门:运营部

  汇报对象:CEO

  下属人数:10人

  年龄要求:25 岁至 40 岁

  语 言:英语六级以上或海外留学从业背景

  职位背景:在IT领域有专业团队管理经验

  学历要求:硕士及以上

  职位描述:

  1. 负责新智元总体市场运营,智库与人工智能百人会经营,政府关系统筹协调

  2. 擅长开拓市场,并与客户建立长期多赢关系,atv直播,有建构产业生态系统能力

  3. 深度了解人工智能及机器人产业及相关市场状况,善于捕捉商业机会

  4. 统筹管理公司各运营部门,兼管公司HR及财务部门

  5. 带领运营团队完成营业额目标,并监控协调运营部与编辑部、研究部运作

  6. 负责公司平台运营总体战略计划、合作计划的制定与实施

  岗位要求

  1、硕士以上学历,英语六级以上,较强的英语沟通能力或外企从业经验

  2、 3年以上商务拓展经验,有团队管理经验,熟悉商务部门整体管理工作

  3、 IT领域商务拓展经验、强大的团队统筹管理能力

  4、 有广泛的TMT领域人脉资源、 有甲方市场部工作经验优先考虑

  5、 知名IT媒体商务部门管理经验,广告、公关公司市场拓展部负责人优先

  应聘邮箱:[email protected]

  HR微信:13552313024

(责任编辑:本港台直播)
顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
栏目列表
推荐内容