在 BPM 中，当用户找到充足的有用信息或者没有耐心继续时则停止。考虑到这一假设，我们为收益和成本提出了一种基于上限的新评估框架。我们展示了如何从框架中推导出一个新指标，并证明它可被用于修改传统的指标，比如贴现累计收益（DCG）、预期互惠排序（ERR）和平均精度（AP）。为了展示该框架的有效性，我们从用户满意度与基于数据集（该数据集搜集用户明显满意的反馈和评审员的关联判断）的指标之间的关联性方面将其与现有的大量框架进行了对比。结果表明该框架与用户满意度反馈的关联性更好。

SIGIR 2017 最佳短论文奖

论文：LiveMaps – Converting Map Images into Interactive Maps

地址：?doid=3077136.3080673

摘要：图像搜索在网页搜索引擎中是十分流行的应用。在图像搜索引擎中提交位置相关的请求时经常返回结果最好的几张地图。一般情况下，点击这样的图片会在新的浏览页中打开它或将用户导向包含这张图像的网页。然而，在交互网页地图上寻找这样的内容区域是一个手动过程。在本论文中，我们描述了一种新型系统——LiveMaps，它在给定地图下能够分析和检索合适的地图视口（map viewport），并且允许用户直接打开链接到兴趣焦点的交互式地图中。

LiveMaps 的处理过程分为几个阶段。它首先检查输入的图像是不是代表一张地图。如果是的话，那么系统将尝试识别该地图所代表的地理区域。在这一过程中，我们使用从图像抽取的文本和视觉信息。最后，我们构建了一个交互式地图对象（interactive map object），它能获取从图像推断出的地理区域。在高级别的定位图像数据集上的评估结果表明我们的系统能构建出非常精确的地图表征，它同样能实现非常好的覆盖范围。

Honourable Mention

论文：DBpedia-Entity v2: A Test Collection for Entity Search

作者：Faegheh Hasibi、Fedor Nikolaev、Chenyan Xiong、Krisztian Balog、Svein Erik Bratsberg、Alexander Kotov、Jamie Callan

地址：?doid=3077136.3080751

SIGIR 2017 Test of Time Award

论文：Personalizing search via automated analysis of interests and activities

地址：https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/sigir05.pdf

摘要：我们构想和研究了一种搜索算法，这种算法考虑了用户之前与内容之间的大量互动，以个性化用户当前的网页搜索。我们没有依赖不切实际的假设（人们在搜索时能够准确地确定目标），而是探究利用包含用户兴趣这一隐含信息的技术。这些信息可用于在相关反馈框架（relevance feedback framework）内对网页搜索结果进行重新排序。我们利用与搜索相关的信息（如之前的查询和访问过的网页）和用户的其他相关信息（如用户阅读和创建的文档和邮件）构建大量符合用户兴趣的模型。我们的研究显示用户的大量表征和语料对个性化尤为重要，开奖，而逼近这些表征、为个性化搜索提供高效的客户端算法也是可能的。我们证明这种个性化算法可以大幅改善当前的网页搜索。

Honorable Mentions

论文：A Markov random field model for term dependencies

作者：Donald Metzler、W. Bruce Croft（SIGIR 2005）

地址：?doid=1076034.1076115

论文：Information retrieval system evaluation: effort, sensitivity, and reliability

作者：Mark Sanderson、Justin Zobel（SIGIR 2005）

地址：?doid=1076034.1076064