本港台开奖现场直播 j2开奖直播报码现场
当前位置: 新闻频道 > IT新闻 >

【j2开奖】文本分析流浪汉乞讨标语牌后发现的套路(附代码)

时间:2017-02-05 16:12来源:本港台现场报码 作者:j2开奖直播 点击:
大数据文摘作品,转载具体要求见文末 编译团队 | Aileen 李子楠 邱猛 Illustration | Jiin Choi 图 | Jiin Choi 流浪者惯用一张手写标语牌来表达自己,我们对数百名纽约街头流浪者手中的标语

【j2开奖】文本分析流浪汉乞讨标语牌后发现的套路(附代码)

【j2开奖】文本分析流浪汉乞讨标语牌后发现的套路(附代码)

  大数据文摘作品,转载具体要求见文末

  编译团队 | Aileen 李子楠 邱猛

  Illustration | Jiin Choi 图 | Jiin Choi

  流浪者惯用一张手写标语牌来表达自己,我们对数百名纽约街头流浪者手中的标语做了文本分析,想看看他们希望传达的声音。

  纽约的无家可归者普遍使用两种乞讨方式:一种是在十字路口的角落或地铁站与站之间的车厢里反复唠叨他们的困境,这种方式在要到一点小钱的同时也会招致周围游客的厌恶。另一种方式是举一个纸质标语牌,在上面写上他们要说的话。

  标语牌显然更具优势。因为相比于口头表述,文字扫一眼更快,增减更灵活并允许他人自由选择看或不看。不幸的是,我们大多数人路过乞讨者时都会选择忽视那些标语牌。这种行为是最方便的,也是最现实的。毕竟在纽约有超过6万名乞讨者,关注他们每一个似乎不是很现实。

  所以,假设你平时并没有注意这些标语牌,你觉得他们一般都写了些什么?

【j2开奖】文本分析流浪汉乞讨标语牌后发现的套路(附代码)

  上图:在谷歌上输入词条“纽约无家可归者的标牌”后给出的搜索结果

  弄明白纽约无家可归者标语牌上文字内容的第1步

  事实上,搜集和转录这些数据就够写一篇博客了,这里只做一些概括性的描述。首先在google、推特和Instagram (一個免费提供在线图片及影片分享的社交应用)上搜索“New York City homeless sign”或类似的词条,你会得到几百张来自新闻报道、社交媒体的贴文和个人摄影的可用照片。

  但是这些标语牌往往难以转录。因为这些照片一般质量较差,没有聚焦,或是拍摄角度太偏。即使一个标语牌的文字完全清晰可见,也会存在一些其他问题。如乞讨者可能会使用一些特殊(经常是错误)的拼写、标点符号、换行符和手写字体。有时他们所表达的信息并非简单一句话,而是几乎没有任何线索连接成句的各种想法。

【j2开奖】文本分析流浪汉乞讨标语牌后发现的套路(附代码)

  上图:例举纽约无家可归者写的一句有语病的句子

  些标语可能有凌乱、想法模糊的特点,这些会造成转录困难。

  我们可以使用一些修正标准来规整文本内容,以方便进一步描述和分析,例如纠正一些简单的书写错误和使用完整拼写代替符号表述(“4” 换成 “for”, “+” 换成 “and”)。我们再使用R语言提供的文本挖掘包忽略掉大小写、换行符和其他标点符号之间的不一致,最终得到标准化的数据。

  汇集了244条标语用于文本分析流浪者们的声音

  最后,我们汇集了244条标语用于文本分析(数据集链接:https://github.com/PerplexCity/Sign_From_Below/blob/master/transcribed_signs.csv)对于文本挖掘而言,244条文本的语料库相对来说较小。通常,《战争与和平》这样大块头的书或推特上百万条的文本才会以下面的方式进行分析。然而,我们还是找到了合理可信的规律。

  幸福的人都是相似的,不幸的人则各有各的不幸。尽管如此,通过对这几百条标语进行筛选,我们还是可以发现,乞讨者想要通过标志牌说服他人所采用的几种固定套路大部分情况下他们会把自己描述成更值得同情的对象,例如怀孕的母亲,退伍的军人,或抢劫受害者。有些人会尝试一些小聪明(我打赌你看了这句话会留下1美元),其他的则比较典型(我和老虎伍兹有一段绯闻,看看我现在的下场)。

  通常他们会先一步回答你的疑惑。如:为什么他们没有家?(丈夫去世、没有保险、丢失一切、无家可归、你能帮帮我吗、上帝保佑你、感恩节快乐)。为什么他们不去其他地方?(需要一张车票、赚得35美元去新泽西州大西洋城、那里我有地方住并且有一个工作机会)。

【j2开奖】文本分析流浪汉乞讨标语牌后发现的套路(附代码)

  虽然有很多奇闻轶事,但这是一个数据博客,所以我们需要数据来说明问题。

  前25个出现频率最高的单词

【j2开奖】文本分析流浪汉乞讨标语牌后发现的套路(附代码)

  上图:纽约无家可归者的标牌上使用频率最高的25个单词

  如上述词频表所示,无家可归者的优先表述是寻求帮助(“help”)和表明自己无家可归(“homeless”),并始终保持礼貌(“please”)。

(责任编辑:本港台直播)
顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
栏目列表
推荐内容