麻辣GIS微信平台

更多 GIS 干货

微信关注不错过

如何抓取可以「免费续面」的店铺POI数据?

前几天四川乐山夹江县续面风波冲上了热搜,有人也在麻辣GIS群里转发了这个消息。当微博还在争吵文化差异等各种问题的时候,麻辣GIS群里出现了一股清流,有人提问:如何获取可以「免费续面」的店铺POI数据?(看看,咱GIS群里就是有专业精神)

你们也知道,小编一般不摸鱼的,但看到这种好玩的GIS问题还是没忍住,后面和各路大神请教了一下,也自己实践了一点,虽然最后结果并不是很满意,但今天小编还是给大家总结一下。

传统的POI库

之前小编分享过不少POI数据,最著名就是的OSM的POI数据集,但小编找了一下目前这类POI数据提供的数据字段过于简单,如下图:

只有一个简单的名称和坐标,想知道支不支持免费续面根本不可能。那高德地图呢?目前高德地图POI的字段看起来要丰富一些,不过依然没有找到续面这种细致字段。

外卖APP

要说这种字段哪里有?当然还是得看外卖App,小编搜索了一下在京东秒送、淘宝闪送、以及美团上都找到了精准的结果,其中美团因为收购了大众点评以及到店优惠等,数据更加全面。

那下面的工作就是要对外卖APP进行数据抓取了。

Fiddler 抓包实践(未成功版)

既然数据是App里的,获取就需要配置数据抓包了,小编使用的是 Fiddler 工具。官网地址:

https://www.telerik.com/fiddler

之前的老版本要配置设备抓包比较麻烦,现在的新版本几乎是0配置的,只要按指引一步一步来就可以了。(不得不说这个软件的用户体验是真好)

打开这个配置,会有一个设置引导,以安卓为例:

后面的直接按要求来就可以了,配置完成之后,手机与电脑连接同一网络,然后把手机的Wifi添加代理:

这时重启Fiddler,再打开手机App,就可以看到抓包数据了。

不过小编并没有找到具体的解析数据,毕竟美团的防爬可是业内顶级水平,这么容易被抓到反而不正常。大约查了一下,通常现在的App都会使用SSL Pinning 技术,常见的应对方法是Frida 脚本注入;还有一种方法是用Apktool来反编译,重新打包签名。不过上述方法小编做的并不多,折腾了一下,也没有相关设备,就放弃了,有兴趣的小伙伴可以研究一下。

AI加持

既然App无法抓包,放在以往这种情况要么放弃,要么找付费的解决方案。不过现在是2026年了,AI已经非常强大。既然数据量不大,那我们就使用AI硬解。

先将App里搜索出来的结果来一个长截图,然后将图片上传至豆包AI,并配合如下的提示词:

用户截图的位置是xxxxxxx,请分析截图中的内容,将图片中所有的店铺总结下来,并搜索其详细地址。

返回结果如图:

如果数据没有问题,我们再配合下面的提示词,拿到经纬度:

将上述内容整理成一个excel,将这些店铺的经纬度添加到上述表格

最后结果如图:

总结

当前的App反爬一直在进化,小编之前的很多知识已经过时了,使用Fiddler对于普通的小App可能还有用,但针对一些大厂App需要更多更专业的工具来处理。

另外在有了AI加持的当下,之前看似非常复杂的手动数据整理工作使用AI来进行反而更快、更安全。很多时候遇到类似问题,可以考虑使用AI来换了思路,说不定就会柳暗花明~

相关阅读

麻辣GIS-Sailor

作者:

GIS爱好者,学GIS,更爱玩GIS。

声明

1.本文所分享的所有需要用户下载使用的内容(包括但不限于软件、数据、图片)来自于网络或者麻辣GIS粉丝自行分享,版权归该下载资源的合法拥有者所有,如有侵权请第一时间联系本站删除。

2.下载内容仅限个人学习使用,请切勿用作商用等其他用途,否则后果自负。

手机阅读
公众号关注
知识星球
手机阅读
麻辣GIS微信公众号关注
最新GIS干货
关注麻辣GIS知识星球
私享圈子
没有下文

留言板(小编看到第一时间回复)