如何用excel简单批量采集网页表格数据?

好像有这个需求的人比较少,但是,我觉得你总有会有需求的那一天,到时候抓耳挠腮有的烦。

网页中表格数据指什么样子?

比如我今天要举例子的这个:

这个产品成分表就是一个表格数据,也就是有行和列标准化结构的数据。

我们一般用诸如火车采集器很难采集这种数据并保持原有的表格结构。

还有八爪鱼采集器,是能智能识别出表格数据并采集的,但是很多网站并不能识别出来,我上面举例这个就识别不出来,所以导致无法采集。

但其实excel中有个功能是采集网页中表格的,但缺点是,一次只能采集一个页面,如何做到批量采集100页或1000页数据呢?总不能一个一个手动来吧?

方法是,首先把这100个或1000个页面内容先采集下来,组成一个页面,在利用excel识别就可以了。

下面为步骤:

1:火车采集器采集所需页面

比如我先采集到这些页面的URL。

这里注意,要作为一级页面,不然它会自动采集下级页面,老版本的火车采集器没这问题。

3、然后采用表格部分html代码

这里采用最简单的前后截取的方式,采集获得内容,我们测试一下

获得这样的内容,正是我们需要的。

4、批量采集

然后保存任务,批量采集就可以了。

5、采集完成

新版火车采集器默认保存本地为sqlite数据库excel仪表盘,没有老版本的access数据库了,所以不能用office中的access打开,但可以用Navicat导入看看。

链接sqlite,然后选择我们采集到的db3文件,打开确定就好了。

得到下面的数据。

6、合并采集来的数据

如果你不会数据库合并数据,那也很简单,直接导出excel。

excel中你会合并了吧?就算不会,直接选择那一列复制就好了。

然后我们粘贴出来看看。

得到一个这样的内容。

直接保存为一个html文件到桌面。

7、excel识别为表格数据

我们选择excel中的数据-新建查询-自网站(我的excel版本使用红框那个按钮不好用)

然后填入刚才那个html文件的本地地址,确认

excel会识别出多种样式的数据,选择你想要的即可。

8、最终效果

我们得到的最终效果图就这样,因为我只采集了72页,得到了1600行数据。

至此,大功告成。

最后,教大家一个简单拖拽创建表单和生成报表的方法。使用简道云表单在线创建“云表格”,通过简单拖拽,即可制作出一个个柱形图、折线图、饼图等图表,1分钟实现数据可视化分析!非常方便~

THE END
如何用excel简单批量采集网页表格数据?
好像有这个需求的人比较少,但是,我觉得你总有会有需求的那一天,到时候抓耳挠腮有的烦。 网页中表格数据指什么样子? 比如我今天要举例子的这个: 这……