网站文章链接采集-网站文章采集软件

火车头采集器怎么采集 采集信息 的网址

火车头采集器采集内容之前是先采集网址的，所以你说的这个网址其实早就知道了，而采集内容的时候是不会采集到得，因为一般情况下一个网页的源代码里不会有这个网页的网址。

比如A是一个网页的网址，用火车头采集器的时候首先读取的就是这个网页地址A，然后再根据这个地址来请求数据，根据你的采集规则来采集内容，而这个网页的内容里没有这个网址A，那么你肯定是采集不到的。

那么这个网址A在哪里呢？在生成的文件里。

比如你保存到本地之后生成一个CSV的文件，打开之后再最后一列（URL）就是采集的内容对应的这个网址。

火车头采集怎么设置采集网址规则啊？

“我采集一个网页的地址，起始找的是一个层,终止也找了一个层 这样不行啊...如果没有数字的网址怎么采集呢！如某个网址是list_50.html ...上图 才... ” ---------------------------- 有些网站的列表页翻页参数中，第一个参数是无效的，利用数值变化就无法访问列表页的第一页。

我不知道在火车头里面怎样解决这个问题的。

在熊猫采集里面是可以忽略这个问题的，只需要鼠标选择列表页中指向下一页的链接，就能翻页访问。

因为熊猫使用的是机器训练的采集设置方式。

不需要用户手工设置这些。

少数没有下一页的列表页中，遇到这种情况，可以使用参数列表方式解决。

你可以在火车采集器里面找找是否有“参数列表”的翻页方式。

有些采集软件中，可以直接同时输入多个列表页地址。

这样也就不必去设置翻页参数，也很简单。

熊猫中不支持这种方式，不知道火车采集器是否支持。

如果支持，你可以直接输入多个列表页地址，换行区分即可。

最常用的就是火车头-LocoySpider能，是一款网页数据采集利器，拥有采集与发布功能，是自动维护网站更新的最佳软件，目前官网提供个人免费版使用。

这里有下：softview/SoftView_51162.html ...。