前嗅ForeSpider脚本教程-链接过滤脚本

今天,小编给大家带来的教程为:前嗅ForeSpider脚本教程-链接过滤脚本,应用场景,地址/标题过滤。具体内容如下:
一.应用场景
当可视化抽取到的链接包含不想要的链接地址时,需要进行过滤。可能用到的类是:string,使用到的全局对象是VALUE。
二.地址过滤
场景:链接地址有规律。
示例:可视化配置百度搜索之后的链接抽取,过滤掉不是列表链接和翻页链接的所有链接。

图片描述

脚本实例:

If(VALUE.Find(“wd=”)!=-1||VALUE.Find(“url=”)!=-1) 
return true;  //return true代表保留链接
else return false;  //return false代表过滤链接

三.标题过滤
场景:链接标题有规律。
示例:过滤掉所有标题不为空字符串的链接,并返回链接标题为”关键词”。

图片描述

脚本实例:

f(VALUE!=””) 
return false;  //代表过滤链接
else return “关键词”;  //否则保留并覆盖标题为关键词

评论

暂无评论