前嗅ForeSpider脚本教程:频道脚本使用场景及配置关键词搜索

金氏
• 阅读 666

今天,小编给大家带来的教程为:前嗅ForeSpider脚本教程中频道脚本的应用场景以及脚本配置关键词搜索的实战教程。具体内容如下:

一.频道脚本使用场景

当需要手动创建采集源列表,或者完全使用脚本采集数据时,在“频道脚本”处,你可能用到的类为extractor 、result。
你可以定义类的对象来使用其成员方法,也可以使用EXTRACT、RESULT两个全局对象。
关于这两个类的详细说明以及该场景的更多示例,可以点击“教程->脚本教程->脚本示例->频道脚本”来查看相关内容。

二.脚本配置关键词搜索

1.关键词不含验证码
场景:当一类链接中只需要替换一部分字符串,即可得到目标链接。则可以将这部分字符串作为关键词,添加频道脚本,达到链接抽取的目的。
示例:暂无。

2.关键词含验证码
场景:当通过可视化方式不能获取验证码刷新事件时,需要手动寻找验证码刷新请求并填写至相应输入框,与此同时,添加验证码参数至参数列表。
示例:采集京东店铺工商信息。
使用开发者工具(以搜狗浏览器为例,在浏览器中按F12打开)抓包,在目标网页右键点击“审查元素”,选择“NetWork”,先清空所有缓存信息,点击验证码图片,查找验证码刷新请求:
https://mall.jd.com/sys/vc/cr...”。
可以发现每次刷新验证码,请求链接中random参数的值都不同,则需要查找random生成的js事件。在网页源码中找到以下代码。
填写js刷新事件于文本框内,值得注意的是,只需修改this.src的值即可。
脚本实例:

var key = EXTRACT.GetSearch(this);
var form = key.Search();
url u;
var postData;
while(form){
var ocrCode = form.verifyCode;
u.urlname = "https://mall.jd.com/"+"showLicence-"+form.text+".html";
u.title = ocrCode;
u.entryid = this.id;
u.tmplid = 1;
postData = "verifyCode="+ocrCode;
var d = EXTRACT.OpenDoc(this,u.urlname,postData,0);
if(d){
this.Run(d,1);
EXTRACT.CloseDoc(d);
     }
form = key.Search();
           }
key.End();
点赞
收藏
评论区
推荐文章
李志宽 李志宽
3年前
这28个值得收藏的shell脚本能让你每天摸鱼近7个小时!
前言:在日常工作中,但凡你要跟服务器打交道,一定离不开的神器便是shell脚本,shell脚本可以极大的提高工程师的工作效率,避免一些认为因素导致的手误。那么今天圈圈就给大家分享28个shell脚本,希望对大家有帮助,脚本比较多比较长,一时间记不住可以先收藏,用到的时候及时拿出来比对一下即可!1.轮询检测Apache状态并启用钉钉报警!/bin/bashs
Wesley13 Wesley13
3年前
java的linux执行的shell
!/bin/sh 该脚本为Linux下启动java程序的通用脚本。即可以作为开机自启动service脚本被调用, 也可以作为启动java程序的独立脚本来使用。   警告!!!:该脚本stop部分使用系统kill命令来强制终止指定的java程序进程。 在杀死进程前,未
洛竹 洛竹
4年前
向 Deno 学习脚本的管理
前言🌱如果你使用过Deno、Go或者配置过AndroidStudio,那么你一定对配置环境变量不陌生。那么如果我们自己写了一个脚本或者命令行工具,如何分享给朋友们玩呢?最简单的当然是直接把脚本放出去,供别人手动下载和手动配置环境变量。但这既不优雅,也不利于传播,本文就是研读了Deno的安装机制后,总结出的一套可用的二进制可执行文件分发教程
liam liam
1年前
利用 Apifox 的 Mock 功能快速构建业务数据模拟场景
Apifox拥有强大的功能,兼容Mock.js语法的同时还提供Nunjucks和自定义脚本支持,能够满足不同场景需求。今天给大家分享一些常见业务场景的Mock使用技巧,当然,实现的方法不唯一。在开始之前,你需要将的当前环境切换为「本地Mock」或「云端Mo
Wesley13 Wesley13
3年前
Unity RPG游戏,场景任务的设计
0:讨论群qq群号:390313628unity4.6版本运行1场景任务的设计参考开源赛达尔传说游戏SolarusDX。每个地图存在一个控制脚本,脚本名字mapxxxxxx为地图ID。地图控制器提供标准接口,进入地图事件处理和退出地图事件处理。每次切换场景地图的时候,加载对应的脚本,脚本挂在一个Game
Stella981 Stella981
3年前
Linux nohup命令和后台运行符&的使用
文章目录1.nohup的使用2.后台运行符&的使用3.总结1.nohup的使用作用:当你在终端执行命令脚本,当脚本没有执行完,如果你关闭终端,那么跟随这个终端有关的进程都会退出执行,nohup命令的作用就是让使用此命令的脚本可以脱离终端继续执行,不受终端退出的影响。
Stella981 Stella981
3年前
Linux Shell DAY6
shell脚本介绍shell脚本结构和执行date命令用法shell脚本中的变量脚本中的逻辑判断shell脚本介绍shell是什么shell是一种脚本语言可以使用逻辑判断、循环等语法可以自定义函数
Stella981 Stella981
3年前
Redis执行Lua脚本示例
Redis在2.6推出了脚本功能,允许开发者使用Lua语言编写脚本传到Redis中执行。使用脚本的好处如下:1.减少网络开销:本来5次网络请求的操作,可以用一个请求完成,原先5次请求的逻辑放在redis服务器上完成。使用脚本,减少了网络往返时延。2.原子操作:Redis会将整个脚本作为一个整体执行,中间不会被其他命令插入。3.
Stella981 Stella981
3年前
Python Selenium 之数据驱动测试
  数据驱动模式的测试好处相比普通模式的测试就显而易见了吧!使用数据驱动的模式,可以根据业务分解测试数据,只需定义变量,使用外部或者自定义的数据使其参数化,从而避免了使用之前测试脚本中固定的数据。可以将测试脚本与测试数据分离,使得测试脚本在不同数据集合下高度复用。不仅可以增加复杂条件场景的测试覆盖,还可以极大减少测试脚本的编写与维护工作。  下面
Stella981 Stella981
3年前
Linux 的shell脚本的分享,运用了多个不同的方法,实现使用脚本批量巡检服务器,非常有借鉴作用
1、今天分享一个以前坐项目使用过的巡检脚本,是使用bashshell去编写的,对于经常使用shell脚本去完成日常巡检的同行,非常有借鉴作用;2、脚本使用的一些变量以及模块都很有用,如果是初学习shell的脚本使用,参考这个脚本,绝对能让你快速的提升,具体代码如下:!/bin/bash
Wesley13 Wesley13
3年前
Ubuntu 创建开机自启动脚本的方法
1)将你的启动脚本复制到 /etc/init.d目录下以下假设你的脚本文件名为test.sh。2)设置脚本文件的权限$ sudo chmod 755 /etc/init.d/test.sh3)执行如下命令将脚本放到启动脚本中去:$ cd /etc/init.d$ sudo upda