前嗅ForeSpider脚本教程:字段处理脚本

BitAurora
• 阅读 198

字段处理脚本用于清洗字段的取值。点击某个字段后,在字段处理的下拉菜单中选择脚本处理后,需要配置的脚本。这一步是通过脚本进一步清洗获取的数据。

一.可用全局对象(只读)

EXTRACT: 当前采集引擎[ 对象类型: extractor ]
DATADB: 当前连接的数据库[ 对象类型: dataBase ]
RESULT: 当前结果集对象[ 对象类型: result ]
URL: 当前采集的链接对象[ 对象类型: url ]
URLTEXT : 描述当前链接采集的所有状态及属性的对象[ 对象类型: urltext ]
DOC: 当前采集的文档对象[ 对象类型: grabDoc ]
DOM: 当前采集文档的dom对象[ 对象类型: dom ]
ITEM: 当前dom树被取值节点[ 对象类型: domItem ]
TMPL: 当前文档模板对象[ 对象类型: tmplTmpl ]
DATA: 当前数据抽取对象[ 对象类型: tmplData ]
REC: 当前记录集对象[ 对象类型: record ]
VALUE: 当前字段获取的字符串类型的值。[ 对象类型: string ]

二.this对象

当前数据字段抽取[ tmplVal ]对象

三.脚本返回值

必须返回处理后的的数据结果[返回类型: string]

四.示例

<div class="lumn_left01"><a>商品大类</a>><a><a>商品列表</a>><a>商品品牌</a>></div>

【网页源码】

以下脚本将取数据“商品大类”的右串:

return DOM.GetTextAll(DOM.FindClass("lumn_left01",div)).Right("商品大类");

取出的结果为:>商品列表>商品品牌

注释:
GetTextAll:取出其中所有的文本。
FindClass:通过标签class属性值查找标签节点。
Right: 返回字符串右边的字符串。

以下脚本将清除数据前后的空白符:

return VALUE.TrimAll();
点赞
收藏
评论区
推荐文章
Python进阶者 Python进阶者
4年前
一文解读JavaScript事件对象和表单对象
前言相信做网站对JavaScript再熟悉不过了,它是一门脚本语言,不同于Python的是,它是一门浏览器脚本语言,而Python则是服务器脚本语言,我们不光要会Python,还要会JavaScript,因为它对做网页方面是有很大作用的。1.事件对象(Event)1).事件对象常量bubbles事件是否是起泡事件类型cancelabl
Wesley13 Wesley13
4年前
Unity RPG游戏,场景任务的设计
0:讨论群qq群号:390313628unity4.6版本运行1场景任务的设计参考开源赛达尔传说游戏SolarusDX。每个地图存在一个控制脚本,脚本名字mapxxxxxx为地图ID。地图控制器提供标准接口,进入地图事件处理和退出地图事件处理。每次切换场景地图的时候,加载对应的脚本,脚本挂在一个Game
Stella981 Stella981
4年前
Dataway 4.1.5 以上版本升级指南
背景如果你是4.1.3或者4.1.4版本的Dataway,那么在开启4.1.5以后版本之旅之前先要读一下这片Blog。4.1.5版本开始,interface\_info、interface\_release两张表各自增加了一个字段。用来保存接口选项参数的。下面是对应的升级脚本:Mysql升级脚本:alterta
Wesley13 Wesley13
4年前
oracle查看某表字段类型
来源:https://www.cnblogs.com/ufindme/p/5033843.html今天遇到一个问题:要求在可重复执行的SQL脚本添加一段SQL代码:修改当前的数据类型。因为SQL代码放在重复执行的脚本中,那须考虑到数据类型满足条件时则不进行修改。一时不知道怎么解决。然后就搜索出上面链接的博文。最后解决了。如果当前字段不是v
Stella981 Stella981
4年前
JavaScript 语法基础
•JavaScript是浏览器端脚本语言,是一种基于对象(Object)和事件驱动(EventDriven)的脚本语言。•JavaScript的基本特点:–脚本语言:无需编译,解释执行–动态性:通过事件对用户操作进行响应–基于对象–安全性–跨平台性页面中嵌入JavaScript的方法<scrip
Stella981 Stella981
4年前
ECMAScript——JavaScript的核心
   JavaScript(简称:JS)是一种动态类型、弱类型的直译式脚本语言。也就是说它的数据类型不需要声明,不同类型之间会隐式转换为被赋值的类型。它不需要编译,直接由浏览器解释执行。JavaScript由ECMAScript(简称:ES)、DOM、BOM三大部分组成:ECMAScript规定了语言的语法和基本对象;DOM(文本对象模型)处理网页的节
Wesley13 Wesley13
4年前
MySQL添加注释
在数据库设计中,我们是建议为数据库,数据表以及数据字段进行添加注释的,MySQL数据库中,字段或列的注释是用属性comment来添加。创建新表的脚本中,可在字段定义创建表脚本中添加comment属性来添加注释。示例代码如下:1createtabletest(2idintnotnulldefault
Wesley13 Wesley13
4年前
JS篇(004)
答案:1.脚本语言。JavaScript是一种解释型的脚本语言,C、C等语言先编译后执行,而JavaScript是在程序的运行过程中逐行进行解释。2.基于对象。JavaScript是一种基于对象的脚本语言,它不仅可以创建对象,也能使用现有的对象。3.简单。JavaScript语言中采用的是弱类型的变量
Wesley13 Wesley13
4年前
unity游戏开发之ULua框架介绍(二)
1.SimpleFramework框架配置文件(1)AppConst文件  在AppConst.cs文件中配置了很多项目开发过程中,需要使用到的“公共常量信息”。脚本内的常量都有中文备注。所在位置是:Scripts/ConstDefine/AppConst.cs。  字段用“const”关键字修饰,方法用“static”关键字修饰,该脚本内
Wesley13 Wesley13
4年前
mysql 分组查询教程
1.分组  分组就是将一个“数据集”划分成若干个“小区域”,然后针对若干个“小区域”进行数据处理。2.分组的特点  1.)groupby的含义:将查询结果按照1个或多个字段进行分组,字段值相同的为一组  2.)groupby可用于单个字段分组,也可用于多个字段分组3分组的用法select字段名from数据表gro
Wesley13 Wesley13
4年前
MongoDB(六):选择字段、限制记录数、排序记录
1\.选择字段在MongoDB中,选择字段又叫投影,表示仅选择所需要字段的数据,而不是选择整个文档字段的数据。如果某个文档有5个字段,但只要显示3个字段,那么就只选择3个字段吧,这样做是非常有好处的。find()方法在MongoDB查询文档中此方法接收的第二个可选参数是要检索的字段列表。在MongoDB中,当执行find()方法