爬取在 SF 发表的文章并保存到本地!
文章目录
简介
一个简单爬虫,爬取你所在 segmentfault 发表的文章,保存源 markdown 内容到本地。
使用
先使用 git 克隆本项目到本地,然后,把 config.example.json 重命名为 config.json。
username 可以在你的首页 url 上面看到:
打开 chrome 开发者工具,点击 network 然后在 request headers 里面找到 cookie:
然后对应的复制到 config.json 里面即可,最后到项目根目录下运行:
$ npm run fetch
就会在根目录创建一个 articles 文件夹,里面就是你所有的文章了!
一些问题
如果文章名字包含
/的符号会被替换成-。
最后
如果你喜欢的话,请 Star 本项目支持我哦!
评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论