什么是 sourcescrapper-core
sourcescrapper 是一个 Node.js 版本的包,主要用于对网页数据进行解析和采集。其中,sourcescrapper-core 是其核心部分,提供了主要的功能。
如何安装 sourcescrapper-core
使用 npm 即可安装:
npm install sourcescrapper-core
sourcescrapper-core 的主要功能
- 支持 css 选择器,快速获取元素。
- 提供 promise 和 callback 两种语法糖。
- 基于 cheerio,使用 jquery 类似的方式获取和处理 DOM 元素。
简单示例
以下例子说明如何使用 sourcescrapper-core 实现获取指定网页里面所有的 h1 标签。
-- -------------------- ---- ------- ----- -- - ------------------------------- ----- --- - -------------------------- -------------------- -- - ----- ----- - -------- -------------- ----- -- - ---------------------------- --- -------------- -- - ------------------- ---展开代码
进阶示例
以下例子说明如何使用 sourcescrapper-core 获取股票价格,以及将数据存入数据库。
-- -------------------- ---- ------- ----- -- - ------------------------------- ----- ----- - ----------------- ----- --- - ---------------------------------------- ----- ---------- - ------------------------ ---- - ------------ ---- - ------- -------- - --- -------- - ------ --- --------------------- -------------------- -- - ----- ----- - ------------------------------------------ ------------------------ ---- ----- --- --- - ----- -- ------- -------- ------- -- - -- ------- ----- ------ ---------------- ----- ----- --- -- ------- --- -------------- -- - ------------------- --- -----------------展开代码
总结
上面我们介绍了 sourcescrapper-core 基本用法和进阶示例,使用 sourcescrapper-core 可以快速实现对 web 数据的采集和解析,对于需要抓取 web 数据的场景有很大的帮助。
来源:JavaScript中文网 ,转载请注明来源 https://www.javascriptcn.com/post/146177