导语
pyspider是一个基于python的网络爬虫框架,提供了强大的WebUI界面,支持Mysql,MongoDB,PostgreSQL等多种数据库,并且支持Redis,RabbitMQ做消息队列。
最近的项目需要用pyspider来抓取clinicaltrials上的数据,在这里总结一下
安装
安装pipwget https://bootstrap.pypa.io/get-pip.py
python get-pip.py
遇到报错Could not find a version that satisfies the requirement Flask>=0.10 (from pyspider)
这是没有安装Flask导致的,pip install flask
编译过程中报错
Failed building wheel for lxml
,说明缺少lxml库
先查看yum源中的python库信息,yum list|grep python
找到包含lxml的那一项yum install python-lxml.x86_64
然后即可顺利安装pyspider
安装pyspiderpip install pyspider
运行pyspider
打开*http://localhost:5000/*即可进入pyspider的控制台
根据关键字爬取PubMed的数据
爬虫的原理是从某个URL开始,遍历这个URL所指向页面中包含的所有链接,然后逐一对请求这些链接,分析返回过来的页面数据,根据关键字抓取相关字段,如果这个页面中也包含链接那么继续打开,并继续做分析抓取,直到所请求的页面中不再包含链接
找出起始URL以及分页URL
打开clinicaltrials输入一个关键字,比如ovarian cancer,然后再出来的列表页里最下方会有一个分页链接,我们要将ovarian cancer 所有相关信息都获取到,所以必须将每个分页都遍历到
右键审查元素,查看一下分页链接的特点
可以看到链接的title为Show next page of results,但是在页面中有两个这样的链接,但是我们只需要其中的一个即可,要实现这功能最方便的就是css选择器,好在pyspider引入了PyQuery,PyQuery相当于把jquery用python实现了一遍。按照pyquery的语法可以这样实现a[title^="Show next page of results"]').eq(0).attr.href
爬取指定的链接
一个页面里面会有很多链接,而需要爬取的页面链接往往具有某种规律,右键审查元素观察规律
发现链接是由**https://www.clinicaltrials.gov/ct2/show/**加一串字母或数字构成,所以可以通过正则表达式来匹配这一类链接
引入正则表达式的库 import re
编写函数
def index_page(self, response):
for each in response.doc('a[href^="http"]').items():
if re.match("https://www.clinicaltrials.gov/ct2/show/\w+", each.attr.href):
self.crawl(each.attr.href, callback=self.detail_page)
self.crawl(response.doc('a[title^="Show next page of results"]').eq(0).attr.href,callback=self.index_page)
抓取指定的内容
页面上的内容都包含在HTML元素中,只需唯一匹配这些元素即可,pyspider中内置的是PyQuery,它是一个用python实现的HTML页面遍历的库,语法类似于Jquery中的元素遍历
"title" : response.doc('h1').text(),
"condition": response.doc('td.body3').eq(0).text(),
"intervention": response.doc('td.body3').eq(1).text(),
"identifier": response.doc('.identifier').text()
doc()方法用于在整个页面查找
eq(n)方法用于在结果集中选择第n个元素,类似于数组用法array[n]
text()方法用于获取html标签内的文本
用一个类封装一下以上的方法就可以用来工作了
import re
from pyspider.libs.base_handler import *
class Handler(BaseHandler):
crawl_config = {
}
@every(minutes=24 * 60)
def on_start(self):
self.crawl('http://www.clinicaltrials.gov/ct2/results?term=ovarian+cancer&recr=&rslt=&type=&cond=&intr=drug&titles=&outc=&spons=&lead=&id=&state1=&cntry1=&state2=&cntry2=&state3=&cntry3=&locn=&gndr=&phase=1&phase=2&rcv_s=&rcv_e=&lup_s=&lup_e=', callback=self.index_page)
@config(age=10 * 24 * 60 * 60)
def index_page(self, response):
for each in response.doc('a[href^="http"]').items():
if re.match("https://www.clinicaltrials.gov/ct2/show/\w+", each.attr.href):
self.crawl(each.attr.href, callback=self.detail_page)
self.crawl(response.doc('a[title^="Show next page of results"]').eq(0).attr.href,callback=self.index_page)
@config(priority=2)
def detail_page(self, response):
return {
"url": response.url,
"title" : response.doc('h1').text(),
"condition": response.doc('td.body3').eq(0).text(),
"intervention": response.doc('td.body3').eq(1).text(),
"identifier": response.doc('.identifier').text()
}
index_page函数用来抓取页面中所需抓取的那一类链接,detail_page方法用来分析某个链接的页面,抓取其中的文字