python中如何使用XPath爬取小说

说明

xpath是一种在XML文档中搜索信息的语言。

过程

1、获得浏览器中的标题和作者测试。

2、在浏览器安装xpath插件:

3、在html中找到book-mid-info:

4、找到我们想得到小说的名字、作者

即//div[@class='book-mid-info']/h4/a/txt()

实例

#作者：

#开发时间：2021/4/8/00088:24

importrequests

fromlxmlimportetree

url="https://www.qidian.com/rank/yuepiao"

headers={'user-agent':'Mozilla/5.0(WindowsNT10.0;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/70.0.3538.25Safari/537.36Core/1.70.3861.400QQBrowser/10.7.4313.400'}

#发送请求

resp=requests.get(url,headers)

e=etree.HTML(resp.text)#类型转换，把str转变为class'lxml.etree._ELement

print(type(e))

names=e.xpath('//div[@class="book-mid-info"]/h4/a/text()')

authors=e.xpath('//p[@class="author"]/a[1]/text()')

print(names)

print(authors)

#名称和作者对应

forname,authorsinzip(names,authors):

print(name,":",authors)

以上就是python中使用XPath爬取小说的方法，希望对大家有所帮助。更多Python学习教程请关注IT培训机构:千锋教育。