【python实战】爬取起点中文网自制小说阅读器

最新推荐文章于 2024-08-16 08:20:25 发布

一条coding

最新推荐文章于 2024-08-16 08:20:25 发布

阅读量1.5w

点赞数 227

分类专栏：从实战学python 文章标签： python xpath 爬虫新星计划声音合成

本文链接： https://blog.csdn.net/skylibiao/article/details/118077319

版权

从实战学python 专栏收录该内容

24 篇文章 66 订阅 ¥19.90 ¥99.00

订阅专栏

本文介绍如何使用Python爬取起点中文网的小说，并结合百度API制作小说阅读器，将文字转化为语音。内容涵盖请求、XPath解析、文件操作以及百度AI接口的使用。

摘要由CSDN通过智能技术生成

哈喽，大家好，我是一条。

相信有很多爱看小说的朋友，一定也有很多爱听小说的朋友。

今天就教大家先爬取起点中文网，再自制小说阅读器。

起点中文网爬虫

一条从初中开始看小说，那时3G刚普及，wifi更没有现在这么常见，所以都是把小说下载下来看，所以找一个免费的下载源就尤为重要。

直到接触到爬虫，简直太爽了！

1.涉及知识点

requests请求
利用lxml进行xpath解析
python文件操作

2.实现步骤

url

百度搜索起点中文网，得到所有小说的url：https://www.qidian.com/all

解析网页

通过开发者工具，分析小说名字的xpath路径

立减 ¥

227
点赞
踩
44

收藏

觉得还不错? 一键收藏
打赏
143
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

Python爬虫编程思想（48）：项目实战：抓取起点中文网的小说信息

一个被知识诅咒的人

10-09

859

本文会利用requests库抓取起点中文网上的小说信息，并通过XPath提取相关的内容，最后将经过提取的内容保存到Excel文件中。本例需要使用第三方的xlwt库，该库用来通过Python操作Excel文件，需要使用下面的命令安装xlwt库。 pip install xlwt 使用xlwt库非常简单，首先需要创建一个workbook，相当于一个Excel文件，然后在workbook中添加若干个Sheet，接下来在每一个Sheet中的指定单元格（Cell）添加文本，最后使用...

python爬取起点中文网小说_爬虫实战——起点中文网小说的爬取

weixin_39603327的博客

11-29

2605

本次实战目标是爬取一本名叫《大千界域》的小说，本次实战仅供交流学习，支持作者，请上起点中文网订阅观看。点击检查，获取页面的html信息，我发现每一章都对应一个url链接，故我们只要得到本页面html信息，然后通过Beautifulsoup，re等工具，就可将所有章节的url全部得到存成一个url列表然后挨个访问便可获取到所有章节内容，本次爬虫也就大功告成了！按照我的想法，我用如下代码获取了页面ht...

143 条评论您还未登录，请先登录后发表或查看评论

FictionDown：高效的小说爬取工具

最新发布

gitblog_00078的博客

08-16

466

Python爬虫的起点

猪哥

07-08

3178

爬虫系列文章的第一篇，猪哥便为大家讲解了HTTP原理，很多人好奇：好好的讲爬虫和HTTP有什么关系？其实我们常说的爬虫（也叫网络爬虫）就是使用一些网络协议发起的网络请求，而目前使用最多的网络协议便是HTTP/S网络协议簇。在真实浏览网页我们是通过鼠标点击网页然后由浏览器帮我们发起网络请求，那在Python中我们又如何发起网络请求的呢？答案当然是库，具体哪些库？猪哥给大家列一下： Python2...

Python简单爬取起点中文网小说（仅学习）

Sakuyo的弼码温生活

01-24

7299

目录前言一、爬虫思路二、使用步骤1.引入库2.读取页面3.分析HTML3.从标签中取出信息4.爬取正文总结前言实习期间自学了vba，现在开始捡回以前上课学过的python，在此记录学习进程本文内容仅用于学习，请勿商用一、爬虫思路无需登录的页面只需要用到简单爬虫，获取小说目录、通过目录获取小说正文即可。二、使用步骤 1.引入库代码如下（示例）： import requests,sys from bs4 import BeautifulSoup 2.读取页面代码如下（示例）： targe

python爬取起点中文网小说

weixin_42340241的博客

01-31

1036

python爬取起点中文网小说完整代码： import requests from lxml import etree header = { 'User-Agent':'Mozilla/5.0(Macintosh;Inter Mac OS X 10_13_3) AppleWebkit/537.36 (KHTML,like Gecko)' ...

Python爬虫之爬取起点中文网

weixin_43493853的博客

05-21

6172

python爬取vip小说章节_python 爬取起点小说vip章节（失败）

weixin_39624705的博客

11-20

5937

今天心血来潮，想爬取起点vip小说章节，花费了足足0.27大洋后，悟出来一个人生道理，这个应该是爬不下来。但是这0.27大洋也教会了我两个知识点。1.服务器只会响应客户端的请求，不会主动给客户端发送信息例如我爬取的这一章vip章节image.png客户端就会一直向服务器发送checkStatus?_csrfToken=w7RePr18qXzxByPdIn0h7iQtII0AC4z8oPMIXioz...

python爬虫之数据提取Xpath（爬取起点中文网案例）

sjjsaaaa的博客

12-16

3017

Xpath 详细的Xpath介绍手册——> https://www.w3school.com.cn/xpath/index.asp 1.安装xpath. pip install lxml 2.安装谷歌XPath插件下载：chrome_Xpath_v2.0.2.crx 格式的文件。拖进插件即可。如果安装不成功，将后缀名改成.rar，解压以后再拖拽进去就可以使用了。效果图（减头所指的地方就可以打开XPath）： 3.介绍 Xpath是在一门在XML文档种查找信息的语言。XPath可用来在XM

python爬取文字_Python3爬取起点中文网阅读量信息，解决文字反爬~~~附源代码

weixin_39985842的博客

11-28

154

1 """2 起点中文网，在“数字”上设置了文字反爬，使用了自定义的文字文件ttf3 浏览器渲染不出来，但是可以在网页源代码中找到映射后的数字4 正则爬的是网页源代码 xpath是默认utf-8解析网页数据;网页源代码有数据，使用浏览器"检查"是方框，用xpath爬出来的也是方框5 以小说《斗罗大陆》为例 https://book.qidian.com/info/11152776 """7 imp...

python爬虫实战笔记---以轮子哥为起点Scrapy爬取知乎用户信息

10-13

Scrapy入门项目1--爬取知乎用户信息 1.选定起始人：选定一个关注数量或粉丝数量多的大佬 2.获取粉丝和关注列表 3.获取列表用户信息 4.获取每位用户粉丝和关注

python爬虫---起点中文网免费小说爬取下载-实战项目

tmyzxy1314的博客

01-13

2296

python爬虫---起点中文网免费小说爬取下载-实战项目

python爬取起点中文网_python面向对象xpath爬起点中文网

weixin_35907331的博客

02-04

313

# -*- coding: utf-8 -*-import requestsfrom lxml import etree#抽取数据，只写了爬前页，章节页没写'''oop例子class Pig:#大写def eat(self):print('Hello World')t=Pig()t.eat()'''class Spider(object):def start_request(self):respo...

爬取起点中文网的小说

weixin_43716908的博客

11-23

626

运行无反应，也不报错，啥毛病?? import xlwt import requests from lxml import etree import time all_info_list=[] def get_info(url): html=requests.get(url) selector=etree.HTML(html.text) infos=selector.xp...

使用Python开发小说下载器，不再为下载小说而发愁

清风Python

07-01

718

有点荒废这几天有点荒废，之前弃坑的网文《伏天氏》，这几天又给捡起来了。然后一发不可收拾的只想看小说，荒废了我的学习。在这里我要检讨啊..... 像我这样的穷人，看小说肯定是找免费的网站，可不管手机还是电脑，免费网站充斥着各种的广告和链接。想找个小说txt下载的，找了半天的找不到，生气的我决定，自己拿python撸一个小说下载器！走起.... 需求分析免费的小说网比较多，我看的比...

Python爬取起点中文网小说信息及封面图片

数据攻城狮的博客

06-28

2154

文章目录网站网址分析代码爬取结果网站网址 https://www.qidian.com/all 共有5个页面分析但是发现这个图片很小，那怎么办呢？经过我的研究后发现，去掉地址后面的"/150"，就好了完美！！！代码我是在桌面创建了一个名为“爬取起点中文网”，的文件夹，然后把py文件放在里面运行。所以在你运行我的代码的时候，需要更改以下代码，更改为你自己的文件路径 os.chdir(r"C:\Users\dell\Desktop\爬取起点中文网") 同样你也可以修改存储图片的路径。

python爬虫之爬取起点中文网小说

python_qifan的博客

07-11

5385

python爬虫之爬取起点中文网小说 hello大家好，这篇文章带大家来制作一个python爬虫爬取阅文集团旗下产品起点中文网的程序，这篇文章的灵感来源于本人制作的一个项目：电脑助手启帆助手 ⬆是项目的部分源码准备工作用到的库有： urllib.request lxml.etree 代码分析第一步：导入要用到的库 from urllib import request from lxml import etree 2.第二步:设置请求头及小说网址(这里的网址以作者写的一本为例) heade

python爬虫——爬取起点中文网作品信息