python爬虫代码文件(python爬虫文档)

求一个python3爬虫代码，可以从小说网站上直接把小说的文字抄下来，并整合到一个新的文本里

from?bs4?import?BeautifulSoup

from?requests.exceptions?import?RequestException

import?re

import?requests

import?os

def?get_html_text(url):

????try:

????????r?=?requests.get(url)

????????r.raise_for_status()

????????return?r.text

????except?RequestException:

????????return?None

def?get_chapter_names(html):

????soup?=?BeautifulSoup(html,?'lxml')

????charpter?=?soup.select('.bg')

????charpter_names?=?[]

????for?entry?in?charpter[1:]:

????????charpter_name?=?re.findall('h2(.*?)/h2',?str(entry))

????????file_name?=?re.findall('a?href.*?(.*?)/a',?str(entry))

????????if?charpter_name?and?file_name:

????????????for?name?in?file_name:

????????????????name?=?name.split('?')[0]

????????????????charpter_names.append(charpter_name[0]?+?'_'?+?name)

????????else:

????????????pass

????return?set(charpter_names)

def?get_each_url(html):

????soup?=?BeautifulSoup(html,?'lxml')

????urls?=?soup.select('ul?li?a')

????for?url?in?urls:

????????link?=?url.get('href')

????????text?=?url.text.split('?')[0]

????????full_name?=?url.text.replace('?','')

????????yield?{'url':?link,?'text':?text,'full_name':full_name}

????????print(text)

def?get_text(url):

????r?=?requests.get(url)

????r.encoding?=?r.apparent_encoding

????soup?=?BeautifulSoup(r.text,?'lxml')

????items?=?soup.select('div.content-body')

????item?=?re.findall(';(.*?);',?items[0].text,?re.S)

????return?item[0].encode()

def?save_to_file(url,?text,?full_name):

????base_dir?=?'daomu'

????path?=?'{}\\{}\\{}'.format(os.getcwd(),?base_dir,?text)

????if?not?os.path.exists(path):

????????try:

????????????os.makedirs(path)

????????except:

????????????pass

????try:

????????with?open(path?+'\\'+?full_name?+'.txt',?'wb')?as?f:

????????????f.write(get_text(url))

????except:

????????pass

def?main():

????url?=?''

????html?=?get_html_text(url)

????chapters?=?get_chapter_names(html)

????for?chapter?in?chapters:

????????for?each?in?get_each_url(html):

????????????if?each['text']?==?chapter.split('_')[-1]:

????????????????save_to_file(each['url'],chapter,each['full_name'])

if?__name__?==?'__main__':

????main()

4种Python爬虫（3. 微信小程序，如，超级猩猩）

目录:

1. PC网页爬虫

2. H5网页爬虫

3. 微信小程序爬虫

4. 手机APP爬虫

爬取超级猩猩的课表，该平台仅提供了微信小程序这一个途径，前面两种针对html网页的爬取方式都不再适用。

采用抓包分析是我们制定方案的第一步。

我用的Mac电脑，fiddler只有一个简化版，所以另找了Charles这个类似的软件。启动Charles的代理，在手机WIFI中设置好对应的代理就可以开抓了。但是，抓到的https包的内容都是乱码，咋办？

Charles中提供了ssl证书，在手机端安装证书即可。推荐使用iPhone，直接安装描述文件即可。Android手机必须使用系统版本在7.0以下的才行，7.0以上还需要反编译什么的，太麻烦了。

很容易的定位到了超级猩猩微信小程序载入课表的后台接口。拿这个URL在浏览器里访问试试，直接返回了json结果！超级猩猩很友好！

提取对应的URL，放到浏览器中验证，也可以支持返回json包，剩下就是分析一下这个json的数据结构，按照需要的方式导出了。

直接通过接口的爬取效率非常高，几秒钟就拉取了全国各个门店的排课，相当舒心。（下图的录屏没有进行加速）

最后一个挑战就是对只有Android/iOS的APP端应用数据的爬取。请看下一章

请点击： 下一页

Python爬虫：想听榜单歌曲？只需要14行代码即可搞定

虽然说XPath比正则表达式用起来方便，但是没有最方便，只有更方便。我们的BeautifulSoup库就能做到更方便的爬取想要的东西。

使用之前，还是老规矩，先安装BeautifulSoup库，指令如下：

其中文开发文档：

BeautifulSoup库是一个强大的Python语言的XML和HTML解析库。它提供了一些简单的函数来处理导航、搜索、修改分析树等功能。

BeautifulSoup库还能自动将输入的文档转换为Unicode编码，输出文档转换为UTF-8编码。

所以，在使用BeautifulSoup库的过程中，不需要开发中考虑编码的问题，除非你解析的文档，本身就没有指定编码方式，这才需要开发中进行编码处理。

下面，我们来详细介绍BeautifulSoup库的使用规则。

下面，我们来详细介绍BeautifulSoup库的重点知识。

首先，BeautifulSoup库中一个重要的概念就是选择解释器。因为其底层依赖的全是这些解释器，我们有必要认识一下。博主专门列出了一个表格：

从上面表格观察，我们一般爬虫使用lxml HTML解析器即可，不仅速度快，而且兼容性强大，只是需要安装C语言库这一个缺点（不能叫缺点，应该叫麻烦）。

要使用BeautifulSoup库，需要和其他库一样进行导入，但你虽然安装的是beautifulsoup4，但导入的名称并不是beautifulsoup4，而是bs4。用法如下：

运行之后，输出文本如下：

基础的用法很简单，这里不在赘述。从现在开始，我们来详细学习BeautifulSoup库的所有重要知识点，第一个就是节点选择器。

所谓节点选择器，就是直接通过节点的名称选择节点，然后再用string属性就可以得到节点内的文本，这种方式获取最快。

比如，基础用法中，我们使用h1直接获取了h1节点，然后通过h1.string即可得到它的文本。但这种用法有一个明显的缺点，就是层次复杂不适合。

所以，我们在使用节点选择器之前，需要将文档缩小。比如一个文档很多很大，但我们获取的内容只在id为blog的p中，那么我们先获取这个p，再在p内部使用节点选择器就非常合适了。

HTML示例代码：

下面的一些示例，我们还是使用这个HTML代码进行节点选择器的讲解。

这里，我们先来教会大家如何获取节点的名称属性以及内容，示例如下：

运行之后，效果如下：

一般来说一个节点的子节点有可能很多，通过上面的方式获取，只能得到第一个。如果要获取一个标签的所有子节点，这里有2种方式。先来看代码：

运行之后，效果如下：

如上面代码所示，我们有2种方式获取所有子节点，一种是通过contents属性，一种是通过children属性，2者遍历的结果都是一样的。

既然能获取直接子节点，那么获取所有子孙节点也是肯定可以的。BeautifulSoup库给我们提供了descendants属性获取子孙节点，示例如下：

运行之后，效果如下：

同样的，在实际的爬虫程序中，我们有时候也需要通过逆向查找父节点，或者查找兄弟节点。

BeautifulSoup库，给我们提供了parent属性获取父节点，同时提供了next_sibling属性获取当前节点的下一个兄弟节点，previous_sibling属性获取上一个兄弟节点。

示例代码如下：

运行之后，效果如下：

对于节点选择器，博主已经介绍了相对于文本内容较少的完全可以这么做。但实际的爬虫爬的网址都是大量的数据，开始使用节点选择器就不合适了。所以，我们要考虑通过方法选择器进行先一步的处理。

find_all()方法主要用于根据节点的名称、属性、文本内容等选择所有符合要求的节点。其完整的定义如下所示：

【实战】还是测试上面的HTML，我们获取name=a，attr={"class":"aaa"}，并且文本等于text="Python板块"板块的节点。

示例代码如下所示：

运行之后，效果如下所示：

find()与find_all()仅差一个all，但结果却有2点不同：

1.find()只查找符合条件的第一个节点，而find_all()是查找符合条件的所有节点2.find()方法返回的是bs4.element.Tag对象，而find_all()返回的是bs4.element.ResultSet对象

下面，我们来查找上面HTML中的a标签，看看返回结果有何不同，示例如下：

运行之后，效果如下：

首先，我们来了解一下CSS选择器的规则：

1..classname：选取样式名为classname的节点，也就是class属性值是classname的节点2.#idname：选取id属性为idname的节点3.nodename：选取节点名为nodename的节点

一般来说，在BeautifulSoup库中，我们使用函数select()进行CSS选择器的操作。示例如下：

这里，我们选择class等于li1的节点。运行之后，效果如下：

因为，我们需要实现嵌套CSS选择器的用法，但上面的HTML不合适。这里，我们略作修改，仅仅更改

如何用用网络爬虫代码爬取任意网站的任意一段文字？

网络爬虫是一种自动化的程序，可以自动地访问网站并抓取网页内容。要用网络爬虫代码爬取任意网站的任意一段文字，可以按照如下步骤进行：

准备工作：需要了解目标网站的结构，以及想要爬取的文字所在的网页的URL。此外，还需要选择一种编程语言，如Python、Java、C++等，一般建议用PYTHON，因为有完善的工具库，并准备好相应的编程环境。

确定目标：通过研究目标网站的结构，确定想要爬取的文字所在的网页的URL。

获取网页源代码：使用编程语言的相应库（如Python的urllib库），访问目标网页的URL，获取网页的源代码。

解析网页源代码：使用编程语言的相应库（如Python的BeautifulSoup库），解析网页源代码，找到想要爬取的文字所在的HTML标签。

提取文字：获取HTML标签的文本内容，即为所要爬取的文字。

保存结果：将爬取的文字保存到文件中或数据库中，以便后续使用。

python爬虫怎么将读取的数据导出excel文件,怎么整齐

python爬虫将读取的数据导出excel文件并整理整齐的方法如下。

1、输入import-xlsxwriter。

2、输入excel的for循环。

3、excel收入的文件为格式化数据，在爬取数据后需要提前清洗数据。注意，excel是从1开始的列。使用xlwt模块的主要代码，整个过程就是模拟手动将数据一个个填写到Excel的单元格中，然后保存该Excel文件。

python爬虫源代码没有但检查

python爬虫源代码没有但检查可以通过5个步骤进行解决。

1、提取列车Code和No信息。

2、找到url规律，根据Code和No变化实现多个网页数据爬取。

3、使用PhantomJS模拟浏览器爬取源代码。

4、用bs4解析源代码，获取所需的途径站数据。

5、用csv库存储获得的数据。