2025年python爬虫笔记（2025年python爬虫简单）

Python爬虫学习笔记:GET和POST请求两者抓取方式的异同

1、而POST请求会再次提交请求；GET请求的URL可以被加入书签，而POST不能；GET请求数据只能进行URL编码，而POST支持多种编码方式；GET请求大小有限制，而POST没有限制；GET请求参数在ASCII码范围内，POST则没有限制；GET请求参数直接暴露在URL中，相比POST来说更不安全。

2、参数传递方式：GET请求的参数通过URL传递，而POST请求的参数通过请求体传递。数据安全性：由于GET请求的参数暴露在URL中，因此它不如POST请求安全。POST请求的参数包含在请求体中，不会暴露在URL中，因此相对更安全。数据大小限制：GET请求的参数大小受到URL长度的限制，通常浏览器和服务器都会限制URL的长度。

3、总的来说，在做数据查询时，建议用GET方式；而在做数据添加、修改或删除时，建议用POST方式。

4、GET请求操作相对简单，主要通过调用requests库中的get函数实现。然而，POST请求则需要更详细的配置，包括但不限于请求头与数据类型。在配置POST请求时，你可能需要考虑请求头与数据格式，尤其是当目标网站使用JSON或其他特定格式传输数据。

5、在Python爬虫中，使用requests库发送请求是常见操作，主要涉及GET请求和POST请求。其中，POST请求因提交方式多样，容易引起混淆。以下是对几种常见POST请求方式的分析。HTTP协议要求POST请求的数据放在消息主体中，但未规定具体的编码方式，导致不同的提交方式。

保姆级整理!136页Python学习笔记,全面总结看这一篇就够了

笔记概览 这份Python学习笔记共计136页（注：原描述为137页，但为保持与后续内容一致，此处按136页表述），内容涵盖了Python的基础语法、数据类型、函数与模块、面向对象编程、文件操作、异常处理、网络编程、数据库操作、Web开发等多个方面。

这份136页的Python学习笔记是一份非常宝贵的资源，它全面系统地总结了Python的核心知识点，并提供了丰富的示例代码和解释。无论是初学者还是有一定基础的开发者，都可以通过这份笔记来巩固和提升自己的Python编程能力。如果你正在学习Python或者打算开始学习Python，那么这份笔记绝对是一个不错的选择。

笔记概述 这份Python学习笔记由大神精心整理，内容涵盖了Python的各个方面，从基础语法到高级应用，每个知识点都进行了详细的总结和提炼。笔记采用章节式布局，每个章节都对应一个核心知识点，方便读者快速定位和学习。此外，笔记还配备了左侧导航书签页，使得查阅和复习更加便捷。

学习笔记的核心特点条理性与提炼性 将核心知识点统筹在一个章节内，避免零散学习，帮助新手快速建立知识框架。例如，数字类型章节系统梳理了数字常量、类型转换、混合类型表达式规则、除法差异等细节。覆盖全面 包含Python基础到进阶的核心内容，如动态类型、序列操作、函数定义、模块用法等。

Python基础入门 Python简介与环境搭建：介绍Python的历史、特点、优势以及如何在不同操作系统上搭建Python开发环境。变量与数据类型：详细讲解Python中的变量命名规则、基本数据类型（如整数、浮点数、字符串、布尔值等）及其操作。

文件操作：Python提供了内置的文件操作函数，可以读写文本文件和二进制文件。异常处理：使用try...except语句进行异常处理，可以捕获和处理程序运行时的错误。面向对象编程：Python支持面向对象编程，可以定义类、创建对象、继承和多态等。

Python实战:爬取小红书系列之【采集作者主页所有笔记】

该Python爬虫项目通过解析小红书作者主页链接，采集作者的笔记信息。采集的信息包括作者、笔记类型、标题、点赞数和笔记链接。采集到的数据会被存储为Excel表格。爬虫流程：登录小红书：使用DrissionPage库进行网页操作，模拟用户登录。打开作者主页：根据提供的作者主页链接打开页面。

首先，爬虫能顺利抓取作者主页并获取笔记数据，然后按照点赞量降序排列，存储在本地Excel文件中。多次测试证明，程序稳定可靠。由于小红书的反爬策略，批量抓取数据颇具挑战，潜在风险包括封号。我的爬虫策略模拟人的操作，通过定时刷新页面避免触发反爬机制，确保数据获取过程平稳进行。

使用关键词“春节”，搜索后保存至excel文件，同样按照点赞量排序展示笔记。本方法采用纯模拟人操作的策略，避免触碰小红书的反爬机制，通过如下步骤实现爬取：打开小红书主页、登录账号、关键词搜索、提取页面数据、循环刷新页面、数据处理去重排序、保存至excel文件。

Python爬虫入门案例——小红书内容爬取的关键步骤如下：获取HTML页面：使用requests库发送GET请求到指定的小红书URL。设置请求头，特别是UserAgent，以模仿浏览器行为，避免被反爬机制检测到。接收响应后，确保字符编码为UTF8，以便正确解析网页中的中文字符。将获取到的HTML文本保存下来，供后续处理。

要采集小红书APP关键词下的全部笔记，可以按照以下步骤进行： 准备工具与环境 电脑：使用Windows或Mac系统。 手机：苹果手机，因为Android 7以后默认使用自带证书，配置相对复杂。 软件：在电脑上安装mitmproxy，这是一款开源的抓包工具，能够拦截、查看、修改和重放网络流量，并支持扩展Python脚本。