python爬虫漫画网站漫客栈图片本地化(爬取漫画)
python爬虫 将在线html网页中的图片链接替换成本地链接并将html文件下载到本地
import os,re
def check_flag(flag):
regex = re.compile(r'images\/')
result = True if regex.match(flag) else False
return result
#soup = BeautifulSoup(open('index.html'))
from bs4 import BeautifulSoup
html_content = '''
a href=""测试01/a
a href=""测试02/a
a href=""测试01/a
a href=""测试01/a
'''
file = open(r'favour-en.html','r',encoding="UTF-8")
soup = BeautifulSoup(file, 'html.parser')
for element in soup.find_all('img'):
if 'src' in element.attrs:
print(element.attrs['src'])
if check_flag(element.attrs['src']):
#if element.attrs['src'].find("png"):
element.attrs['src'] = "michenxxxxxxxxxxxx" +'/'+ element.attrs['src']
print("##################################")
with open('index.html', 'w',encoding="UTF-8") as fp:
fp.write(soup.prettify()) # prettify()的作?是将sp美化?下，有可读性
python爬取动漫图片无法用request找到图片链接？
你爬取的确实是源代码
F12看element的图片是js模板动态生成的。
给个提示，源码的最底部有 "var DATA =" 这个后面跟的一堆数据存的才是你需要的
Python漫画爬虫两弹
其实从接触python到现在已经快大半年了，中间看过不少的视频，也跟着别人的教程写过不少东西，但是到现在还感觉没有入门。其实中间也明白是为什么，就好比小学生上课一样，上课认真听，认真做笔记，可是下了课之后就从来不看笔记，也从来不写作业。上课一听就懂，自己一写啥都不会，我相信很多人跟我现在是一样的感觉，所以现在创建这个作业集，一来是想鞭策自己真真正正的写点东西，二来也是希望广大的读者老师能够给我批改批改作业，大家相互学习共同进步。
好了，现在开始进入正题。
但是我在这里还是遇到了一个小问题。比如说
上一步呢我们获取了所有漫画的url保存在了一个list当中，现在我们挨个请求comic_list中的url。
通过观察网页我们发现我们可以从网页上直接看到漫画一共有多少页（page_num），也就是多少张图片。
（上一章下一章点开之后会发现跳到了另外一部漫画，所有我们不用在意，这里的一部漫画很短）
正则是用来提取数字。
然后我们一页一页的点击观察url的变化会发现除了第一页的url就是漫画的url外，其他从第二页一直到最后的url都是有规律的
找到规律这就简单了，跟先前构造漫画url差不多。我们构造构造除了第一页外的其他页数的url
保存漫画分两步，首先是创建文件夹，其次是保存。
打开风之动漫拉到最下面我们可以看到在网站的最下面有一个 网站地图
获取漫画每一话的标题和对应的url，保存到字典 comic_chapter_url_dict 中
最难的部分来了。
首先 通过F12 我们可以看到图片的链接在一个 id="mhpic" 的img标签中
最后希望能够帮助那些比我还小白的小白，也希望各位大神看过之后能够指点一二，不胜感激。
两个爬虫的 GitHub地址
python 网络爬虫，怎么自动保存图片
def?download_poster_image(movie):???#定义一个下载图片函数
????src?=?movie??#取出它的url
????r?=?requests.get(src)???#去获取这个url
????fname?=?url.split('/')[-1]???#从url里面获取这个文件名
????with?open(fname,?'wb')?as?f:??#应答的内容写进去并且使用二进制
????????f.write(s.content)
????movie['poster-path']?=?fname
res?=?requests.get(url)
img_url?=?res.xpath('//img[@class="q-img-item"]/@src')
movie?=?img_url?
download_poster_image(movie)?#执行函数
python 如何将大量图片的url保存到本地？
你如果要保存图片的url，直接把imgsrc写入本地文件就可以了，urllib.request.urlretrieve(imgsrc)这个的意思是你要保存的不是图片的url，而是要把图片下载下来，这个是要批量爬取网站上的图片，需要考虑网站的反爬虫措施了。
Python 爬虫爬坑路（二）——B站图片，咸鱼的正确 GET 姿势
昨天在写完 入门级爬虫之后 ，马上就迫不及待的着手开始写 B站的图片爬虫了，真的很喜欢这个破站呢 (?￣△￣)?
这里不涉及到 Python 爬虫的高级技巧，没有使用框架，没有考虑反爬机制，没有使用异步IO技术，因为这些，我都不会！
我们选定 B站的 动画区 进行测试，打开后我们发现有好多好多图....
但当我们使用 F12 查看这些图片的时候，发现并没有图片的地址...
这就是目前大多网站使用的 Ajax 技术动态加载数据的锅，可遇到这种情况这么办呢？别急别急，我们知道这些图片的地址一定是需要加载的，而目前常见WEB传输数据的基本就是方式 XML 和 Json (其实是我就知道这两种...)，那好我们去看看请求的 XML 和 Json 文件。
以下省略查找过程....
我们发现 B站的图片地址是保存在 Json 里面的，ok，我们保存好这个 json 地址:
;jsonp=jsonpps=15rid=24_=1505783866453
这个是 MAD·AMV 最新动态的 Json 文件，利用上面相同的方法，我们找到 3D区、短片·配音区、综合区 以及 右边排行部分 的相应 json 地址。
好在 Chrome 浏览器提供了一个 Preview 功能，自动帮我们整理好 数据，如下
这样就很清晰啦，我们只需要一层层解析拿到 pic 即可。于是我们这样写：
我们利用 requests 内置的 json 解码器，很不幸，报错：
json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
它提示说：解码 Json 数据的时候出了问题，可能是在 第一行 第一列，咦？好奇怪，刚才不是用浏览器看过结构了吗，没毛病啊，怎么还在报错：Σ( ￣□￣||)
别急别急，我们先看看原始的 Json 数据长啥样？用 浏览器打开上面的 json 链接就可以了。
（/TДT)/ 前面的那些字母是干嘛的呀，为什么还有括号啊！
所以我们知道了 Json 解析错误 的原因啦：后面在处理的时候把前面的这部分删掉就好啦，另外我们也发现了 archives 这个关键字，我们在上一张图看见过的哦，有印象吗？啊，你说没有呀，没关系，这里你只需要记着它是一个 List 的数据类型就好了呀！
为了防止被当作是 恶意访问 从而被封 IP，这里我们选择牺牲时间，取巧使用 sleep(x) ，让其等待一段时间之后再发出请求。
你可能会问我，呀，你这个，根本没有代理、没有混淆IP防止反爬、也没有模拟 Ajax 请求动态抓取云云~
那我可以很负责的告诉你，你！走错地方了！你要找的技术贴出门右拐！（￣へ￣）
我们恰巧使用的是 B站的 Ajax 技术，只要哪个视频有了最新评论(或者是一下其它的条件)，就会使用 Ajax 将最新的数据取出来。就像下面这样：
所以可能在访问人数多的时候，更新越快，越有可能获得更多不同的图片啦！
之后你就可以在吃饭的时候，把它挂起，然后吃饭回来就会发现有好多好多的图片！(=?ω?=)
之后会陆续的更新自己爬虫的爬坑过程，希望能够找到小伙伴一起学习呀！