博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Request模块实战01 ---简单爬取页面
阅读量:319 次
发布时间:2019-03-04

本文共 774 字,大约阅读时间需要 2 分钟。

Request模块实战01 — 简单爬取页面(四步曲)


1.request模块

- urllib模块 - request模块

2.request模块:

python中原生的一款基于网络请求的模块,功能强大,简单便捷,效率高作用:模拟浏览器发送请求

3.如何使用:(request模块的编码流程)

- 1.指定url- 2.发起请求- 3.获取响应数据- 4.持久化存储

4.代码实现

# -*- coding: utf-8#  @Time    : 2020/12/7 23:24#  @Author  : ZYX#  @File    : request01_firstblood.py# @software: PyCharmimport requestsif __name__ == '__main__':    # 1.指定url    url = "https://www.sogou.com/"    # 2.发送请求    #    get方法会返回一个响应对象    response = requests.get(url)    # 3.获取响应数据.text 返回的是字符形式的响应数据    page_text = response.text    print(page_text)    # 4.持久化存储    with open('./data/sogou.html','w',encoding='utf-8') as fp:        fp.write(page_text) # 将爬取的数据写入文件    print('爬取数据结束!!!')

在这里插入图片描述

通过运行结果可以看出,爬虫小程序成功完成,并且将对应的文件保存在了指定文件目录下。
在这里插入图片描述
打开保存的html文件,使用谷歌浏览器打开,成功运行。至此,第一个爬虫小程序顺利完成!
在这里插入图片描述


转载地址:http://yweq.baihongyu.com/

你可能感兴趣的文章