爬取政府工作报告文本
- 2026-10-12 07:32:22
👇 连享会 · 推文导航 | www.lianxh.cn
🍓 连享会 · 2026 LLM × Agent：超级研究者专题
嘉宾：陈沁 (脉搏深处科技有限公司，首席经济学家)
时间：2026 年 11 月 28-29 日
咨询：王老师 18903405450（微信）
课程将沿着真实研究推进过程：
先解决变量怎么构造，再考虑研究积累怎样持续形成优势； 当通用模型不够用时，需要进一步改进知识组织和模型能力； 当方法已经可行，还要解决怎样以可承受的时间和成本扩大研究规模。
课程关注的不是多掌握几个 AI 工具，而是怎样把这些方法真正用到研究过程中，拓展研究者能够处理的研究问题、材料类型和数据规模。
既讨论大模型能带来哪些新的研究可能，也讨论真正落到论文研究中以后，哪些问题还需要研究者继续解决。
作者：修博文 (重庆理工大学)邮箱：Bornxiu@163.com
温馨提示： 文中链接在微信中无法生效。请点击底部「阅读原文」。或直接长按/扫描如下二维码，直达原文：
1. 项目背景介绍
《政府工作报告》是一份具有法律效力的官方文件，它不仅汇总了各地区过去一年的工作成果，还展望了未来的发展蓝图，因此，它对于经济建设与发展的研究具有不可替代的价值。本文将指导你如何使用 Python 编程语言，从中国经济网这一权威平台上爬取全国各省市的《政府工作报告》。
2. 前期的准备工作
2.1 网络驱动
为了实现自动化爬虫，需要先设置网络驱动 (这里以 WebDriver 为例说明)。以下是具体步骤：
在地址栏中输入 edge://settings/help并回车，以查看你计算机上 Edge 浏览器的版本信息。根据 Edge 浏览器的版本信息，前往 Microsoft 官方提供的 WebDriver 下载页面：https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/。 在下载页面中，找到与你的 Edge 浏览器版本相匹配的 WebDriver 版本，并下载。 下载完成后，你将得到一个文件，其名称可能不是 MicrosoftWebDriver.exe。此时，请将该文件的名称更改为MicrosoftWebDriver.exe。将重命名后的 MicrosoftWebDriver.exe文件放置在与你的 Python 脚本 (.py文件) 相同的目录中。这样，当你运行 Python 脚本时，它将能够自动找到并使用这个WebDriver来驱动浏览器，实现自动化爬虫功能。
完成以上步骤后，你的环境就已经配置好了，可以开始编写 Python 代码来自动化地爬取网页内容了。
2.2 注意事项
需要注意的是，WebDriver 是随着浏览器版本的更新而变动的。一旦浏览器版本发生更新，务必前往之前提到的 WebDriver下载地址重新下载与最新浏览器版本相匹配的驱动。如果不及时更新，再次进行爬虫工作时可能会出现错误，导致工作无法正常进行。
在此，我们推荐使用微软自带的 Microsoft Edge 浏览器作为爬虫的运行环境。它的稳定性和兼容性都经过了广泛验证，能够确保爬虫的顺利进行。
对于使用 Mac 的同学来说，可以直接使用 Safari 浏览器的驱动，因为 Mac 系统自带了该浏览器的驱动，无需额外下载。但请注意，为了确保驱动的正常使用，可能需要在管理员模式下进行激活。后文将详细介绍如何更改 Safari 浏览器驱动的设置。
3. 爬虫任务的主体工作
3.1 加载爬虫使用的库
import csvfrom selenium import webdriverfrom bs4 import BeautifulSoupcsv：将所爬取的内容保存进 csv 文件中；webdriver：可以理解为能够自动驱动浏览器，详见链接；BeautifulSoup：爬虫必不可少的解析网页的工具。
如果没有这几个库，请在终端中输入 pip install csv 下载相关的库。如果是在 conda 环境下，请在终端中输入 conda install csv 下载相关的库。下载其余的 Python 库方法相同，此不再赘述。
3.2 解析目标链接并获内容
在爬取网页内容之前，我们首先需要访问目标网页并观察其结构。通过观察想要爬取的网页内容，我们可以确定所对应的 HTML 标签。这些标签是爬取数据的关键索引。
举例来说，当我们要爬取北京市的《政府工作报告》时，首先需要定位整个文本内容所在的 HTML 标签。通过观察页面结构，我们发现整个文本可能位于一个具有 class='content' 属性的标签内。接下来，为了更细致地爬取文本中的每一句话，我们进一步查看这些句子所对应的标签。通常，句子会被包含在 <p> 标签中，因此，通过定位这些 <p> 标签，我们就可以索引并爬取整个文本内容。
这个例子所展示的思路，实际上也是爬取其他网页上相关内容的一个通用框架。接下来，我将详细介绍本小节内容的具体实施步骤。
在爬取过程中，一个值得注意的问题是，我们所选取的政府工作报告集合网站——中国经济网，可能并不保证每年都包含所有地区的政府工作报告。这就意味着，如果某一年某个地方的政府工作报告没有被收集，那么我们的爬虫程序可能会因此中断。为了避免这种情况的发生，我们需要先判断即将爬取的下一页是否有内容。如果发现下一页没有内容，我们就应该直接跳过，并继续进行下一个页面的爬取，以此类推。
defgetText(city,url,text):#因为有可能当年地方《政府工作报告》的没有存在于该网站，所以首先判断网页是否访问错误#当正常访问时try: driver.get(url) driver.implicitly_wait(20) soup = BeautifulSoup(driver.page_source, "html5lib")if soup:# 通过BeautifulSoup网页 获取报告if soup.find(class_='content').find_all('p'):# 将报告储存在content中 content = soup.find(class_='content').find_all('p')for i in content: text = text + (str(i.text).strip())else: text = '文本丢失'#当访问不正常时except: saveText(city,text)return#由于文本篇幅的限制，可能一篇《政府工作报告》无法在一页全部呈现，#这时候就需要检查其下一页是否仍有内容存在#判断是否存在下一页try: nextPage = soup.find(text='下一页').find_parent('a') nextPageUrl = nextPage['href'] print(nextPageUrl)#不存在下一页，返回textexcept: saveText(city,text)return#第一个链接解析完毕之后需要向后一个链接接着做解析#拼接完整的网址，访问下一页 index = url.rfind('/') + 1 getText(city,url[:index] + nextPageUrl, text)3.3 将内容储保存到csv文件中
defsaveText(city,text):#创建并打开example.csv文件，并将从网页上解析出来的内容储存到这个csv文件中with open('example.csv', 'a+', newline='', encoding='utf-8') as file: csv_f = csv.writer(file) csv_f.writerow([city, text]) file.close()4. 创建一个主代码块执行上述代码
当然，if __name__ == '__main__': 代码块的使用并非必需，但它的确有助于增强代码的模块化和独立性。当你在一个 Python 文件中定义函数和类时，该文件既可以作为模块被其他文件导入使用，也可以作为脚本直接运行。
if __name__ == '__main__':#使用Microsoft浏览器with open('example1.csv','w+', newline='', encoding='utf-8') as file: csv_f = csv.writer(file) csv_f.writerow(['城市','政府工作报告报告']) file.close() driver = webdriver.Edge() #使用Mac的同学直接将此处的.Edge()改为.Safari()即可，即是driver = webdriver.Safari() url = "http://district.ce.cn/zt/2023/zfgzbg/index.shtml"#目标网页 driver.get(url) driver.implicitly_wait(20)#通过BeautifulSoup获取各省市报告的< a >标签 soup = BeautifulSoup(driver.page_source, "html5lib") urlList = soup.find(class_='con').find_all('a')#建立一个空列表，储存获取的省市名和对应的< a >标签 list = []for i in urlList: list.append([i['title'],i['href']])#循环列表，通过网址访问各省市报告网页for i in list: txt = '' getText(i[0],i[1],txt)5. 总结
5.1 完整代码
import csvfrom selenium importfrom bs4 import BeautifulSoupdefgetText(city,url,text):#当正常访问时try: driver.get(url) driver.implicitly_wait(20) soup = BeautifulSoup(driver.page_source, "html5lib")if soup:# 通过BeautifulSoup网页 获取报告if soup.find(class_='content').find_all('p'):# 将报告储存在content中 content = soup.find(class_='content').find_all('p')for i in content: text = text + (str(i.text).strip())else: text = '文本丢失'#当访问不正常时except: saveText(city,text)returntry: nextPage = soup.find(text='下一页').find_parent('a') nextPageUrl = nextPage['href'] print(nextPageUrl)#不存在下一页，返回textexcept: saveText(city,text)return#拼接完整的网址，访问下一页 index = url.rfind('/') + 1 getText(city,url[:index] + nextPageUrl, text)defsaveText(city,text):with open('example.csv', 'a+', newline='', encoding='utf-8') as file: csv_f = csv.writer(file) csv_f.writerow([city, text]) file.close()if __name__ == '__main__':#使用Microsoft浏览器with open('example1.csv','w+', newline='', encoding='utf-8') as file: csv_f = csv.writer(file) csv_f.writerow(['城市','政府工作报告报告']) file.close() driver = webdriver.Edge() url = "http://district.ce.cn/zt/2023/zfgzbg/index.shtml"#目标网页 driver.get(url) driver.implicitly_wait(20) soup = BeautifulSoup(driver.page_source, "html5lib") urlList = soup.find(class_='con').find_all('a') list = []for i in urlList: list.append([i['title'],i['href']])for i in list: txt = '' getText(i[0],i[1],txt)5.2 爬取结果示例
🍓 连享会 · 2026 AI-Agent数据分析实战专题
嘉宾：杨楷 (深圳大学)
时间：2026 年 10 月 17、24、31 日
咨询：王老师 18903405450（微信）
New！ Stata 搜索神器：
lianxh和songblGIF 动图介绍
搜： 推文、数据分享、期刊论文、重现代码 ……
👉 安装：. ssc install lianxh. ssc install songbl
👉 使用：. lianxh DID 倍分法. songbl all
🍏 关于我们
连享会 ( www.lianxh.cn，推文列表) 由中山大学连玉君老师团队创办，定期分享实证分析经验。 直通车： 👉【百度一下：连享会】即可直达连享会主页。亦可进一步添加 「知乎」,「b 站」,「面板数据」,「公开课」 等关键词细化搜索。
