1. 首页
  2. 金融财经

爬虫得来的股票数据怎么处理(用python爬虫爬取股票数据)

前言:

编写一个爬虫脚本,用于爬取东方财富网的上海股票代码,并通过爬取百度股票的单个股票数据,将所有上海股票数据爬取下来并保存到本地文件中

爬虫得来的股票数据怎么处理

系统环境:

64位win10系统,64位python3.6,IDE位pycharm

预备知识:

BeautifulSoup的基本知识,re正则表达式的基本知识

代码:

爬虫得来的股票数据怎么处理

代码解释:

第一个getHTMLText函数的作用是获得所需的网页源代码

第二个getStockList函数的作用是获得东方财富网上面上海股票的全部代码,查看网页源代码可知,股票代码的数据放在’a’标签里面,如下图所示:

爬虫得来的股票数据怎么处理

因此,首先用find_all方法遍历所有’a’标签,然后在’a’标签里面提取出href部分信息,在提取出来的href信息里面,用正则表达式匹配所需的信息,“sh\d{6}”,即徐亚匹配例如sh200010的信息

第三个函数需要根据第二个函数得到的股票代码,拼接出一个url,在这个特定的url的网页里,使用第一个函数解析网页,首先加一个判断,如果遇到html为空,那么要继续执行下去,同样,我们也需要再加一个判断(关键之处),遇到网页不存在,

但html源代码仍然是存在的,因此接下去这个命令

stockInfo = soup.find(‘div’,attrs = {‘class’:’stock-bets’})

可能为空,如果不加判断,程序执行到这里就会报错而无法继续执行,因此添加:

if stockInfo == None:

continue

原创文章,作者:依云财经,如若转载,请注明出处:https://www.911idc.com/2565.html

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注