python实现51JOB网站职位统计抓取并用matplotlib展示

python实现51JOB网站职位统计抓取并用matplotlib展示

2016年的时候,朋友正在运营自己公司,想为了公司更具备前瞻性,帮着弄了一个从招聘网站上获取数据的python脚本,将每天取一次并存在数据库中,主要抓取几个大城市计算机软件相关专业的招聘数量。 这两天没事试了试python图表库,用到了从16年开始到现在抓到的这些数据,现在一起发出来分享。 包中包括数据库表结构,python实现的数据抓取代码,以及python利用matplotlib生成线型分析图。

效果如图:
在这里插入图片描述
需要完整代码请前往下面链接:
https://download.csdn.net/download/b_xjie/10786386

数据库很简单,就一个表,如下:

/*
Navicat MySQL Data Transfer
Source Server Version : 50173
Source Database : db_zpstat
Target Server Type : MYSQL
Target Server Version : 50173
File Encoding : 65001
Date: 2018-11-14 17:13:05
*/


– Table structure for t_stat_51


DROP TABLE IF EXISTS t_stat_51;
CREATE TABLE t_stat_51 (
id bigint(20) unsigned NOT NULL AUTO_INCREMENT,
keyword varchar(255) NOT NULL,
date timestamp NOT NULL DEFAULT ‘0000-00-00 00:00:00’ ON UPDATE CURRENT_TIMESTAMP,
city varchar(20) NOT NULL,
cnt int(11) NOT NULL DEFAULT ‘0’,
PRIMARY KEY (id),
KEY fdate (date),
KEY key (keyword),
KEY count (cnt)
) ENGINE=MyISAM AUTO_INCREMENT=167984 DEFAULT CHARSET=utf8;

还有一个插入数据的存储过程:

数据库插入数据存储过程

下面的是从网站抓取数据的主程序,在服务器中是以服务自动运行的。代码如下:
//main.py 程序入口
程序入口

//source_51.py
在这里插入图片描述

//dbmgr.py 用于数据库操作
在这里插入图片描述

//helper.py

在这里插入图片描述

//下面代码从数据库取出数据并生成图形
在这里插入图片描述

结果展示

需要完整代码请前往下面链接:
https://download.csdn.net/download/b_xjie/10786386

你可能感兴趣的