您的位置:新闻资讯 >文章内容
python怎么做数据分析
来源:云时之间 作者:admin 时间:2018-12-10 17:59:13

电商兴起后,越来越多的企业通过爬虫采集电商数据,并从中挖掘到有价值的资料,那么爬虫是如何知道哪些数据是有用的,哪些数据没有用呢?

其实不可用的数据比较多,如果能够不采集这些无用的数据,将会大大的提高工作效率。另外,采集完数据后,也还需要进一步通过数据的分析,过滤掉一些无用的数据,那么python怎么做数据分析?下面跟精灵代理一起去了解一下数据分析问题。

一、爬虫部分

在这一篇文章中我们会以淘宝为例,爬取淘宝的店铺和商家信息,然后去进行分析,首先我们打开淘宝首页,搜索你想要查询的产品:

python怎么做数据分析

这里我们会发现在商品信息哪里会有商品的价格,商品的销量,商家店铺名称以及商家的地址,这时候我们就需要去解析网页,去从网页中寻找这些信息,在处理在这些信息我们要用到的是正则匹配公式.(建议多尝试几次,因为有时候服务器不太好会匹配不到)。

另外在实现翻页的时候,淘宝的页码公式是44(k-1)

python怎么做数据分析

我们匹配的只需要是蓝色地部分,其中需要匹配的是(.*?),不需要匹配的是.*?,detail_url"这个不需要匹配。

在匹配之后,我们需要将爬取的数据写入文件中,这时候就需要引入pandas模块来去进行处理,写入文件保存在csv文件中.(csv文件无论是在我们机器学习或者是爬虫里都是处理数据的关键文件),在保存完数据之后,我们要对数据进行处理,加上标题,方便之后处理

在这个例子,我们分析的是店家的销售数据: 这时候销售总额=销量*单价

python怎么做数据分析

二、数据分析处理部分

在这一个部分我们处理的是pandas处理数据和matplotlib来绘制图形.

python怎么做数据分析

最后使用plot把图显示出来:

python怎么做数据分析

样式1

python怎么做数据分析

样式2

这时候销量的好坏就可以一目了然,当然,我们还可以做的还可以更多,但是这一篇文章的作用是希望大家能够去动手做更多有意思的事,这才是学习的意义。

最后代码部分:

python怎么做数据分析

代码1

python怎么做数据分析

代码2


相关文章内容简介
在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
HTTP代理IP爬虫
客服电话
13318873961