㈠ 从电影网站爬取数据并进行可视化分析会用到哪些数据
从电影网站爬取数据并进行可视化分析会用到的数据如下。
1、beautifulsoup、re、urllib库。
2、SQLite包，数据可视化方面主要用到flask框架、echarts和wordcloud等。
3、此类数据可以搭建简单的数据可视化网站。
㈡ 如何用爬虫抓取股市数据并生成分析报表
推荐个很好用的软件，我也是一直在用的，就是前嗅的ForeSpider软件，
我是一直用过很多的采集软件，最后选择的前嗅的软件，ForeSpider这款软件是可视化的操作。简单配置几步就可以采集。如果网站比较复杂，这个软件自带爬虫脚本语言，通过写几行脚本，就可以采集所有的公开数据。
软件还自带免费的数据库，数据采集直接存入数据库，也可以导出成excel文件。
如果自己不想配置，前嗅可以配置采集模板，我的模板就是从前嗅购买的。
另外他们公司不光是软件好用，还有自己的数据分析系统，直接采集完数据后入库，ForeSpider内部集成了数据挖掘的功能，可以快速进行聚类分类、统计分析等，采集结果入库后就可以形成分析报表。
最主要的是他采集速度非常快，我之前用八爪鱼的软件，开服务器采，用了一个月采了100万条，后来我用ForeSpider。笔记本采的，一天就好几百万条。
这些都是我一直用前嗅的经验心得，你不妨试试。
建议你可以下载一个免费版试一试，免费版不限制功能，没有到期时间。
㈢ bilibili(1)-爬取视频信息进行数据分析
感谢@雄哥和@逊哥的帮助才得以完成这篇文章，不然，还不知怎么应对IP限制。
项目地址： https://github.com/UranusLee/bilibili_spider
通过chrome可以看出来B站视频统计信息是通过js加载，打开开发者工具可以到stat?aid=31的json文件。
再分析json文件的加载方式，基本可以得到所需要的headers参数。
因为之前一直都在爬取豆瓣、知乎、拉勾这些有特殊headers的网站，所以，为了省事，还是全部headers都加上。
进行爬取的时候，发生了一点问题，通过不断测试，基本可以断定B站有IP访问限制，基本上是1分钟150次以下不会封IP，封闭IP一次为5分钟，所以考虑用代理IP，拿着买好的稳定的IP，刻不容缓的加入进来。
总共爬取下来710多W条数据，用了三四天的时间，期间网络断掉，或者IP地址停用，一直耽搁，之所以不准备继续下去是因为数据还准备做一个B站每年数据分析，所以选用了aid=11883351这条数据作为截止可以比较好的对应上每年7月初的一个数据对比分析
发现有播放数为-1的值，总共占数据总量的2%，故而删除。
可以看出基本上播放量，弹幕，评论回复，收藏，硬币，分享基本就是长尾数据，有大量的小数值的数据，但是整体的平均值受极值的影响较大。相比较而言view播放量更加有研究性。
1.播放量占比分析
总共分为<500,500-1000,1000-5000,5000-20000,>20000。
播放量整体还是大量的淹没视频，播放量小于500的达到了整体视频的48.8%，而播放量20000以上的只占到5.4%，按照“二八原则”，视频达到3338以上的播放量即达到B站视频实际效用的界限。
2.分年份分析B站视频增长速度
以每年7月份为周期分析
通过aid可以查到所有爬下的数据所属的时间，再按照概率分析大概的时间就可以得出每一年7月份的视频量。
整体的视频数量增长速度实际上是大致按照每年翻倍的速度来增长，整体增长曲线抛开10-11年，整体增长平和。
2010-2011年之间，必定是发生了事才会导致视频量突增，才会导致视频总量增长率超过800%。通过查询，基本确实如之前所假设一样，10年因为Ac fun（A站）确实发生了严重的几次弹幕冲突，A站关闭了弹幕系统，加上很多人打出“ACG滚出ac”的标语，大量的A站up主转移至B站，开始了B站的逆袭。
14年一年视频增长率唯一一次跌至94%，是因为14年动画版权问题，禁止了私自上传动画，视频量比预期下跌了大概8W左右。今年更加夸张的是2018年还没有到07月份，视频总量已经达到2200W左右。
3.参与率分析用户活跃度
弹幕成本是最低的，大概平均27.8人次观看，就会出现一次弹幕（包括非会员的观看次数，但是无法发弹幕，提高了弹幕成本），分享成本不仅仅是会员，非会员没有登陆也可以分享，这确实42.58人次的成本仅仅高于弹幕成本，说明B站整体视频风格更加多元化。121.58的投币成本受限于B站的投币系统，B币少，并且获得有难度，导致投币成本远高于其他几项。
4.投币分析
B站投币有“不牛不投，不服不投”的潜性规则，往往一个视频的投币量可以反应视频的质量和B站的流行趋势。
排名第一的是 【哔哩哔哩2017拜年祭】 ，94.1W投币
排名第二的是 【古筝】千本樱——你可见过如此凶残的练习曲 ，79.6W投币
排名第三的是 【哔哩哔哩2016拜年祭】 ，77.2W投币
然后是敖厂长的两连击
【敖厂长】让你耳朵怀孕的FC游戏 ,74.6W投币
【敖厂长】打脸!魂斗罗水下八关存在 ,73.0W投币
其实可以看出前三名中，两次拜年祭以及用户群体的自发投币，整个拜年祭已经成为B站文化的一部分，是每年最核心的一部分。当然也不缺乏敖厂长这种良心up主，每一次对于过往游戏的解疑和介绍，还有那无所不能的哥们，宅男但不失真心，牛逼但非常人亲。
文化的多元化才是整个B站撑起一片天的本质原因，我曾经在B站中过《极乐净土》的毒，看过外国人在中国成了网红，听过古筝弹奏魂斗罗、弹奏日本电音。这是一个大熔炉，每个人都可以找到自己喜欢的东西，我突然想起了广告模块的一个高分视频，弹幕量只有300，但是播放量有2000多万次，我不知道是B站运营人员清空了一部分的弹幕和评论，但是一个广告在B站，在这个无数个平时看都不看广告的年轻人，能够看上2000多万次，几乎人均一次。我才觉得我真正的知道。
----------------------------------------------------分割线-------------------------------------------
数据分析的部分有点意犹未尽，今天实在是困了，今天稍晚或者明天会继续对于B站各个模块继续进行深挖，包括弹幕的语义分析、通过弹幕揣摩剧情、哪种视频可以火、up主的影响力、视频质量建模等。
㈣ 数据分析报告有哪些要点
1、确定报告受众和分析目的
无论写什么类型的数据分析报告，都要先搞清楚报告给谁看，不同的受众对一份数据分析报告的期待是不一样的。
2、框架、思路清晰
作为数据分析结论输出最重要的部分，一份优秀的数据分析报告要能够准确体现你的分析思路，让读者充分接收你的信息，所以在制作报告时，框架和思路要清晰。
这里的框架不单指报告的行文逻辑，更多是指数据分析过程的框架，比方说我们拿到一个分析问题，不可能一下子就找到问题背后的原因，需要利用各种手段将问题拆解分析，直到得出最终结论，这时候就可能会用到我们常提到的MECE、PEST、AAARRR等分析框架
3、保障数据准确
写一份报告，获取和整理数据往往会占据 6成以上的时间。要规划数据协调相关部门组织数据采集、导出处理数据，最后才是写报告，如果数据不准确，那分析的结果也没有意义，报告也就失去价值，因此在收集整合数据时需要注意数据是否靠谱，验证数据口径和数据范围。
4、让图表传达更加直接
图与表之间，图与图之间的联系如何阐述，反映出的问题如何表达，这些都是在做数据分析图表就要弄明白的。很多细心的领导及专门会针对你的数据分析以及结论来提问，因为现状和未来是他们最关心的。所以数据图表展现也要体现你的分析思路，而不单单是为了展示数据。
㈤ 如何用Python进行大数据挖掘和分析
如何用Python进行大数据挖掘和分析？快速入门路径图
大数据无处不在。在时下这个年代，不管你喜欢与否，在运营一个成功的商业的过程中都有可能会遇到它。
什么是 大数据 ？
大数据就像它看起来那样——有大量的数据。单独而言，你能从单一的数据获取的洞见穷其有限。但是结合复杂数学模型以及强大计算能力的TB级数据，却能创造出人类无法制造的洞见。大数据分析提供给商业的价值是无形的，并且每天都在超越人类的能力。
大数据分析的第一步就是要收集数据本身，也就是众所周知的“数据挖掘”。大部分的企业处理着GB级的数据，这些数据有用户数据、产品数据和地理位置数据。今天，我将会带着大家一起探索如何用 Python 进行大数据挖掘和分析？
为什么选择Python?
Python最大的优点就是简单易用。这个语言有着直观的语法并且还是个强大的多用途语言。这一点在大数据分析环境中很重要，并且许多企业内部已经在使用Python了，比如Google，YouTube，迪士尼等。还有，Python是开源的，并且有很多用于数据科学的类库。
现在，如果你真的要用Python进行大数据分析的话，毫无疑问你需要了解Python的语法，理解正则表达式，知道什么是元组、字符串、字典、字典推导式、列表和列表推导式——这只是开始。
数据分析流程
一般可以按“数据获取-数据存储与提取-数据预处理-数据建模与分析-数据可视化”这样的步骤来实施一个数据分析项目。按照这个流程，每个部分需要掌握的细分知识点如下：
数据获取：公开数据、Python爬虫
外部数据的获取方式主要有以下两种。
第一种是获取外部的公开数据集，一些科研机构、企业、政府会开放一些数据，你需要到特定的网站去下载这些数据。这些数据集通常比较完善、质量相对较高。
另一种获取外部数据的方式就是爬虫。
比如你可以通过爬虫获取招聘网站某一职位的招聘信息，爬取租房网站上某城市的租房信息，爬取豆瓣评分评分最高的电影列表，获取知乎点赞排行、网易云音乐评论排行列表。基于互联网爬取的数据，你可以对某个行业、某种人群进行分析。
在爬虫之前你需要先了解一些 Python 的基础知识：元素（列表、字典、元组等）、变量、循环、函数………
以及，如何用 Python 库（urllib、BeautifulSoup、requests、scrapy）实现网页爬虫。
掌握基础的爬虫之后，你还需要一些高级技巧，比如正则表达式、使用cookie信息、模拟用户登录、抓包分析、搭建代理池等等，来应对不同网站的反爬虫限制。
数据存取：SQL语言
在应对万以内的数据的时候，Excel对于一般的分析没有问题，一旦数据量大，就会力不从心，数据库就能够很好地解决这个问题。而且大多数的企业，都会以SQL的形式来存储数据。
SQL作为最经典的数据库工具，为海量数据的存储与管理提供可能，并且使数据的提取的效率大大提升。你需要掌握以下技能：
提取特定情况下的数据
数据库的增、删、查、改
数据的分组聚合、如何建立多个表之间的联系
数据预处理：Python（pandas）
很多时候我们拿到的数据是不干净的，数据的重复、缺失、异常值等等，这时候就需要进行数据的清洗，把这些影响分析的数据处理好，才能获得更加精确地分析结果。
对于数据预处理，学会 pandas （Python包）的用法，应对一般的数据清洗就完全没问题了。需要掌握的知识点如下：
选择：数据访问
缺失值处理：对缺失数据行进行删除或填充
重复值处理：重复值的判断与删除
异常值处理：清除不必要的空格和极端、异常数据
相关操作：描述性统计、Apply、直方图等
合并：符合各种逻辑关系的合并操作
分组：数据划分、分别执行函数、数据重组
Reshaping：快速生成数据透视表
概率论及统计学知识
需要掌握的知识点如下：
基本统计量：均值、中位数、众数、百分位数、极值等
其他描述性统计量：偏度、方差、标准差、显著性等
其他统计知识：总体和样本、参数和统计量、ErrorBar
概率分布与假设检验：各种分布、假设检验流程
其他概率论知识：条件概率、贝叶斯等
有了统计学的基本知识，你就可以用这些统计量做基本的分析了。你可以使用 Seaborn、matplotlib 等（python包）做一些可视化的分析，通过各种可视化统计图，并得出具有指导意义的结果。
Python 数据分析
掌握回归分析的方法，通过线性回归和逻辑回归，其实你就可以对大多数的数据进行回归分析，并得出相对精确地结论。这部分需要掌握的知识点如下：
回归分析：线性回归、逻辑回归
基本的分类算法：决策树、随机森林……
基本的聚类算法：k-means……
特征工程基础：如何用特征选择优化模型
调参方法：如何调节参数优化模型
Python 数据分析包：scipy、numpy、scikit-learn等
在数据分析的这个阶段，重点了解回归分析的方法，大多数的问题可以得以解决，利用描述性的统计分析和回归分析，你完全可以得到一个不错的分析结论。
当然，随着你实践量的增多，可能会遇到一些复杂的问题，你就可能需要去了解一些更高级的算法：分类、聚类。
然后你会知道面对不同类型的问题的时候更适合用哪种算法模型，对于模型的优化，你需要去了解如何通过特征提取、参数调节来提升预测的精度。
你可以通过 Python 中的 scikit-learn 库来实现数据分析、数据挖掘建模和分析的全过程。
总结
其实做数据挖掘不是梦，5步就能让你成为一个Python爬虫高手!
㈥ 大数据爬取分析数据，需要搭建什么样的环境和掌握什么样的知识
首先爬取大数据现在一般都是用python，所以你先要在linux上搭python的环境，最专好是3.x的版本。
然后Python有很多属爬虫的框架，比较好用，比如scrapy。但是框架有了之后还要有一些其他的知识，比如正则表达式，因为怕下来的数据需要用正则去解析。
解析完之后要对数据清洗，这个工作python的pandas基本都能完成。
清洗完之后要入库，如果数据量不是太大的话，传统的数据库mysql什么的就可以了，如果数据量很大，还要搭Hadoop，这个就有点麻烦了，还要用sqoop。
基本流程就是这样，如果有疑问，可以在讨论。