小白:Mr.林,快救救我,我被那些数据压得喘不过气了。Mr.林:小白,表方,怎么了?小白:Mr.林,我从公司数据平台上下了一堆数据,如果选择时间范围广的话,平台就卡的动不了,动不动还奔溃,所以只好分一段时间一段时间的查询下载。数据下下来又20多个表呢,每张表的数据量有几十万,如何合并起来,EXCEL肯定是放不下的,更别说进行处理、分析了。如果一个个导入数据库的话,也够呛的。有什么办法可以批量合并这些数据文件呀?这样我可以一次性的导入到数据库中。Mr.林听了后:原来是这么回事呀!这个时候可以考虑使用Python进行批量合并处理操作,这时VBA在这里已经不灵光了。小白面露难色:Python呀!是那个程序员用的那个编程工具么?难不难?Mr.林:别怕,只要你会SQL,基础的Python操作还是没问题的,进行数据处理、数据分析不需要复杂的编程,会调用它的函数就可以了。小白顿时打消了顾虑:那快教教我如何使用Python吧。Mr.林:使用Python进行数据处理、数据分析,我们一般使用Anaconda。
什么是Anaconda?
Anaconda 是一个基于 Python 的数据处理和科学计算平台,它集成了1500 个免费且易于安装的模块,装上Anaconda,就相当于把 Python 和一些如 Numpy、Pandas、Scrip、Matplotlib 等常用的库自动安装好了,使得安装比常规 Python 安装要容易。Anaconda还自带了Spyder、Jupyter Notebook等交互式代码撰写、调试工具环境,以及第三方库的图形化管理工具等。
为什么使用Anaconda呢?
Anaconda的优点总结起来就八个字:省时省心、分析利器。省时省心:Anaconda通过管理工具包、开发环境、Python版本,大大简化了你的工作流程。不仅可以方便地安装、更新、卸载工具包,而且安装时能自动安装相应的依赖包,同时还能使用不同的虚拟环境隔离不同要求的项目。分析利器:在 Anaconda 官网中是这么宣传自己的:适用于企业级大数据分析的Python工具。其包含了720多个数据科学相关的开源包,在数据可视化、机器学习、深度学习等多方面都有涉及。不仅可以做数据分析,甚至可以用在大数据和人工智能领域。
如何安装Anaconda呢?
现在以Windows10、64位系统为例进行介绍如何下载、安装。1.下载合适的 Windows安装包,推荐使用如下两种方式下载:a. 官网https://www.anaconda.com/distribution/#windows
b. 清华大学开源软件镜像站https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/
STEP3:在”Select Installation Type”对话框,选择”仅自己使用”还是”对所有用户均可使用”.
STEP4:在”Choose Intall Location”对话框,设置软件的安装目录,可以使用默认目录,也可以更改指定目录。
STEP5:”Advanced Installation Options”选项1:是否将 Anaconda 添加到系统的 PATH 环境变量。勾选后, 可在 Windows-cmd 命令行使用 Anaconda。如果没有勾选, 只能在电脑的开始菜单”Anaconda(64-bit)”中发现并使用Anaconda。直接勾选即可。
“Advanced Installation Options”选项2:是否将 Anaconda 中的 Python 编译器设置为系统默认的 Python 编译器。如果设置, 此编译器可被VSC,PyCharm等软件检测并使用,直接勾选即可。
成功安装后将显示对话框”Thanks for installing Anaconda”。
安装成功之后,可以在开始的菜单中找到 Anaconda3(64-bit)项。