Python的卓越灵活性和易用性使其成为最受欢迎的编程语言之一，尤其是对于数据处理和机器学习方面来说，其强大的数据处理库和算法库使得python成为入门数据科学的首选语言。在日常使用中，CSV，JSON和XML三种数据格式占据主导地位。下面我将针对三种数据格式来分享其快速处理的方法。
CSV数据
CSV是存储数据的最常用方法。在Kaggle比赛的大部分数据都是以这种方式存储的。我们可以使用内置的Python csv库来读取和写入CSV。通常，我们会将数据读入列表列表。
看看下面的代码。当我们运行csv.reader()所有CSV数据变得可访问时。该csvreader.next()函数从CSV中读取一行;每次调用它，它都会移动到下一行。我们也可以使用for循环遍历csv的每一行for row in csvreader 。确保每行中的列数相同，否则，在处理列表列表时，最终可能会遇到一些错误。
importcsvfilename=”my_data.csv”fields=[]rows=[]#Readingcsvfilewithopen(filename,’r’)ascsvfile:#Creatingacsvreaderobjectcsvreader=csv.reader(csvfile)#Extractingfieldnamesinthefirstrowfields=csvreader.next()#Extractingeachdatarowonebyoneforrowincsvreader:rows.append(row)#Printingoutthefirst5rowsforrowinrows[:5]:print(row)
在Python中写入CSV同样容易。在单个列表中设置字段名称，并在列表列表中设置数据。这次我们将创建一个writer()对象并使用它将我们的数据写入文件，与读取时的方法基本一样。
importcsv#Fieldnamesfields=[‘Name’,’Goals’,’Assists’,’Shots’]#Rowsofdatainthecsvfilerows=[[‘Emily’,’12’,’18’,’112′],[‘Katie’,’8′,’24’,’96’],[‘John’,’16’,’9′,’101′],[‘Mike’,’3′,’14’,’82’]]filename=”soccer.csv”#Writingtocsvfilewithopen(filename,’w ‘)ascsvfile:#Creatingacsvwriterobjectcsvwriter=csv.writer(csvfile)#Writingthefieldscsvwriter.writerow(fields)#Writingthedatarowscsvwriter.writerows(rows)
我们可以使用Pandas将CSV转换为快速单行的字典列表。将数据格式化为字典列表后，我们将使用该dicttoxml库将其转换为XML格式。我们还将其保存为JSON文件！
importpandasaspdfromdicttoxmlimportdicttoxmlimportjson#Buildingourdataframedata={‘Name’:[‘Emily’,’Katie’,’John’,’Mike’],’Goals’:[12,8,16,3],’Assists’:[18,24,9,14],’Shots’:[112,96,101,82]}df=pd.DataFrame(data,columns=data.keys())#Convertingthedataframetoadictionary#Thensaveittofiledata_dict=df.to_dict(orient=”records”)withopen(‘output.json’,”w “)asf:json.dump(data_dict,f,indent=4)#ConvertingthedataframetoXML#Thensaveittofilexml_data=dicttoxml(data_dict).decode()withopen(“output.xml”,”w “)asf:f.write(xml_data)
JSON数据
JSON提供了一种简洁且易于阅读的格式，它保持了字典式结构。就像CSV一样，Python有一个内置的JSON模块，使阅读和写作变得非常简单！我们以字典的形式读取CSV时，然后我们将该字典格式数据写入文件。
importjsonimportpandasaspd#Readthedatafromfile#WenowhaveaPythondictionarywithopen(‘data.json’)asf:data_listofdict=json.load(f)#Wecandothesamethingwithpandasdata_df=pd.read_json(‘data.json’,orient=’records’)#WecanwriteadictionarytoJSONlikeso#Use’indent’and’sort_keys’tomaketheJSON#filelooknicewithopen(‘new_data.json’,’w ‘)asjson_file:json.dump(data_listofdict,json_file,indent=4,sort_keys=True)#Andagainthesamethingwithpandasexport=data_df.to_json(‘new_data.json’,orient=’records’)
正如我们之前看到的，一旦我们获得了数据，就可以通过pandas或使用内置的Python CSV模块轻松转换为CSV。转换为XML时，可以使用dicttoxml库。具体代码如下：
importjsonimportpandasaspdimportcsv#Readthedatafromfile#WenowhaveaPythondictionarywithopen(‘data.json’)asf:data_listofdict=json.load(f)#WritingalistofdictstoCSVkeys=data_listofdict[0].keys()withopen(‘saved_data.csv’,’wb’)asoutput_file:dict_writer=csv.DictWriter(output_file,keys)dict_writer.writeheader()dict_writer.writerows(data_listofdict)
XML数据
XML与CSV和JSON有点不同。CSV和JSON由于其既简单又快速，可以方便人们进行阅读，编写和解释。而XML占用更多的内存空间，传送和储存需要更大的带宽，更多存储空间和更久的运行时间。但是XML也有一些基于JSON和CSV的额外功能：您可以使用命名空间来构建和共享结构标准，更好地传承，以及使用XML、DTD等数据表示的行业标准化方法。
要读入XML数据，我们将使用Python的内置XML模块和子模ElementTree。我们可以使用xmltodict库将ElementTree对象转换为字典。一旦我们有了字典，我们就可以转换为CSV，JSON或Pandas Dataframe！具体代码如下：
importxml.etree.ElementTreeasETimportxmltodictimportjsontree=ET.parse(‘output.xml’)xml_data=tree.getroot()xmlstr=ET.tostring(xml_data,encoding=’utf8′,method=’xml’)data_dict=dict(xmltodict.parse(xmlstr))print(data_dict)withopen(‘new_data_2.json’,’w ‘)asjson_file:json.dump(data_dict,json_file,indent=4,sort_keys=True)
左手学Python,右手学Java!
推荐阅读:
入门:最全的零基础学Python的问题 |零基础学了8个月的Python|实战项目|学Python就是这条捷径
干货:爬取豆瓣短评，电影《后来的我们》|38年NBA最佳球员分析| 从万众期待到口碑扑街！唐探3令人失望 |笑看新倚天屠龙记|灯谜答题王｜用Python做个海量小姐姐素描图｜碟中谍这么火，我用机器学习做个迷你推荐系统电影
趣味:弹球游戏 |九宫格 |漂亮的花|两百行Python《天天酷跑》游戏!
AI:会做诗的机器人|给图片上色|预测收入|碟中谍这么火，我用机器学习做个迷你推荐系统电影
小工具:Pdf转Word，轻松搞定表格和水印！|一键把html网页保存为pdf！|再见PDF提取收费！|用90行代码打造最强PDF转换器，word、PPT、excel、markdown、html一键转换|制作一款钉钉低价机票提示器！｜60行代码做了一个语音壁纸切换器天天看小姐姐！｜
年度爆款文案
1).卧槽！Pdf转Word用Python轻松搞定！
2).学Python真香！我用100行代码做了个网站，帮人PS旅行图片，赚个鸡腿吃
3).首播过亿，火爆全网，我分析了《乘风破浪的姐姐》，发现了这些秘密
4).80行代码！用Python做一个哆来A梦分身
5).你必须掌握的20个python代码，短小精悍，用处无穷
6).30个Python奇淫技巧集
7).我总结的80页《菜鸟学Python精选干货.pdf》,都是干货
8).再见Python！我要学Go了！2500字深度分析！
9).发现一个舔狗福利！这个Python爬虫神器太爽了，自动下载妹子图片
