json, pickle 补充
2021-01-04 00:28
标签：write toolbar 数据类型转换 das for 类型 class 现在 文件操作 二、序列化模块 什么叫序列化—--将原本的字典、列表等内容转换成一个字符串的过程就叫做序列化。 为什么要有序列化模块？ 比如，我们在python代码中计算的一个数据需要给另外一段程序使用，那我们怎么给？现在我们能想到的方法就是存在文件里，然后另一个python程序再从文件里读出来。但是我们都知道，对于文件来说是没有字典这个概念的，所以我们只能将字典转换成字符串放到文件中。你一定会问，将字典转换成一个字符串很简单，就是str(dic)就可以办到了，为什么我们还要学习序列化模块呢？没错，序列化的过程就是从dic 变成str(dic)的过程。现在你可以通过str(dic)，将一个名为dic的字典转换成一个字符串，但是你要怎么把一个字符串转换成字典呢？聪明的你肯定想到了eval()，如果我们将一个字符串类型的字典str_dic传给eval，就会得到一个返回的字典类型了。eval()函数十分强大，但是eval是做什么的？官方demo解释为：将字符串str当成有效的表达式来求值并返回计算结果。ＢＵＴ！强大的函数有代价。安全性是其最大的缺点。想象一下，如果我们从文件中读出的不是一个数据结构，而是一句"删除文件"类似的破坏性语句，那么后果实在不堪设想。而使用eval就要担这个风险。所以，我们并不推荐用eval方法来进行反序列化操作(将str转换成python中的数据结构)。 为什么要把其他数据类型转换成字符串?（使用序列化的场景） 1）能够在网络上传输的只能是bytes, 2）能够存储在文件里的只有bytes和str 序列化的目的： 1）以某种存储形式使自定义对象持久化； 2）将对象从一个地方传递到另一个地方； 3）使程序更具维护性； 1、json模块 json模块提供了四个功能：序列化（dumps和dump）、反序列化（loads和load）。如下示例： 总结：json在所有的语言之间都通用：即json序列化的数据，在python上序列化了，那在java中也可以反序列化，所以json能够处理的数据类型是非常有限的，只有字符串，列表，字典，数字这几种类型，而且字典中的key只能是字符串。 总结：如果你是处理和文件相关的（往文件里边写或者从文件里边读），那么可以用dump和load；如果是处理网络上传输的数据时，此时数据都是在内存里，这是就要用dumps和loads。 总结：上面程序中虽然成功通过dump多次向文件中存入3个字典，但是load会报错# 也就是说load只能读取存一个字典的文件，嵌套字典也可以，但最外层只能是一个。 那么现在有个需求：就是想要把一个一个的字典放到文件中，再一个一个的取出来，该怎么实现？如下示例： 综上：json的dumps、loads-----在内存中做数据转换： dumps 序列化 数据类型 转成 字符串； loads 反序列化 字符串 转成 数据类型； json的dump、load----直接将数据类型写入文件，直接从文件中读出数据类型： dump 序列化 数据类型 写入 文件 反序列化； load 反序列化 文件中 读出 数据类型； json是所有语言都通用的一种序列化格式，只支持列表、字典、字符串、数字，且字典的key必须是字符串。 2、pickle模块 pickle模块提供了四个功能：序列化，存（dumps、dump）、反序列化，读（loads、load），此外，pickle模块不仅可以序列化字典，列表...它可以把python中任意的数据类型序列化。 总结：1）pickle模块序列化支持在python中几乎所有数据类型； 2）pickle模块的dumps/dump序列化的结果只能是字节； 3）只能在python中使用； 4）在和文件操作的时候，需要用rb wb的模式打开文件； 5）可以多次dump和多次load； json, pickle 补充 标签：write toolbar 数据类型转换 das for 类型 class 现在 文件操作 原文地址：https://www.cnblogs.com/Teyisang/p/13638067.html
import json
dic = {‘key‘ : ‘value‘,‘key2‘ : ‘value2‘}
ret = json.dumps(dic) # 序列化
print(dic,type(dic)) # {‘key‘: ‘value‘, ‘key2‘: ‘value2‘}
# json能够序列化的数据有什么特点，请看下面几个示例，并分析结果：
# 问题1:字典的key是整型，经过序列化和反序列化变成字符串类型
# 问题2:字典的value是元组，经过序列化和反序列化变成了列表类型
dic = {1 : [1,2,3], 2 : (4,5,‘aa‘)}
ret = json.dumps(dic) # 序列化
print(dic,type(dic)) # {1: [1, 2, 3], 2: (4, 5, ‘aa‘)}
# 向文件中记录字典
import json
dic = {‘key‘ : ‘value‘,‘key2‘ : ‘value2‘}
ret = json.dumps(dic) # 序列化（将序列化结果写入内存，下面从内存中读取写入文件）
with open(‘json_file‘,‘a‘) as f:
f.write(ret) # 向文件json_file中写入字典{"key": "value", "key2": "value2"}
# 从文件中读取字典
with open(‘json_file‘,‘r‘) as f:
str_dic = f.read() # 文件中读取后写入内存
dic = json.loads(str_dic) # 将内存中的字符串反序列化
print(dic) # 将反序列化的结果打印{‘key‘: ‘value‘, ‘key2‘: ‘value2‘}
# dump和load是直接操作文件的，如下示例：
dic = {‘key1‘ : ‘value1‘,‘key2‘ : ‘value2‘}
with open(‘json_file‘,‘a‘) as f:
json.dump(dic,f) # 向文件json_file中写入：{"key1": "value1", "key2": "value2"}
with open(‘json_file‘,‘r‘) as f:
dic = json.load(f)
print(dic) # {‘key1‘: ‘value1‘, ‘key2‘: ‘value2‘}
# 问题5 不支持连续的存 取
dic = {‘key1‘ : ‘value1‘,‘key2‘ : ‘value2‘}
with open(‘json_file‘,‘a‘) as f:
json.dump(dic,f)
json.dump(dic,f)
json.dump(dic,f)
with open(‘json_file‘,‘r‘) as f:
dic = json.load(f)
print(dic.keys())
dic = {‘key1‘ : ‘value1‘,‘key2‘ : ‘value2‘}
with open(‘json_file‘,‘a‘) as f:
str_dic = json.dumps(dic)
f.write(str_dic+‘\n‘)
str_dic = json.dumps(dic)
f.write(str_dic + ‘\n‘)
str_dic = json.dumps(dic)
f.write(str_dic + ‘\n‘)
with open(‘json_file‘,‘r‘) as f:
for line in f:
dic = json.loads(line.strip())
print(dic)
# 结果为：
# {‘key1‘: ‘value1‘, ‘key2‘: ‘value2‘}
# {‘key1‘: ‘value1‘, ‘key2‘: ‘value2‘}
# {‘key1‘: ‘value1‘, ‘key2‘: ‘value2‘}
# ensure_ascii 关键字参数
dic = {‘key‘:‘你好‘}
print(json.dumps(dic)) # {"key": "\u4f60\u597d"}
print(json.dumps(dic,ensure_ascii=False)) # "key": "你好"}
# json 的格式化输出
data = {‘username‘:[‘李华‘,‘二愣子‘],‘sex‘:‘male‘,‘age‘:16}
json_dic2 = json.dumps(data,sort_keys=True,indent=4,separators=(‘,‘,‘:‘),ensure_ascii=False)
print(json_dic2)
# 结果为：
# {
# "age":16,
# "sex":"male",
# "username":[
# "李华",
# "二愣子"
# ]
# }
# ensure_ascii 关键字参数
dic = {‘key‘:‘你好‘}
print(json.dumps(dic)) # {"key": "\u4f60\u597d"}
print(json.dumps(dic,ensure_ascii=False)) # "key": "你好"}
# json 的格式化输出
data = {‘username‘:[‘李华‘,‘二愣子‘],‘sex‘:‘male‘,‘age‘:16}
json_dic2 = json.dumps(data,sort_keys=True,indent=4,separators=(‘,‘,‘:‘),ensure_ascii=False)
print(json_dic2)
# 结果为：
# {
# "age":16,
# "sex":"male",
# "username":[
# "李华",
# "二愣子"
# ]
# }
import pickle
dic = {(1,2,3):{‘a‘,‘b‘},1:‘abc‘}
ret = pickle.dumps(dic) # dumps序列化的结果只能是字节
print(ret) # 结果为：b‘\x80\x03}q\x00(K\x01K\x02K\x03\x87q\x01cbuiltins\nset\nq\x02]q\x03(X\x01\x00
\x00\x00aq\x04X\x01\x00\x00\x00bq\x05e\x85q\x06Rq\x07K\x01X\x03\x00\x00\x00abcq\x08u.‘
print(pickle.loads(ret)) # {(1, 2, 3): {‘b‘, ‘a‘}, 1: ‘abc‘}
# pickle模块的dump、load 的和文件操作
with open(‘pickle_file‘,‘wb‘) as f:
pickle.dump(dic,f)
with open(‘pickle_file‘,‘rb‘) as f:
ret = pickle.load(f)
print(ret,type(ret))
# pickle可以多次dump和load
dic = {(1,2,3):{‘a‘,‘b‘},1:‘abc‘}
dic1 = {(1,2,3):{‘a‘,‘b‘},2:‘abc‘}
dic2 = {(1,2,3):{‘a‘,‘b‘},3:‘abc‘}
dic3 = {(1,2,3):{‘a‘,‘b‘},4:‘abc‘}
with open(‘pickle_file‘,‘wb‘) as f:
pickle.dump(dic, f)
pickle.dump(dic1, f)
pickle.dump(dic2, f)
pickle.dump(dic3, f)
with open(‘pickle_file‘,‘rb‘) as f:
ret = pickle.load(f)
print(ret,type(ret))
ret = pickle.load(f)
print(ret,type(ret))
ret = pickle.load(f)
print(ret, type(ret))
ret = pickle.load(f)
print(ret, type(ret))
# ret = pickle.load(f) # EOFError: Ran out of input
# print(ret, type(ret)) # dump了4个字典，第5次load会报错
# 结果为：
# {(1, 2, 3): {‘b‘, ‘a‘}, 1: ‘abc‘}
上一篇：Prometheus监控神器-Kubernetes篇（一）
下一篇：VSCodeIDE Unable to import 'django.http'pylint(import-error)错误解决办法