多语言展示
当前在线:1934今日阅读:155今日分享:35

python3实现HDF5文件写入和读取

HDF5是一款压缩比较高的文件格式,python也可以方便的实现写入和读取.本文采取pandas来实现读取写入.
工具/原料
1

python3 + win7环境

2

使用pandas库实现读写.

方法/步骤
1

采用如下代码进行写入.本例子先将csv文件分别读出, 然后写入一个H5文件当中. 对外只有一个H5文件,内部,实际可装入多个csv文件.import pandas as pdimport os# 创建hdf文件h5_store = pd.HDFStore('data.h5', mode='w')for i in range(1,3):    path =  'c:\{}.csv'.format(i)    df = pd.read_csv(path,  encoding='gb18030')    # 存储数据到hdf    h5_store['data'+str(i)] = df# 关闭hdf文件h5_store.close()

2

因为 csv文件包括汉字,因此可以通过encoding='gb18030' 来实现对汉字的显示.df = pd.read_csv(path,  encoding='gb18030')#把数据存入df. 方便后续处理!print(df)

3

# 创建hdf文件h5_store = pd.HDFStore('data.h5', mode='w')  #HDFStore采用写的方式创建h5_store['data'+str(i)] = df  # 存储数据到hdf# 使用完要关闭hdf文件h5_store.close()

4

写入后再通过 h5_store.get 读出并显示!h5_store = pd.HDFStore('data.h5', mode='r')print(h5_store.keys())print(h5_store.get('data1'))h5_store.close()

5

#读方式打开h5_store = pd.HDFStore('data.h5', mode='r')  #列出keys  里面有几个数据块h5_store.keys()#输出data1数据块内容h5_store.get('data1')

注意事项
1

h5_store的 keys get要注意用法 这是pandas调用hdf5的用法

2

mode='r' mode=w' 要设对

3

read_csv 有汉字要用 encoding='gb18030'

推荐信息