pandas中read_csv和to_csv、read_hdf和to_hdf、read_json和to_json函数及其他各类文件的读取与存储
pandas I/O API 是一组访问的顶级读取器函数，如 pandas.read_csv（），通常返回一个 pandas 对象。相应的编写器函数是访问的对象方法，如 DataFrame.to_csv（）
一、read_csv和to_csv
- pandas.read_csv(filepath_or_buffer, sep =',', usecols )：读取文本文件(也就是平面文件)的主力函数
- filepath_or_buffer:文件路径
- sep :分隔符，默认用","隔开
- usecols:指定读取的列名，列表形式
- DataFrame.to_csv(path_or_buf=None, sep=', ’, columns=None, header=True, index=True, mode='w', encoding=None)：该方法允许将对象的内容存储为逗号分隔值文件
- path_or_buf：文件路径
- sep：分隔符，默认用","隔开
- columns：选择需要的列索引
- header：布尔或字符串列表，默认为True，是否写进列索引值
- index：是否写进行索引
- mode:'w'：重写，'a' 追加
数据准备
读取文件
执行to_csv会将索引存入到文件当中，再次读取时发现变成了单独的一列数据
若要删除索引这一列，可以指定index参数为False，删除原来的文件，重新保存一次
二、read_hdf与to_hdf
H5文件是以层级数据格式（HDF）第5版保存的数据文件，它包含科学数据的多维数组，HDF5文件的读取和存储需要指定一个键，值为要存储的DataFrame
- pandas.read_hdf(path_or_buf，key =None，** kwargs)：从h5文件当中读取数据
- path_or_buffer：文件路径
- key：读取的键
- return：所选对象
- DataFrame.to_hdf(path_or_buf, key, **kwargs)：存储数据
HDF5在存储的时候支持压缩，使用的方式是blosc，这个是速度最快的，也是pandas默认支持的，使用压缩可以提磁盘利用率，节省空间，HDF5还是跨平台的，可以轻松迁移到hadoop上面，应优先选择使用HDF5文件存储
三、read_json与to_json
- pandas.read_json(path_or_buf=None, orient=None, typ='frame', lines=False)：将JSON格式转换成默认的Pandas DataFrame格式
- orient : string，指定预期的 JSON 字符串格式。
- 'split' : dict like {index -> [index], columns -> [columns], data -> [values]}，split 将索引总结到索引，列名到列名，数据到数据。将三部分都分开了
- 'records' : list like [{column -> value}, ... , {column -> value}]，records 以
columns：values的形式输出 - 'index' : dict like {index -> {column -> value}}，index以
index：{columns：values}...的形式输出 - 'columns' : dict like {column -> {index -> value}}，默认该格式，colums 以
columns:{index:values}的形式输出 - 'values' : 只有值的数组，values 直接输出值
- lines : boolean, 默认为False，按照每行读取json对象
- typ：要恢复的对象类型（series or frame），默认为“frame”，指定转换成的对象类型series或者dataframe
- orient : string，指定预期的 JSON 字符串格式。
- DataFrame.to_json(path_or_buf=None, orient=None, lines=False)：将Pandas 对象Series或DataFrame存储为json字符串格式
- path_or_buf=None：文件地址
- orient：存储的json形式，{‘split’,’records’,’index’,’columns’,’values’}
- lines：一个对象存储为一行
四、其他
下表包含可用的读取器和写入器
| 格式类型 | 数据描述 | 读取器 | 编写器 |
|---|---|---|---|
| text | CSV | read_csv | to_csv |
| text | Fixed-Width Text File | read_fwf | |
| text | JSON | read_json | to_json |
| text | HTML | read_html | to_html |
| text | LaTeX | Styler.to_latex | |
| text | XML | read_xml | to_xml |
| text | Local clipboard | read_clipboard | to_clipboard |
| binary | MS Excel | read_excel | to_excel |
| binary | OpenDocument | read_excel | |
| binary | HDF5 Format | read_hdf | to_hdf |
| binary | Feather Format | read_feather | to_feather |
| binary | Parquet Format | read_parquet | to_parquet |
| binary | ORC Format | read_orc | to_orc |
| binary | Stata | read_stata | to_stata |
| binary | SAS | read_sas | |
| binary | SPSS | read_spss | |
| binary | Python Pickle Format | read_pickle | to_pickle |
| SQL | SQL | read_sql | to_sql |
| SQL | Google BigQuery | read_gbq | to_gbq |
官网：https://pandas.pydata.org/pandas-docs/version/0.25/user_guide/io.html#io-read-csv-table
或：https://pandas.pydata.org/docs/user_guide/io.html
学习导航：http://xqnav.top/
上一篇：双子座伤感的句子