数据导入的三种方法
创始人
2024-03-14 09:53:01

1、定量研究

  • 定量研究最重要的是如何提出问题,而不是数据和统计方法 —— 谢宇
  • 定量研究是分析趋势,是找寻和社会相适应的一个概括视角,这才是定量研究 —— 刘德寰

2、数据导入

  • 训练机器学习模型时,用到的大量数据都是以CSV的格式来存储,或者能方便转化为CSV格式。
  • CSV文件:这种文件是用逗号分隔的文本文件。在数据导入之前通常要审查CSV文件包含的内容:
    • 文件头:通过文件头信息,设置读入数据字段的属性名称,如果文件中没有文件头信息,则需要自己手动设定读入文件的字段属性名称。
    • 文件中的注释:在CSV文件中注释行通过“#”开头。
    • 分隔符:CSV文件标准分隔符号是逗号,也可以使用Tab键或空格键作为自定义分隔符,当使用这两种分隔符时,文件读取是要指明分隔符的。
    • 引号:当有字段值中有空白时,这些值通常都会被引号引起来,默认使用双引号来标记这些字段。
  • 数据集获取:UCI机器学习仓库(官网地址)中有很多免费数据
  • 以下介绍三种将CSV数据导入到Python中的方法:
    • 通过标准Python库导入CSV文件
    • 通过NumPy导入CSV文件
    • 通过Pandas导入CSV文件
'''
1、通过Python提供的标准库CSV,处理SCSV文件:1.1、这个类库中reader()函数用来读CSV文件1.2、当CSV文件被读入后,利用这些数据生成一个NumPy数组,用来训练算法模型
'''
from csv import reader
import numpy as np
# 使用标准的Python类库导入CSV数据
file_name = 'pima_data.csv'
with open(file_name,'rt') as raw_data:readers = reader(raw_data,delimiter=',')x = list(readers)data = np.array(x).astype('float')print(data.shape)   #(768, 9)
# =======================================================
'''
2、通过NumPy导入数据2.1、通过NumPy的loadtxt()函数导入数据,该函数处理的数据没有文件头,且所有数据结构都一样2.2、代码相对于用Python的CSV库导入简洁了很多(因为不用将读出的数据再转化为数组)
'''
from numpy import loadtxt
# 使用NumPy导入CSV数据
file_name = 'pima_data.csv'
with open(file_name,'rt') as raw_data:data = loadtxt(raw_data,delimiter=',')  #在这里用loadtxtprint(data.shape)   #(768, 9)
# =======================================================
'''
3、通过Pandas导入数据3.1、通过Pandas导入CSV文件要使用pandas.read_csv()函数,该函数返回值是DataFrame3.2、在机器学习的项目中,经常用Pandas来做数据清洗与数据准备工作,推荐使用该方法
'''
from pandas import read_csv
# 使用Pandas导入CSV数据
file_name = 'pima_data.csv'
names = ['preg','pias','pres','skin','test','mass','pedi','age','class']
data = read_csv(file_name,names=names)
print(data.shape)   #(768, 9)

相关内容

热门资讯

埃菲尔铁塔在哪 中国仿建埃菲尔... 2019年4月26日,广西南宁市,街头惊现一座巨型山寨版埃菲尔铁塔,高约20米,白色塔身,造型逼真,...
苗族的传统节日 贵州苗族节日有... 【岜沙苗族芦笙节】岜沙,苗语叫“分送”,距从江县城7.5公里,是世界上最崇拜树木并以树为神的枪手部落...
北京的名胜古迹 北京最著名的景... 北京从元代开始,逐渐走上帝国首都的道路,先是成为大辽朝五大首都之一的南京城,随着金灭辽,金代从海陵王...
长白山自助游攻略 吉林长白山游... 昨天介绍了西坡的景点详细请看链接:一个人的旅行,据说能看到长白山天池全凭运气,您的运气如何?今日介绍...
应用未安装解决办法 平板应用未... ---IT小技术,每天Get一个小技能!一、前言描述苹果IPad2居然不能安装怎么办?与此IPad不...
demo什么意思 demo版本... 618快到了,各位的小金库大概也在准备开闸放水了吧。没有小金库的,也该向老婆撒娇卖萌服个软了,一切只...
猫咪吃了塑料袋怎么办 猫咪误食... 你知道吗?塑料袋放久了会长猫哦!要说猫咪对塑料袋的喜爱程度完完全全可以媲美纸箱家里只要一有塑料袋的响...
世界上最漂亮的人 世界上最漂亮... 此前在某网上,选出了全球265万颜值姣好的女性。从这些数量庞大的女性群体中,人们投票选出了心目中最美...
埃菲尔铁塔在哪 中国仿建埃菲尔... 2019年4月26日,广西南宁市,街头惊现一座巨型山寨版埃菲尔铁塔,高约20米,白色塔身,造型逼真,...
苗族的传统节日 贵州苗族节日有... 【岜沙苗族芦笙节】岜沙,苗语叫“分送”,距从江县城7.5公里,是世界上最崇拜树木并以树为神的枪手部落...
北京的名胜古迹 北京最著名的景... 北京从元代开始,逐渐走上帝国首都的道路,先是成为大辽朝五大首都之一的南京城,随着金灭辽,金代从海陵王...
长白山自助游攻略 吉林长白山游... 昨天介绍了西坡的景点详细请看链接:一个人的旅行,据说能看到长白山天池全凭运气,您的运气如何?今日介绍...
应用未安装解决办法 平板应用未... ---IT小技术,每天Get一个小技能!一、前言描述苹果IPad2居然不能安装怎么办?与此IPad不...