了解一下’.tsv’和’.csv’的不同，如何加载这两个数据集？read_csv和read_table区别在于默认分隔符的不同，read_table的默认分隔符为"\t",可通过sep参数调整TSV与CSV的区别：1）从名称上即可知道，TSV是用制表符作为字段值的分隔符；CSV是用半角逗号（’,’）作为字段值的分隔符；2）IANA规定的标准TSV格式，字段值之中是不允许出现制表符的。
通过对实际数据的探索，掌握python常用的数据分析操作
数据下载本次课程使用的数据来源于Kaggle：数据集下载 https://www.kaggle.com/c/titanic/overview
导入工具包import pandas as pdimport numpy as np#本人使用Anaconda集成的python开发环境，不需要再安装相应包，如果需要安装可以使用 pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple 安装pandas 将自动安装numpy123
train_df=pd.read_csv("train.csv")train_df.head(5)12
我使用安装Anaconda的服务器进行操作，所以我并不知道上传的数据文件的真实路径需要使用一些命令来查看当前目录
方法1使用os包
import osos.getcwd()12
使用ipython的魔术方法
!pwd1
上述两种方法都可以使用，但是os.getcwd()可直接用于参数传递，所以我选择方法1
train_df=pd.read_csv(os.getcwd() '/train.csv')train_df.head(5)123
知道数据加载的方法后，试试pd.read_csv()和pd.read_table()的不同，如果想让他们效果一样，需要怎么做？了解一下’.tsv’和’.csv’的不同，如何加载这两个数据集？read_csv和read_table区别在于默认分隔符的不同，read_table的默认分隔符为"\t",可通过sep参数调整
TSV与CSV的区别：1）从名称上即可知道，TSV是用制表符（Tab,’\t’）作为字段值的分隔符；CSV是用半角逗号（’,’）作为字段值的分隔符；2）IANA规定的标准TSV格式，字段值之中是不允许出现制表符的。
每1000行为一个数据模块，逐块读取df_chunk=pd.read_csv("train.csv",chunksize=1000)1
DataFrame 对于大数据的读取、操作需要消耗大量的内存、IO，分块读取可以减少资源消耗，提高效率
将表头改成中文，索引改为乘客ID [对于某些英文资料，我们可以通过翻译来更直观的熟悉我们的数据]#方法1train_df=pd.read_csv("train.csv",names=['乘客ID','是否幸存','乘客等级(1/2/3等舱位)','乘客姓名','性别','年龄','堂兄弟/妹个数','父母与小孩个数','船票信息','票价','客舱','登船港口'],index_col="乘客ID")#方法2df1=pd.read_csv('train.csv')df1.rename(columns={'Survived':'是否幸存', 'Pclass':'仓位等级', 'name':'姓名'}, inplace = True)#另一种修改列名的方法，可以修改部分或者全部df1.head()#方法3df2=pd.read_csv('train.csv')df2.columns=['乘客ID','是否幸存','仓位等级','姓名','性别','年龄','兄弟姐妹个数','父母子女个数','船票信息','票价','客舱','登船港口']#该方法的新列名必须要与原列名一一对应df2.head()1234567891011
导入数据后，你可能要对数据的整体结构和样例进行概览，比如说，数据大小、有多少列，各列都是什么格式的，是否包含null等
查看数据的基本信息train_df.info()'''<class 'pandas.core.frame.DataFrame'>Index: 892 entries, PassengerId to 891Data columns (total 11 columns):是否幸存892 non-null object乘客等级(1/2/3等舱位)892 non-null object乘客姓名892 non-null object性别892 non-null object年龄715 non-null object堂兄弟/妹个数 892 non-null object父母与小孩个数 892 non-null object船票信息892 non-null object票价892 non-null object客舱205 non-null object登船港口890 non-null objectdtypes: object(11)memory usage: 83.6KB'''12345678910111213141516171819
train_df.head(10)train_df.iloc[:10,:]12
train_df.tail(15)train_df.iloc[-15:,:]12
train_df.isnull()1
将你加载并做出改变的数据，在工作目录下保存为一个新文件train_chinese.csv
train_df.to_csv("train_chinese.csv",sep=',',encoding='utf-8')12
#写入代码Se1=pd.Series({'a':1,'b':2,'c':3})Se1#Seriesdf_1=pd.DataFrame({'a':[1,2],'b':[3,4],'c':[5,6]})df_1#DataFrame12345
df=pd.read_csv("train.csv")1
df.columns'''Index(['PassengerId', 'Survived', 'Pclass', 'Name', 'Sex', 'Age', 'SibSp','Parch', 'Ticket', 'Fare', 'Cabin', 'Embarked'],dtype='object')'''123456
df['Cabin'].head(3)df.Cabin.head(3)df.loc[:,"Cabin"].head(3)df.iloc[:,10].head(3)df.ix[:,"Cabin"].head(3)12345
test_1=pd.read_csv("test_1.csv")test_1.head()12
df.drop(['PassengerId','Name','Age','Ticket'],axis=1)#设置inplace=True，则永久删除上述几列12
对比任务五和任务六，是不是使用了不一样的方法(函数)，如果使用一样的函数如何完成上面的不同的要求呢？可以使用索引的方式实现drop功能
df.loc[:,['Survived','Pclass','Sex','SibSp','Parch','Fare','Cabin','Embarked']]1
df[df['age']<10]1
midage=df[(df['age']>10)&(df['age']<50)]1
midage.reset_index(drop = True)#重新设置索引因为切片可能会造成索引缺失midage.loc[100,['Pclass','Sex']]midage.loc[[100],['Pclass','Sex']]#两种显示效果不一样1234
midage.loc[[100，105，108],['Pclass','Name','Sex']]12
midage.iloc[[100,105,108],[2,3,4]]1
import numpy as npimport pandas as pddf1=pd.read_csv("train_chinese.csv")123
#生成示例数据a=pd.DataFrame(np.arange(8).reshape(2,4),index=[2,1],columns=['d','c','b','a'])#构建的DataFrame中的数据根据某一列，升序排列a.sort_value(by='a',ascending=True)#让行索引升序排序a.sort_index()#让列索引升序排序a.sort_index(axis=1)#让列索引降序排序a.sort_index(axis=1,ascending=False)#让任选两列数据同时降序排序a.sort_values(by=['a', 'c'])123456789101112
df1.sort_values(by=['票价','年龄'],ascending=False).head(20)1
排序后，如果我们仅仅关注年龄和票价两列。根据常识我知道发现票价越高的应该客舱越好，所以我们会明显看出，票价前20的乘客中存活的有14人，这是相当高的一个比例，那么我们后面是不是可以进一步分析一下票价和存活之间的关系，年龄和存活之间的关系呢？当你开始发现数据之间的关系了，数据分析就开始了。
年龄df1['年龄']=df1['年龄'].map(lambda x: float(x))df1.sort_values(by='年龄',ascending=True).head(20)df1.sort_values(by='年龄',ascending=False).head(20)123
df1['票价']=df1['票价'].map(lambda x: float(x))df1.sort_values(by='票价',ascending=False)12
#写下你的思考#数据中年龄排序出现按9>80>8>74…的情况，因为“年龄”列的数据目前的类型为字符串类型，需要手动转化为float类型#年龄越小存活概率越高，年龄越大存活概率越低
任务三：利用Pandas进行算术计算，计算两个DataFrame数据相加结果frame1_a = pd.DataFrame(np.arange(9.).reshape(3, 3), columns=['a', 'b', 'c'], index=['one', 'two', 'three'])frame1_b = pd.DataFrame(np.arange(12.).reshape(4, 3), columns=['a', 'e', 'c'], index=['first', 'one', 'two', 'second'])#加frame1_aframe1_b#减frame1_a - frame1_b#乘frame1_a * frame1_b#除frame1_a / frame1_bframe1_a.div(frame1_b)123456789101112131415
#代码def jiatingrenshu(x,y):return int(x) int(y)df1['家族人数']=df1.apply(lambda x:jiatingrenshu(x['堂兄弟/妹个数'],x['父母与小孩个数']),axis=1)max(df1['家族人数'])12345
frame2 = pd.DataFrame([[1.4, np.nan],[7.1, -4.5],[np.nan, np.nan],[0.75, -1.3]], index=['a', 'b', 'c', 'd'], columns=['one', 'two'])frame2.describe()"""onetwocount3.0000002.000000mean3.083333-2.900000std3.4936852.262742min0.750000-4.50000025%1.075000-3.70000050%1.400000-2.90000075%4.250000-2.100000max7.100000-1.300000"""1234567891011121314151617
df1['票价'].describe()'''count891.000000mean32.204208std49.693429min0.00000025%7.91040050%14.45420075%31.000000max512.329200Name: 票价, dtype: float64'''#最贵的票价高达512#有人使用免费票#75%的人购买的票价小于总体样本的均值123456789101112131415
对于导入的数据一定要注意其数据类型，因类型的限制可能很多统计指标无法实现
