Pandas常用的数据结构和常用的数据分析技术

import pandas as pd
# 读取Excel文件
df = pd.read_excel('data.xlsx')
# 读取CSV文件
df = pd.read_csv('data.csv')

df.head()

df.describe()

# 计算每个数据点的5天移动平均值
df['MA5'] = df['Close'].rolling(window=5).mean()
# 计算每个数据点的10天移动标准差
df['STD10'] = df['Close'].rolling(window=10).std()

# 计算Close和Volume的Pearson相关系数
df['Close'].corr(df['Volume'], method='pearson')
# 计算Close和Volume的Spearman秩相关系数
df['Close'].corr(df['Volume'], method='spearman')

# 将日期作为Index
df.set_index('Date', inplace=True)
# 查找2019年的数据
df.loc['2019']
# 查找2019年1月的数据
df.loc['2019-01']

# 筛选Close在30到50之间的数据
df[df['Close'].between(30, 50)]

# 筛选Symbol为AAPL或MSFT的数据
df[df['Symbol'].isin(['AAPL', 'MSFT'])]

# 使用Symbol和Date作为多级索引
df.set_index(['Symbol', 'Date'], inplace=True)
# 查找AAPL在2019年的数据
df.loc['AAPL', '2019']
# 计算每个Symbol在每天的平均Close
df.groupby('Symbol')['Close'].mean()

# 将日期时间转换为DatetimeIndex
df['Date'] = pd.to_datetime(df['Date'])
df.set_index('Date', inplace=True)
# 计算每个月的平均Close
df.resample('M')['Close'].mean()

# 根据Symbol分组，计算平均Close和最大Volume
df.groupby('Symbol').agg({'Close': 'mean', 'Volume': 'max'})

# 按照Symbol和Year计算每年的平均Close
df.pivot_table(index='Year', columns='Symbol', values='Close', aggfunc='mean')

# 合并df1和df2
pd.merge(df1, df2, on='key')

# 去除重复数据
df.drop_duplicates()
# 处理缺失值
df.dropna()
# 处理异常值
df[df['Close'] > 100]

# 绘制折线图
df.plot()
# 绘制散点图
df.plot.scatter(x='Close', y='Volume')
# 绘制直方图
df['Close'].plot.hist()