Pandas在数据分析和机器学习中的应用及优势

import pandas as pd
# 通过字典方式创建DataFrame
data = {'name': ['Alice', 'Bob', 'Charlie'], 'age': [20, 25, 30]}
df1 = pd.DataFrame(data)
# 通过列表方式创建DataFrame
data = [['Alice', 20], ['Bob', 25], ['Charlie', 30]]
df2 = pd.DataFrame(data, columns=['name', 'age'])
# 读取CSV文件创建DataFrame
df3 = pd.read_csv('data.csv')

# 查看前5行数据
df.head()
# 查看后3行数据
df.tail(3)
# 随机查看5行数据
df.sample(5)

# 选取第2行到第4行数据
df.loc[2:4]
# 选取第3行第2列的数据
df.iloc[3, 2]

# 统计DataFrame的描述性统计信息
df.describe()

# 删除缺失值所在的行
df.dropna(inplace=True)
# 用0来填充缺失值
df.fillna(0, inplace=True)
# 用中位数来插值
df.interpolate(inplace=True)

# 删除重复行
df.drop_duplicates(inplace=True)

# 用中位数和标准差来判断异常值
median = df['age'].median()
std = df['age'].std()
df = df[abs(df['age'] - median) <= 3*std]

# 过滤法：选择方差较大的特征
from sklearn.feature_selection import VarianceThreshold
selector = VarianceThreshold(threshold=0.5)
X_new = selector.fit_transfORM(X)
# 包装法：使用递归特征消除算法
from sklearn.feature_selection import RFE
from sklearn.linear_model import LinearRegression
estimator = LinearRegression()
selector = RFE(estimator, 5, step=1)
selector.fit(X, y)
# 嵌入法：使用L1正则化
from sklearn.feature_selection import SelectFromModel
from sklearn.linear_model import LassoCV
estimator = LassoCV()
selector = SelectFromModel(estimator)
selector.fit(X, y)

# 标准化：将特征缩放到均值为0、方差为1的范围内
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)
# 归一化：将特征缩放到0到1的范围内
from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
X_scaled = scaler.fit_transform(X)