302 数据处理与分析
让 Codex 编写数据处理脚本，实现从原始数据到可视化报告的全流程自动化
学习目标
一、数据处理脚本生成
快速开始
# 根据数据文件描述生成处理脚本
codex write --type script --desc "读取 sales.csv，按月汇总销售额，输出 Top 10 产品" --lang python
# 交互式生成
codex write --type script --interactive生成的 Pandas 脚本示例
Codex 会根据数据特征自动生成：
import pandas as pd
import matplotlib.pyplot as plt
# 读取数据
df = pd.read_csv("sales.csv", parse_dates=["order_date"])
# 数据清洗
df["amount"] = pd.to_numeric(df["amount"], errors="coerce")
df = df.dropna(subset=["amount"])
# 按月汇总
df["month"] = df["order_date"].dt.to_period("M")
monthly = df.groupby("month")["amount"].sum().reset_index()
# 输出 Top 10
top10 = df.groupby("product_name")["amount"].sum().nlargest(10)
print(top10)**💡 提示：** 用 `codex write --lang python --with-visualization` 让 Codex 同时生成图表代码。
二、数据清洗与转换管道
构建处理管道
# 定义多步骤数据处理管道
codex write --type pipeline --steps "
1. 读取多个 CSV 文件并合并
2. 处理缺失值和异常值
3. 标准化字段格式（日期、货币、电话号）
4. 数据去重
5. 输出清洗后的数据集
"常见清洗操作
| 操作 | Codex 指令示例 |
|---|---|
| 缺失值处理 | `codex write "用中位数填充缺失的数值列，用众数填充分类列"` |
| 异常值检测 | `codex write "使用 IQR 方法检测并标记异常值"` |
| 格式标准化 | `codex write "统一日期格式为 ISO 8601，货币转为 USD"` |
| 数据去重 | `codex write "按 email 列去重，保留最新记录"` |
三、分析报告自动生成
一键生成分析报告
# 从数据文件生成 Markdown 分析报告
codex analyze sales.csv --output report.md
# 指定分析维度
codex analyze sales.csv \
--dimensions "时间趋势, 地区分布, 产品排名, 客户分层"报告内容结构
生成的报告自动包含：
- **数据概览**：行数、列数、时间范围
- **描述性统计**：均值、中位数、标准差
- **趋势分析**：时间序列分解
- **分布分析**：直方图、箱线图
- **相关性分析**：关键指标的相关矩阵
- **洞察与建议**：基于数据的业务建议
四、数据可视化
图表生成
# 生成数据可视化图表
codex visualize sales.csv --type bar --x "product_name" --y "amount"
# 生成仪表盘
codex visualize sales.csv --dashboard --output dashboard.html支持的图表类型
| 图表 | 适用场景 | 命令参数 |
|---|---|---|
| 柱状图 | 分类对比 | `--type bar` |
| 折线图 | 趋势展示 | `--type line` |
| 饼图 | 占比分析 | `--type pie` |
| 散点图 | 相关性 | `--type scatter` |
| 热力图 | 矩阵数据 | `--type heatmap` |
五、实战：CSV → 分析 → 图表全流程
完整操作步骤
# Step 1: 检查数据质量
codex analyze orders.csv --check-quality
# Step 2: 数据清洗
codex write "清洗 orders.csv：去除金额为负的记录，标准化日期格式" --execute
# Step 3: 生成分析报告
codex analyze orders_clean.csv \
--dimensions "月度趋势, Top 客户, 品类分布" \
--output analysis-report.md
# Step 4: 生成可视化仪表盘
codex visualize orders_clean.csv \
--dashboard \
--output dashboard.html
echo "✅ 全流程完成！查看 analysis-report.md 和 dashboard.html"**💡 提示：** 将上述步骤保存为 `scripts/analyze.sh`，下次直接运行一键分析。
六、本课总结
**核心要点：**
- `codex write --type script` 根据自然语言描述生成数据处理脚本
- 管道模式 (`--type pipeline`) 支持多步骤数据转换
- `codex analyze` 一键生成包含洞察的 Markdown 分析报告
- `codex visualize` 支持多种图表类型和交互式仪表盘
- 全流程（清洗→分析→报告→图表）可串联为自动化脚本
**下一步：** 学习多语言与本地化 → [303 多语言与本地化](module4-303.md)