data-analysis-skill

# 数据分析技能包 DataMaster Pro

## 一句话介绍
自动抓取数据、智能清洗、一键可视化、生成专业报告。

## 解决什么问题？
- 数据分散：多个来源手动复制粘贴 → 一键抓取聚合
- 清洗耗时：Excel 公式搞半天 → 自动识别并清洗
- 图表难看：不会做可视化 → 一键生成专业图表
- 报告难写：不会写分析 → AI 自动生成洞察

## 功能清单
- 🌐 数据抓取：网页爬取、API 对接、数据库连接
- 🧹 数据清洗：去重、补缺、格式化、异常检测
- 📊 可视化：折线图、柱状图、饼图、热力图、散点图
- 📝 报告生成：自动生成数据分析报告（Markdown/HTML/PDF）
- 🔄 定时任务：支持定时抓取和分析

## 快速开始

### 安装
```bash
# 进入技能包目录
cd data-analysis-skill
npm install
```

### 使用命令

```bash
# 网页数据抓取
/data-fetch <URL> --selector "table.data"

# API 数据获取
/data-api <API_URL> --method GET --output data.json

# 数据清洗
/data-clean data.json --rules clean-rules.json

# 生成可视化图表
/data-viz data.csv --type bar --title "销售趋势"

# 完整分析报告
/data-report data.csv --template business --output report.md
```

### 配置示例
```json
{
  "sources": [
    {
      "type": "web",
      "url": "https://example.com/data",
      "selector": "table tbody tr",
      "schedule": "0 9 * * *"
    },
    {
      "type": "api",
      "url": "https://api.example.com/v1/data",
      "headers": {
        "Authorization": "Bearer TOKEN"
      }
    }
  ],
  "cleaning": {
    "removeDuplicates": true,
    "fillMissing": "mean",
    "normalizeColumns": ["price", "quantity"]
  },
  "visualization": {
    "defaultChartType": "bar",
    "colors": ["#4CAF50", "#2196F3", "#FF9800"],
    "width": 800,
    "height": 400
  }
}
```

## 文件结构
```
data-analysis-skill/
├── SKILL.md           # 技能定义（本文件）
├── README.md          # 产品说明
├── TUTORIAL.md        # 傻瓜式教程
├── install.bat        # 一键安装
├── run.bat            # 一键运行
├── config.json        # 配置示例
├── package.json       # 依赖管理
├── scripts/           # 核心代码
│   ├── data-fetch.js  # 数据抓取
│   ├── data-clean.js  # 数据清洗
│   ├── data-viz.js    #...

# DataMaster Pro - 数据分析技能包

> 自动抓取、智能清洗、一键可视化、生成专业报告

## 🎯 产品定位

专为数据分析师、运营人员打造的自动化数据分析工具包。告别重复的 Excel 操作，让数据分析从小时级变成分钟级。

## ✨ 核心功能

### 1. 数据抓取 (Data Fetch)

```bash
# 网页表格抓取
node scripts/data-fetch.js --url "https://example.com/data" --selector "table.data"

# API 数据获取
node scripts/data-fetch.js --api "https://api.example.com/v1/data" --method GET

# 数据库连接
node scripts/data-fetch.js --db mysql://user:pass@host/db --query "SELECT * FROM sales"
```

支持的数据源：
- ✅ 网页表格/列表
- ✅ REST API
- ✅ MySQL / PostgreSQL / MongoDB
- ✅ CSV / JSON / Excel 文件

### 2. 数据清洗 (Data Clean)

```bash
# 自动清洗
node scripts/data-clean.js --input data.json --output clean.csv

# 使用清洗规则
node scripts/data-clean.js --input data.json --rules clean-rules.json
```

清洗功能：
- 去重（按指定列）
- 空值处理（删除/填充/插值）
- 格式标准化（日期、货币、百分比）
- 异常值检测（IQR/Z-score）
- 数据类型转换

### 3. 数据可视化 (Data Viz)

```bash
# 生成柱状图
node scripts/data-viz.js --input data.csv --type bar --output chart.png

# 生成多图
node scripts/data-viz.js --input data.csv --type line,bar,pie --output charts/
```

支持的图表类型：
- 📊 柱状图（Bar）
- 📈 折线图（Line）
- 🥧 饼图（Pie）
- 📉 面积图（Area）
- 🔵 散点图（Scatter）
- 🔥 热力图（Heatmap）
- 📉 箱线图（Box Plot）

### 4. 报告生成 (Data Report)

```bash
# 生成 Markdown 报告
node scripts/data-report.js --input data.csv --template business --output report.md

# 生成 HTML 报告
node scripts/data-report.js --input data.csv --template weekly --output report.html
```

报告模板：
- `business` - 商业分析报告
- `technical` - 技术数据报告
- `weekly` - 周报模板
- `custom` - 自定义模板

## 📦 安装

### 方式一：一键安装
```bash
install.bat
```

### 方式二：手动安装
```bash
cd data-analysis-skill
npm install
```

## 🚀 快速开始

### 完整流程示例

```bash
# 1. 抓取数据
node scripts/data-fetch.js --url "https://example.co...