ai-topic-scout

# AI短视频选题追踪系统

## 依赖安装

首次使用前，检查并安装所有依赖。按顺序执行：

### 1. CLI 工具

```bash
# mcporter — MCP Server 调用工具
npm install -g mcporter

# bird — Twitter/X CLI
npm install -g @steipete/bird

# yt-dlp — YouTube 视频/字幕下载
pip install yt-dlp
```

### 2. 依赖技能（通过 clawhub 安装）

```bash
# 钉钉 AI 表格操作
clawhub install dingtalk-ai-table

# YouTube 字幕抓取
clawhub install youtube-watcher
```

> 如果 clawhub 未安装：`npm install -g clawhub`

### 3. 环境配置

**钉钉 MCP Server**：
1. 打开 https://mcp.dingtalk.com/#/detail?mcpId=9555&detailType=marketMcpDetail
2. 点击「获取 MCP Server 配置」，复制 Streamable HTTP URL
3. 注册到 mcporter：
```bash
mcporter config add dingtalk-ai-table --url "<你的URL>"
```

**Twitter Cookie**：
1. 在浏览器登录 x.com，从 DevTools → Application → Cookies 获取 `auth_token` 和 `ct0`
2. 配置到 `~/.config/bird/config.json5`：
```json5
{
  authToken: "<你的auth_token>",
  ct0: "<你的ct0>"
}
```
> ⚠️ 当前版本 bird 不会自动读取 config.json5，CLI 调用时仍需通过 `--auth-token` 和 `--ct0` 参数传入。

### 4. 验证安装

```bash
mcporter --version
mcporter list dingtalk-ai-table --schema   # 确认出现 list_bases / create_records 等新版 tools
bird check
yt-dlp --version
```

## 数据架构

### 钉钉AI表格结构

Base 名称：`AI短视频选题`

需要 4 张数据表，首次运行时自动创建（参见 `references/setup-guide.md`）：

| 表名 | 用途 |
|------|------|
| YouTube博主 | 追踪的油管频道列表 |
| Twitter博主 | 追踪的推特账号列表 |
| 抓取内容 | 原始抓取记录（视频/推文） |
| 选题分析 | 聚合分析后的选题 |

表结构详见 `references/table-schema.md`。

## 工作流

### 一、首次初始化

仅第一次使用时执行，步骤详见 `references/setup-guide.md`：

1. 创建钉钉AI表格 Base
2. 创建 4 张数据表（含字段定义）
3. 填入初始博主列表
4. 将 baseId 和各 tableId 保存到 `references/config.json`

### 二、定时抓取（每小时执行）

按顺序执行：

#### 1. 读取配置

```bash
cat {baseDir}/references/config.json
```

读取 baseId、各 tableId、各字段 fieldId。

#### 2. 抓取 YouT...