crawl-from-x

# Crawl From X

X/Twitter 帖子抓取工具。

⚠️ **前置要求**：需要 **OpenClaw Browser Relay** 和浏览器扩展。

---

## 安装

```bash
npx clawhub@latest install crawl-from-x
```

安装位置：
- `$CLAWD/skills/crawl-from-x/scripts/craw_hot.py` - 主脚本
- `$CLAWD/skills/crawl-from-x/users.txt` - 用户列表
- `$CLAWD/skills/crawl-from-x/results/` - 抓取结果

---

## 准备

### 1. 安装 OpenClaw

访问 https://github.com/openclaw/openclaw 下载安装。

### 2. 安装浏览器扩展

在 OpenClaw 设置中进入 "Browser Relay"，安装扩展。完成后扩展显示绿色图标。

### 3. 启动 Browser Relay

```bash
openclaw browser start
openclaw browser status  # 确认显示 "browser: enabled"
```

### 4. 登录 X 账号

在安装了扩展的浏览器中登录 X (Twitter)。

---

## 快速开始

```bash
cd $CLAWD/skills/crawl-from-x/scripts

# 添加用户
python3 craw_hot.py add username

# 列出用户
python3 craw_hot.py list

# 删除用户
python3 craw_hot.py remove username

# 抓取所有用户
python3 craw_hot.py crawl

# 抓取单个用户
python3 craw_hot.py crawl username
```

**结果文件：**
- `posts_YYYYMMDD_HHMMSS.md` - 完整内容（Markdown），媒体 URL 已替换为本地路径
- `posts_YYYYMMDD_HHMMSS.txt` - URL 列表（仅全部用户抓取）
- `images/` - 下载的图片和视频

**说明：**
- 单用户抓取和全部用户抓取使用相同的策略
- 所有媒体文件（图片、动图、视频）都会下载到 `images/` 目录
- Markdown 文件中的媒体 URL 会自动替换为本地相对路径

---

## 注意事项

1. **浏览器要求**：必须安装 OpenClaw 浏览器扩展
2. **登录状态**：浏览器必须登录 X 账号
3. **速率限制**：脚本已内置随机延迟
4. **私密账号**：无法抓取私密账号内容

# Crawl From X ✨

> X/Twitter 帖子抓取与管理工具 - 自动化跟踪你关注的用户动态

[![License](https://img.shields.io/badge/license-MIT-blue.svg)](LICENSE)
[![Version](https://img.shields.io/badge/version-2.4-green.svg)](CHANGELOG.md)

Crawl From X 是一个专注于 X (Twitter) 帖子抓取的自动化工具，可以帮你轻松管理和跟踪你关注的 X 用户最新动态。

## ✨ 核心功能

- 👥 **用户列表管理** - 增删改查需要关注的 X 用户名
- 🔄 **批量抓取** - 自动访问用户主页，抓取当天发布的所有帖子
- 📝 **完整内容获取** - 通过 API 获取帖子完整文本、图片、视频等
- 📄 **Markdown 导出** - 自动生成格式化的 Markdown 文件
- 🎬 **媒体支持** - 自动提取图片、视频链接
- 📊 **互动数据** - 点赞、转发、浏览、回复数统计
- 🛡️ **容错机制** - 浏览器自动恢复、智能重试（最多 5 次）
- 📰 **X Article 支持** - 完整提取长文章内容
- 🔒 **进程锁** - 防止多个实例同时运行

## 🚀 快速开始

### 前置要求

⚠️ **重要**：此技能需要 OpenClaw 的 **Browser Relay（浏览器中转）功能**来抓取用户帖子。

#### 必要的依赖

1. **安装 OpenClaw**
   ```bash
   # 访问官网下载安装
   open https://github.com/openclaw/openclaw
   ```

2. **安装浏览器扩展**
   
   **Chrome/Edge 用户：**
   - 打开 OpenClaw 设置
   - 进入 "Browser Relay" 部分
   - 按照提示安装浏览器扩展
   - 完成后，浏览器扩展会显示 "Relay On" 或绿色图标

   **未安装浏览器扩展会导致：**
   - ❌ 无法抓取用户主页
   - ❌ 无法提取帖子 URL
   - ❌ 程序报错

3. **启动 Browser Relay 服务**
   ```bash
   # 确保 Browser Relay 已启动
   openclaw browser status
   
   # 如果未启动，使用以下命令启动
   openclaw browser start
   ```

4. **X 账号已登录**
   - 在安装了 Browser Relay 扩展的浏览器中登录 X（Twitter）
   - 技能会使用已登录的会话抓取内容

#### 验证安装

运行以下命令验证所有依赖已就绪：

```bash
# 1. 检查 OpenClaw 状态
openclaw status

# 2. 检查 Browser Relay 状态
openclaw browser status

# 3. 如果显示 "browser: enabled"，说明一切就绪
```

**如果遇到问题，请访问：**
- [OpenClaw 文档 - Browser Relay](https://docs.openclaw.ai/guide/browser-relay)
- [OpenClaw GitHub Issues](https://github.c...