safe-web-fetch-for-save-token

# Safe Web Fetch

安全的智能网页内容获取技能。保留原版的核心功能（Token 节省 50-80%），但增加多层安全防护。

## 核心功能

- **智能清洗**: 自动使用 Jina Reader 获取干净 Markdown
- **Token 优化**: 去除广告、导航栏等噪音，节省 50-80% Token
- **安全防护**: 
  - ✅ 强制 SSL 验证（不跳过）
  - ✅ URL 白名单验证（阻止内网/私有 IP）
  - ✅ 敏感数据检测（不发送包含 API Key/Token 的页面）
  - ✅ 可配置允许列表

## 使用方式

### 基本用法

```bash
# 获取清洗后的 Markdown
python3 {baseDir}/scripts/safe_fetch.py "https://example.com/article"

# JSON 格式输出（包含元信息）
python3 {baseDir}/scripts/safe_fetch.py "https://example.com/article" --json

# 查看安全配置
python3 {baseDir}/scripts/safe_fetch.py --show-config
```

### 在 Agent 中使用

当用户需要获取网页内容时：

```
用户: "帮我查一下 https://example.com/article 的内容"
Agent 应该:
1. 运行: python3 ~/.openclaw/skills/safe-web-fetch/scripts/safe_fetch.py "https://example.com/article"
2. 获得清洗后的 Markdown 内容
```

## 安全特性

### 1. URL 白名单验证

阻止以下危险 URL：
- 私有 IP 地址（127.0.0.1, 192.168.x.x, 10.x.x.x, 172.16-31.x.x）
- localhost, *.local
- 内部域名（*.internal, *.localdomain）
- file://, ftp://, data:// 等非 HTTP 协议

### 2. 敏感数据检测

发送前检测页面内容，拒绝发送包含：
- API Keys（`api_key=`, `apikey=`, `key=`）
- Access Tokens（`access_token=`, `token=`）
- Bearer Tokens（`Bearer `, `Authorization: `）
- AWS Keys（`AKIA`, `aws_`）
- Private Keys（`-----BEGIN.*PRIVATE KEY-----`）

### 3. 强制 SSL 验证

不会禁用 SSL 证书验证，确保：
- 连接真实的服务器
- 防止中间人攻击
- 证书错误时拒绝连接

### 4. 可配置允许列表

在 `config.json` 中配置：

```json
{
  "allowed_domains": ["example.com", "docs.example.com"],
  "blocked_domains": ["ads.example.com"],
  "max_content_size": 10485760,
  "timeout": 30
}
```

## 输出格式

```json
{
  "success": true,
  "url": "https://r.jina.ai/http://example.com/article",
  "original_url": "https://example.com/article",
  "content": "# Article Title\n\nClean markdown content...