工作原理
默认情况下，工具会由服务端抓取你输入的网站首页和同域名链接，读取页面标题、meta description、H1-H3 标题、导航链接和正文片段，再用规则模板整理成一份可编辑的 llms.txt 草稿。
启用 LLM 后，工具会先读取首页和候选链接，让模型挑选值得深入抓取的页面，再把抓取结果交给模型写成更自然的 llms.txt。如果模型调用失败，系统会保留规则生成的草稿并在错误详情中说明本次使用了回退模式。
使用方式
- 在 Website domain or URL 中输入域名或完整 URL，例如 example.com 或 https://example.com/docs。
- 在 Extra context 中补充网站定位、产品说明、重点页面或你希望模型理解的背景。
- Crawl page limit 控制最多抓取的页面数。页数越多，覆盖越充分，但耗时也越长。
- 只需要规则草稿时，直接点击 Generate llms.txt；希望 AI 优化内容时，再启用 LLM。
- 生成后可以复制结果，也可以下载为 llms.txt，发布前建议人工检查准确性。
LLM 设置
勾选 Refine with custom LLM API 后，如果 Endpoint、Model 或 API Key 留空，服务端会自动使用默认配置：Endpoint 为 https://www.nekoapi.com/v1/chat/completions，Model 为 gpt-4.1-mini，并使用服务端内置的默认 API Key。页面不会把默认 Key 暴露到表单中。
Test LLM API 会发送一次很小的健康检查请求，用来确认当前配置是否能连通并返回文本。测试成功只代表连接可用，实际生成仍可能因为目标网站慢、页数过多、模型返回异常或部署平台超时而回退到规则草稿。
排查与限制
如果生成失败，页面会在输出框和 Error details 中显示错误代码、HTTP 状态、抓取 URL、content-type 或部分响应内容。对于较大的抓取页数，Vercel 等 serverless 平台可能触发函数超时；工具会尽量在平台超时前返回结构化错误。
出于安全考虑，工具会阻止抓取 localhost 和私有网络地址。生产环境建议继续增加请求频率限制、DNS 后私有 IP 检查，并把默认 API Key 迁移到环境变量管理。