llms.txt 是什么
llms.txt 是给 AI 系统阅读的网站说明文件。它用简洁文本告诉模型:这个网站是什么、有哪些核心页面、哪些内容值得优先理解。
llms.txt 可以理解为 AI 时代的站点导览文件。
传统网站会给搜索引擎准备 robots.txt 和 sitemap.xml。前者告诉爬虫哪些页面可以访问,后者列出网站有哪些 URL。
llms.txt 的目标不同。
它不是给传统搜索引擎看的爬取规则,而是给大模型、AI 搜索和 Agent 系统看的内容说明。
llms.txt 解决什么
AI 系统访问一个网站时,常常面对大量页面。
它需要判断:
- 这个网站是关于什么的?
- 哪些页面最重要?
- 哪些概念是核心?
- 页面之间有什么关系?
- 应该优先读哪些内容?
llms.txt 就是给 AI 的简明导览。
它通常用 Markdown 风格写成纯文本,列出核心页面、重要分区和简短说明。
和 robots.txt 的区别
robots.txt 主要是爬虫规则。
它告诉搜索引擎哪些路径可以抓取,哪些不应该抓取。
llms.txt 更像内容说明。
它告诉 AI:如果你要理解这个网站,应该从哪里开始。
一个网站可以同时有:
robots.txt:访问规则。sitemap.xml:URL 清单。llms.txt:语义导览。
三者互相补充。
和 sitemap 的区别
Sitemap 更完整。
它列出网站所有或大部分 URL。
llms.txt 更克制。
它只列出最重要的页面,并给出简短说明。它不追求穷尽,而是帮助 AI 抓住重点。
如果 sitemap 是地图册,llms.txt 更像导游词。
llms.txt 应该写什么
一个简单的 llms.txt 可以包含:
- 网站名称。
- 网站简介。
- 核心主题。
- 核心页面。
- 主要分区。
- 页面说明。
例如:
# newtype Wiki
newtype Wiki is a structured knowledge base about AI OS, AI engineering, agents, personal knowledge systems, and super individuals.
## Core Pages
- AI OS
- newtype OS
- Harness Engineering
- Context Engineering
## Sections
- Concepts
- Guides
- Glossary
- Compare
对 GEO 的意义
GEO 是面向 AI 搜索和 AI 回答系统的优化。
llms.txt 不能保证 AI 一定引用你的网站。
但它可以降低 AI 理解网站结构的成本。
尤其是对 Wiki、文档站、知识库、产品手册和个人内容体系来说,llms.txt 可以帮助模型快速识别权威入口。
创作者需要 llms.txt 吗
如果你只是普通博客,不一定必须。
但如果你的网站已经有结构化内容,比如 Wiki、术语表、指南、产品说明、对比页,llms.txt 就值得加。
它的成本很低,收益是让 AI 更容易理解你的网站。
对于创作者来说,llms.txt 是把内容体系展示给 AI 的一张索引卡。
注意事项
不要把 llms.txt 写成广告。
它应该清楚、简洁、可读。
也不要列太多页面。页面越多,重点越弱。
更好的做法是列出核心页面和分区,让 AI 自己顺着链接继续理解。
总结
llms.txt 是 AI 时代的网站说明文件。
它不是替代 sitemap,也不是 SEO 魔法。
它的价值是帮助 AI 系统更快理解:你是谁,你的网站讲什么,哪些页面最重要。
Substack 相关文章
- GitHub项目理解神器:DeepWiki2025-10-11