핵심 요약

  • llms.txt는 AI 모델에게 사이트에서 무엇을 먼저 읽어야 하는지 알려주는 마크다운 파일이다.
  • robots.txt가 접근 제어(무엇을 크롤링해도 되는가)를 다룬다면, llms.txt는 콘텐츠 큐레이션(무엇이 중요한가)을 다룬다.
  • 2026년 중반 기준 llms.txt는 아직 공식 표준으로 확정되지 않았고, 구글·OpenAI·Anthropic·Perplexity가 이를 순위나 선택 기준으로 공식 채택했다고 밝힌 바는 없다. 다만 문서 중심 사이트를 중심으로 채택이 늘고 있다.

llms.txt란 무엇인가

llms.txt는 AI 언어 모델이 웹사이트에서 무엇을 먼저 읽어야 하는지 안내하는 마크다운 파일로, 도메인 루트(/llms.txt)에 위치한다. 2024년 9월 Answer.AI 공동창업자 제레미 하워드(Jeremy Howard)가 처음 제안했으며, 공식 명세는 llmstxt.org에 정리되어 있다. AI 모델은 컨텍스트 윈도우(한 번에 처리할 수 있는 텍스트 양)가 사이트 전체 크기보다 훨씬 작고, 웹페이지에는 광고·내비게이션·스크립트처럼 불필요한 요소가 많이 섞여 있다. llms.txt는 이런 문제를 해결하기 위해, 사람이 직접 큐레이션한 핵심 페이지 목록을 AI가 몇 초 안에 파악할 수 있는 형태로 제공한다.

robots.txt와 무엇이 다른가

구분 robots.txt llms.txt
주요 목적 접근 제어 (크롤링 허용·차단) 콘텐츠 큐레이션 (무엇이 중요한지 안내)
다루는 질문 “이 크롤러가 이 페이지에 들어와도 되는가” “AI가 이 사이트를 이해하려면 무엇부터 읽어야 하는가”
형식 표준 텍스트 규칙(User-agent, Disallow 등) 마크다운
대체 관계 사이트맵·llms.txt를 대체하지 않음 robots.txt·사이트맵을 대체하지 않음
표준 상태 오래된 웹 표준 2024년 제안된 비공식 표준, 공식 채택 미확정

robots.txt는 “무엇을 하면 안 되는가”를 다루고, llms.txt는 “무엇을 하면 좋은가”를 다룬다고 이해하면 된다. 둘은 경쟁 관계가 아니라 함께 쓰이는 보완 관계이며, 어느 쪽도 서로를 대체하지 않는다.

실제 코드 예시

llms.txt의 명세는 정해진 구조를 따른다: 사이트명을 담은 H1 제목이 가장 먼저 오고, 그 아래 사이트를 1~3문장으로 요약한 인용문(blockquote), 이어서 카테고리별로 묶은 H2 섹션과 설명이 붙은 링크 목록이 이어진다. 아래는 이 구조를 따른 예시다.

markdown
# (주)넥스트웹에이아이

> GEO(생성엔진최적화) 전문 에이전시. AI 검색 결과에 브랜드가 인용되도록 웹사이트 구조화, 콘텐츠 제작, 성과 측정을 지원한다.

## 핵심 페이지
- [서비스 소개](https://nextwebai.co.kr/service): GEO 패키지(라이트·스탠다드·프로) 구성과 가격
- [GEO 그로스](https://nextwebai.co.kr/growth): 월간 운영형 GEO 콘텐츠·모니터링 서비스
- [무료 진단](https://nextwebai.co.kr/diagnosis): AI 인용 준비도 무료 진단 신청

## 인사이트
- [GEO란 무엇인가](https://nextwebai.co.kr/insight/geo-vs-seo): GEO와 SEO의 5가지 차이
- [GEO 구축 4단계](https://nextwebai.co.kr/insight/geo-4steps): 실무자를 위한 실행 가이드

## 선택 자료
- [회사 소개](https://nextwebai.co.kr/about): 설립일, 대표자, 연혁

전체 페이지를 나열하는 목록은 큰 의미가 없다. “AI가 이 페이지 하나만 읽고도 우리 회사를 정확히 이해할 수 있는가”라는 기준으로 정말 중요한 페이지만 골라 넣는 것이 핵심이다. 문서량이 많은 사이트라면 전체 내용을 마크다운으로 담은 llms-full.txt를 별도로 함께 제공하기도 한다.

지금 도입해야 하는가

솔직하게 말하면, 2026년 중반 기준으로 llms.txt는 아직 정식 웹 표준으로 확정되지 않았고, 구글·OpenAI·Anthropic·Perplexity 중 어느 곳도 이 파일을 순위나 인용 선택 기준으로 공식 반영한다고 밝히지 않았다. 다만 Anthropic, Cloudflare, Hugging Face, Stripe 같은 문서 중심 사이트들은 이미 자체 llms.txt를 배포하고 있다. 만드는 데 드는 비용이 크지 않고, 향후 표준으로 자리잡을 가능성에 대비하는 차원에서 지금 준비해두는 것은 합리적인 선택지로 볼 수 있다.

자주 묻는 질문

llms.txt만 있으면 robots.txt는 필요 없나요?

아니다. 둘은 완전히 다른 역할을 한다. robots.txt가 없으면 AI 크롤러가 사이트에 접근할 수 있는지조차 판단할 근거가 없고, llms.txt가 없어도 크롤링 자체는 가능하다. 접근 허용은 robots.txt가, 콘텐츠 이해는 llms.txt가 맡는 구조이므로 둘 다 필요하다.

llms.txt를 만들면 바로 AI 인용이 늘어나나요?

보장되지 않는다. 주요 AI 기업들이 아직 이 파일을 공식적으로 참조한다고 확인하지 않았기 때문에, 즉각적인 효과를 기대하기보다는 향후 표준화에 대비하는 선제적 조치로 접근하는 것이 정확하다.

워드프레스에서도 llms.txt를 만들 수 있나요?

가능하다. robots.txt와 마찬가지로 사이트 루트에 텍스트 파일로 직접 올리거나, 관련 플러그인을 통해 생성할 수 있다. 형식이 단순한 마크다운이라 개발 지식 없이도 직접 작성할 수 있다.

핵심 요약

  • llms.txt는 AI 모델에게 사이트의 핵심 페이지를 안내하는 마크다운 파일이다.
  • robots.txt는 접근 제어, llms.txt는 콘텐츠 큐레이션을 담당하며 서로 대체하지 않는다.
  • H1 제목, 요약 인용문, 카테고리별 링크 목록이라는 정해진 구조를 따른다.
  • 2026년 중반 기준 공식 표준은 아니지만, 도입 비용이 낮아 선제적으로 준비하는 사이트가 늘고 있다.

관련 글

우리 사이트에 llms.txt를 어떻게 구성하면 좋을지 궁금하다면, 무료 GEO 진단을 통해 확인해볼 수 있다.