AI 크롤러 허용 robots.txt 작성하는 법

By |2026-09-29T16:54:22+09:002026-07-20|

핵심 요약 AI 크롤러는 회사마다 학습용 봇과 검색·인용용 봇이 분리되어