AI 크롤러 허용 robots.txt 작성하는 법 AI 크롤러 허용 robots.txt 작성하는 법 By nextwebai|2026-09-29T16:54:22+09:002026-07-20| 핵심 요약 AI 크롤러는 회사마다 학습용 봇과 검색·인용용 봇이 분리되어