robots.txt
검색엔진(네이버, 구글 등)들의 서치봇(검색로봇)이
여러 웹페이지를 수집할 때, 수집을 당하는 쪽에서
검색로봇은 ~~해주세요 라고 안내사항을 적어놓은
안내문 정도로 생각하면됩니다.
옵션에 따라서 서치봇에게 웹페이지에 대한 정보를
가져가지 말라고 설정하는 것도 가능합니다.
robots.txt 설정할 필요가 없는 이유
네이버 웹마스터 도구 - 내 블로그 클릭
[검색] - [robots.txt] 클릭
수집요청을 눌러보면 현재 내 블로그에
설정되어있는 robots.txt 를 보여줍니다
네이버의 서치봇인 Yeti가 가져온 결과입니다
이 설정을 바꿀 수는 없는지 확인을 위해
스크롤을 내려 아래 그림과 같이
robots.txt 를 설정해서 다운받습니다
티스토리 설정페이지로 가서 지난번처럼
꾸미기 - 스킨편집 - html 편집을 클릭
상단에 [파일업로드] 를 클릭합니다
하단에 [추가] 버튼을 클릭하고
다운받았던 robots.txt 파일을 업로드합니다
robots.txt 파일이 추가된 것을 확인하고
적용 버튼을 눌러줍니다
그러나 네이버 웹마스터 도구에서 확인해보면
다운로드 받은대로 robots.txt가 반영되어있지 않습니다
https://블로그주소/robots.txt
를 가봐도 내용은 똑같습니다
네이버 웹마스터에서는 robots.txt의 위치가
루트(/) 디렉토리에 위치해야한다고 안내하고 있습니다
(그리고 robot.txt가 루트에 있어야하는 것은
웹 페이지 상, 일종의 약속입니다)
그러나 티스토리 설정에서 추가한 robots.txt는
images 아래 추가되어 있습니다
티스토리에서 초기 설정해준 robots.txt로도 문제없습니다
다만 구글과 빙(마이크로소프트) 에 최적화되어 있습니다
네이버에서 검색이 안된다는 것은 아닙니다
만든지 얼마 안된 블로그는 사이트 간단체크를 하면
robots.txt 없다고 뜨지만 정확한 기간은 모르겠으나
길지 않은 시간내로 robots.txt가 수집 되었음을
확인하실 수 있습니다
'일상다반사 > 꿀팁(?)' 카테고리의 다른 글
| 유튜브 중복결제 문제 걱정마세요 (2) | 2022.12.04 |
|---|---|
| 아이폰 사파리에서 PC버전으로 웹 보기 (0) | 2022.12.01 |
| 내 사이트 블로그 홈페이지 구글에 검색되도록 만들기 (0) | 2022.10.30 |
| 내 사이트 블로그 홈페이지 네이버에 검색되도록 만들기(2) - 사이트맵(sitemap), rss 제출하기 (0) | 2022.10.30 |
| 내 사이트 블로그 홈페이지 네이버에 검색되도록 만들기(1) - 네이버 웹 마스터에 등록하기 (0) | 2022.10.30 |