robots.txt 파일을 이용한 검색제한

robots.txt 파일을 이용한 검색제한

http://www.robotstxt.org/

 

robots.txt 파일을 사용하여 페이지 차단 또는 삭제

http://support.google.com/webmasters/bin/answer.py?hl=ko&answer=156449

Google 차단
Google 검색결과에 나타나지 않기를 원하는 페이지나 콘텐츠가 사이트에 포함되어 있는 경우 다음과 같은 방법을 사용할 수 있습니다.

http://support.google.com/webmasters/bin/answer.py?hl=ko&answer=93708

메타 태그를 사용하여 사이트 액세스 차단하기

http://support.google.com/webmasters/bin/answer.py?hl=ko&answer=93710

네이버 검색로봇아 놀러와  Robots.txt 설정하기 블로그

http://lilylee4u.blog.me/70125793329