Tiny Logs 

robots.txt 파일 규칙 오류 수정본

타이니 | 2013.07.18 00:59 | 조회 5,337
카테고리분류 : kimsQ Rb v.1.2.0~v.1.2.2
robots.txt felt robot

kimsQ Rb v.1.2.1 기준으로 robots.txt 파일 내용이 오류가 있어 아래처럼 수정합니다.
정식 패치 이전에 수정해 사용하십시오.

robots.txt 규칙에 보면 와일드카드(*) 가 있는데요.
이게 원래 검색엔진 크롤링 규칙에 없던 것이고 구글에서만 적용하는 확장형태라서 안 쓸라고 했는데,
알아보니 요즘은 거의 다 지원한다네요.

그렇다면! 킴스큐 설치 폴더와 상관없이 모두 통용 가능한 robots.txt 파일을 아래처럼 제안합니다.

User-agent: Mediapartners-Google 
Disallow:
User-agent: *
Disallow: /*_core/
Disallow: /*_var/
Disallow: /*_tmp/
Disallow: /*layouts/
Disallow: /*modules/
Disallow: /*pages/
Disallow: /*files/
Disallow: /*switchs/
Disallow: /*widgets/
Disallow: /*system=edit
Disallow: /*_themeConfig
Disallow: /*admin
Disallow: /*m=admin
Disallow: /*mod=write
Disallow: /*iframe=Y
Disallow: /*mod=delete
Disallow: /*&a=
Disallow: /*?a=
Disallow: /*action/
Disallow: /*type=modify
Disallow: /*write


robots.txt 파일을 위처럼 수정하고,
파일의 위치는 반드시 홈페이지 루트폴더 (웹다큐먼트루트)에 위치해야 합니다.
예) http://www.mydomain.com/robots.txt

그리고 혹시 킴스큐로 한 도메인에 다중 사이트를 운영하신다면! 그리고 그 중에 테스트 용도나 비공개 사이트를 운영하신다면 아래처럼 추가하십시오.

Disallow: /index.php?r=test
Disallow: /?r=test
Disallow: /test/

보시다시피 test 사이트 코드를 통해 들어가는 다중 사이트는 검색 크롤링에서 제외하는 식입니다.


[2013.07.21 업데이트]

생각해 보니 크롤링을 막지 않아도 될게 보여서 뺐습니다.
로그인/회원가입/검색결과 페이지들 입니다.

[2013.07.22 업데이트]

구글 애드센스 사용하시는 분의 경우, 크롤링을 막으면 광고가 제대로 표시되지 않습니다.
따라서, 검색봇이 아닌 애드센스 봇의 경우 모두 풀어 놓는게 좋을 것 같아 맨 위에 2줄 추가합니다.

그리고 혹시 sitemap.xml 파일을 넣으신 분은 아래처럼 robots.txt 파일에 한 줄 추가하시면 됩니다. (본인 홈페이지 주소의 sitemap.xml 파일 위치를 넣으세요!)

Sitemap: http://kimsq.cweb.co.kr/sitemap.xml

지금 이 홈페이지의 robots.txt 파일을 참고하세요.
http://kimsq.cweb.co.kr/robots.txt

크리에이티브 커먼즈 라이선스
22개(1/3페이지) rss


많이 본 글최근 90일내 많이 본 글입니다.
댓글 많은 글최근 90일내 댓글 많은 글입니다.
Tag Cloud
등록된 태그가 없습니다.

Visits Counter
  • 33오늘 방문
  • 96어제 방문
  • 33오늘 페이지뷰
  • 97어제 페이지뷰
  • 2,623이번 달 방문
  • 2,247지난 달 방문