Robots.txt | Meta Robot tag 설정을 위한 사례
Robots.txt | Meta Robot tag 설정을 위한 사례
Robots.txt | Meta Robot tag
메타 로봇 태그 및 robots.txt 파일은 SEO에서 활용하기에 너무 좋습니다.
Robots.txt 파일은 전체 사이트에 대해 크롤봇에게 지시를 하는 파일입니다.
메타 로봇 태그는 특정 페이지의 핵심 입니다.
해외의 SEO 전문가들은 robots.txt 파일을 활용하여 많은 작업에 메타 로봇 태그를 사용합니다.
(답은 없습니다. 오로지 TEST를하여 나의 기준점을 잡아내야합니다.)
Robots.txt 란 ?
이 파일은 크롤링해야 할 항목을 크롤봇에게 알려줍니다.
Googlebot이나 네이버봇 들에게 어떠한 행동을 할 수 있게 알려주는 지표 같은 것입니다.
구글은 구글봇을 배포하여 웹사이트나 블로그를 크롤링하고
해당 페이지의 정보를 기록하여 검색 결과에 사이트 순위를 매기고 있습니다.
Robots.txt 주소를 찾을 수 있는 방법 :
https://사이트주소URL/robots.txt기본적인 robots.txt 파일은 아래와 같습니다.
User-agent: *
Disallow : /User-agent의 *는 사이트 방문하는 모든 봇들을 알려주는 것입니다.
Diallow뒤 / 는 봇이 사이트의 어떤 페이지로도 이동하지 않도록 지시하는 명령어 입니다.
워드프레스나 사이트를 만드셔서 하시는 분들은 robots.txt 의 파일이 업데이트가 제대로 되지 않아,
순위에 안좋은 영향을 주는 경우가 종종 있습니다.
Robots.txt 명령어
User-agent : *
- 이것은 robots.txt 파일의 첫 번째 행으로,
크롤러에게 사이트에서 크롤링 할 규칙을 설명합니다.
별표는 모든 스파이더를 나타냅니다.
User-agent : Googlebot
- Google의 스파이더가 크롤링 할 항목 만 알려줍니다.
Disallow : /
- 모든 크롤러에게 전체 사이트를 크롤링하지 않도록 지시합니다.
Disallow :
- 모든 크롤러에게 전체 사이트를 크롤링하도록 지시합니다.
Disallow : / staging /
- 모든 크롤러가 스테이징 사이트를 무시하도록 지시합니다.
Disallow : / ebooks / * .pdf
- 크롤러가 중복 콘텐츠 문제를 일으킬 수있는 모든 PDF 형식을 무시하도록 지시합니다.
* 파일의 이름은 항상 소문자를 사용하세요.
주 디렉토리에 Robots.txt 파일을 배치해야 합니다.
위 명령어를 이용하여 배치하시는 것이 좋습니다.
Sitemap 경로 정하기
robots.txt 에는 sitemap 경로를 지정해주면 sitemap으로 bot이 경로를 정하여 크롤링을 합니다.
서치콘솔을 사용하는 경우 굳이 넣지 않아도 되지만, 내 사이트에 bot의 경로를 지정해주는 것이 좋습니다.
예제 : Moz robots.txt 파일입니다.
Sitemap: https://moz.com/sitemaps-1-sitemap.xml
Sitemap: https://moz.com/blog-sitemap.xml
User-agent: *
Allow: /researchtools/ose/$
Allow: /researchtools/ose/dotbot$
Allow: /researchtools/ose/links$
Allow: /researchtools/ose/just-discovered$
Allow: /researchtools/ose/pages$
Allow: /researchtools/ose/domains$
Allow: /researchtools/ose/anchors$
Allow: /products/
Allow: /local/
Allow: /learn/
Allow: /researchtools/ose/
Allow: /researchtools/ose/dotbot$
Disallow: /products/content/
Disallow: /local/enterprise/confirm
Disallow: /researchtools/ose/
Disallow: /page-strength/*
Disallow: /thumbs/*
Disallow: /api/user?*
Disallow: /checkout/freetrial/*
Disallow: /local/search/
Disallow: /local/details/
Disallow: /messages/
Disallow: /content/audit/*
Disallow: /content/search/*
Disallow: /marketplace/
Disallow: /cpresources/
Disallow: /vendor/
Disallow: /community/q/questions/*/view_counts
Disallow: /admin-preview/*
메타 로봇 태그 란 ???
메타 로봇 태그 (메타 로봇 지시문이라고도 함)는 검색 엔진 크롤러에게 웹 사이트의 페이지를 크롤링하고
색인을 생성하는 방법을 알려주는 HTML 코드 스 니펫입니다.
메타 로봇 태그는 웹 페이지의 <head> 섹션에 추가됩니다.
다음은 그 예입니다.
<meta name =”robots”content =”noindex”/>Ther meta 로봇 태그는 두 부분으로 구성됩니다.
태그의 첫 번째 부분은 name = '' ' 입니다.
여기에서 사용자 에이전트를 식별합니다. 예 : 'Googlebot'
태그의 두 번째 부분은 content = '' 입니다.
여기에서 봇에게 원하는 작업을 알려줍니다.
이 부분이 중요한 것은 noindex, nofollow가 되게 되면 이 페이지의 링크를 따르지 않기 때문에,
백링크 집계에서 제외하게 됩니다.
그렇기에 이 로봇 태그가 있는 페이지는 아무리 링크를 달아도 백링크 효력을 발생시키지 못합니다.
'SEO 관련 정보' 카테고리의 다른 글
| 새로운 페이지 발행 후 redirect 301 걸때 주위점 - 트래픽 감소 현상 (0) | 2020.11.10 |
|---|---|
| 구글 검색 노출에서 백링크 필요한 이유 (0) | 2020.11.02 |
| 구글 서치콘솔 URL 검사 사용 중지 [대처법] (0) | 2020.10.28 |
| SEO 필수인 이미지 최적화 - Progressive JPEG (0) | 2020.10.28 |
| 자동 프로그램들은 어떤 원리로 노출 ( SEO )에 영향을 주나? (0) | 2020.10.28 |
댓글