Robots.txt와 Sitemap.xml 제대로 설정하기

웹사이트 방문자가 URL에 접속해서 읽은 정보들을 자신의 기존 지식 체계 안에서 저장하는 것 처럼 검색 크롤러도 웹페이지의 콘텐츠를 카피해서 검색엔진으로 이동시키고 이를 주제별로 색인한다. 이렇게 색인된 정보만이 검색 결과에서 노출될 […]