어쨋든, 많은 사람이 이야기하는 네이버의 로봇정책이 잘못된걸까?
지식인 : 로봇 수집거부 하고 있습니다. http://kin.naver.com/robots.txt
야후앤서스 : 로봇 수집거부 하고 있습니다. http://answers.yahoo.com/robots.txt
네이버 블로그 : 로봇 수집거부 하고 있습니다. http://blog.naver.com/robots.txt
블로거닷컴 : 로봇 수집거부 하고 있습니다. http://www.google.com/robots.txt
야후앤서스 : 로봇 수집거부 하고 있습니다. http://answers.yahoo.com/robots.txt
네이버 블로그 : 로봇 수집거부 하고 있습니다. http://blog.naver.com/robots.txt
블로거닷컴 : 로봇 수집거부 하고 있습니다. http://www.google.com/robots.txt
무슨 차이가 있어서 그렇게도..네이버가 욕을 먹게 하는걸까요?
블로거닷컴의 로봇 수집거부
블로거닷컴의 메인에서는 로봇수집거부가 없습니다.그러나, 실제 개개인 블로거로 접근시
http://beyonce-1.blogspot.com 의 URL이
http://www.google.com/url?sa=D&sntz=1&q=http%3A%2F%2Fbeyonce-1.blogspot.com&usg=AFrqEzcNruaAjl4LYqYjB1aDUXima00M4w
로 리다이렉션 됨을 확인할 수 있습니다.
즉, http://www.google.com/robots.txt 의 거부항목중, /url 이 있으므로
블로거닷컴도 로봇에 의한 수집을 거부함을 알 수 있습니다.
이올린에 북마크하기
이올린에 추천하기
Trackback Address :: http://exif.net/trackback/67
