검색엔진 최적화(SEO) 대응 업체별 robots.txt

미투데이가 로긴없이도 볼 수 있도록 4.10일에 변경(처음 가입할 때는 공개였으나 비공개로 전환된 후 다시 공개)되었다. robots.txt파일 설정에 따라 검색엔진에서 긁어갈 수도 있어서 살펴봤더니 비어있다. 그럼 구글에서 검색하면 나오겠네? 구글에서 'site:me2day.net'으로 검색해봤다. 아~ 역시 구글은 끊임없이 일하고 있구나. 검색결과가 4330개.

개인적으로는
와서 보는거야 괜찮지만 다른 곳에서 긁어가는 것은 꺼려진다. 방해받고 싶지 않은(?) 일상이 담겨진 곳이 아니던가. 생산적인 요소의 SNS보다 개인 일상이 담긴 SNS사이트라면, robots.txt의 설정을 통해 검색엔진에서 긁어가도록 나둘건지 막을건지를 고민해볼 필요가 있다.
참고로 아래는 미니블로그와 SNS사이트의 robots.txt 설정이다.

1. 미투데이 ( http://me2day.net/robots.txt )
# See http://www.robotstxt.org/wc/norobots.html for documentation on how to use the robots.txt file

2. 플레이톡 ( http://playtalk.net/robots.txt )
User-agent: *
Disallow: /

3. Twitter ( http://twitter.com/robots.txt )
비어있음. 검색로봇이 긁어갈 수 있음을 의미한다.

4. Jaiku ( http://ID.jaiku.com/robots.txt )
비어있음. 검색로봇이 긁어갈 수 있음을 의미한다.

5. 싸이월드 ( http://cyworld.nate.com/robots.txt )
User-agent: *
Disallow: /

6. MySpace ( 사용자가 비공개 설정 가능, http://www.myspace.com/robots.txt )
User-agent: ia_archiver
Disallow: /
internet archive 로봇의 방문은 제한하고 나머지는 허용하고 있다.

 

7. mixi (비공개 서비스, http://mixi.jp/robots.txt )