웹서버 검색엔진 봇 접근 제한하기 (Robot.txt)
웹서버 검색엔진 봇 접근 제한하기 (Robot.txt) 검색봇 이라는것은 스파이더 (spider) 혹은 크롤러 (crawler) 라고 불리우며 웹사이트의 모든 내용을 읽는 역활을 한다. 자신들의 검색능력과 정확한 색인을 업데이트 하여 사용자들에게 정확하고 신뢰할수 있는 검색정보를 제공하고자 함인데 물론 웹사이트 주인 입장에서는 자신의 웹사이트가 검색엔진에 노출이 되고 많은 방문자가 늘어 날 수 있으므로 좋은 기회이며 좋은 현상이라고 할수 있으나 검색봇은 때때로 아래와 같은 단점이 있다. 검색봇 문제점 1. 웹사이트를 항시 크롤링 하며 모든 정보를 READ 하기 때문에 네트워크나 부하적인 측면에서 웹서버의 부하를 야기 시킬수 있다. 2. 보안이 되지 않는 개인정보들은 검색엔진에 노출될수 있다. (전화번호,..
WEB
2015. 6. 9. 09:35
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- centos8
- ssh
- 인증서
- WAF
- NGINX
- php
- yum
- ntp
- iptables
- OpenVPN
- softether
- cURL
- gitlab
- 리눅스
- galera
- L2TP
- 베이어다이나믹
- mariadb
- HAProxy
- pptp
- Apache
- glusterfs
- centOS7
- kvm
- SSL
- GeoIP
- MySQL
- virtualbox
- mod_security
- IPSEC
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
글 보관함