크롤링(crawling) 혹은 스크레이핑(scraping)

당하는 입장에서는 짜증나는 기술 사용하는 입장에서는 정말 편한 기술을 소개 합니다.

크롤링(crawling) 혹은 스크레이핑(scraping)

왜 짜증나냐면 영상에서 보시면 아시겠지만 광고전화번호를 추출하는 프로그램으로 사용할 수 있기 때문입니다.

디케이 오브젝트를 운영하며 카페등을 가입하며 SNS 에 대한 정보를 얻고자 여러 군데 가입을 했더니

그렇게 그렇게 광고 전화가 옵니다. 제길~~

 

 

1. 크롤링(crawling) 이란?

---

- 스크레이핑(scraping) 이라고도 합니다.

- 웹 상의 다양한 정보를 자동으로 검색하고 색인하기 위해 사용

- 사람들이 일일이 해당 사이트의 정보를 검색하는 것이 아니라 컴퓨터 프로그램의 미리 입력된 방식에 따라 끊임없이 새로운 웹 페이지를 찾아 종합하고 결과를 이용해 또 새로운 정보를 찾아 색인을 추가하는 작업을 반복 수행

- 방대한 자료를 검색하는 특징은 있으나 로봇의 검색 기능을 역이용하여 순위를 조작하거나 검색을 피할 수 있는 단점도 있다.

 

2. 사용목적

---

- 엄청난 분량의 자료를 사람이 일일이 구별해서 모으는 일은 불가능 하지만 이를 자동으로 수행 할 수 있기 때문에 유용한 기술입니다.

 

3. 하지만

---

광고성 정보 추출용으로 많은 이들이 사용합니다.

업체에서 만들어서 팔기도 하구요.

그런데 크롤링으로 정보을 추출해서 배포시에는 법적 문제가 됩니다.

예를 들면, 전화번호를 추출은 성공은 했는데 광고성 연락 수신 동의 여부도 없이 광고 전화를 했을 경우에는 문제가 되죠(?) 그래서 잘 못 걸린 전화 인 척 하는 겁니다. (연기하는거 티 다 납니다. 짜증도 나고요)