반응형 Crawling10 크롤링의 정의와 이점 그리고 주의할 점 크롤링이란 무수히 많은 컴퓨터에 분산 저장되어 있는 문서를 수집하여 검색 대상의 색인으로 포함시키는 기술을 의미하며, 스크래핑(Scraping) 이라고도 한다.쉽게 말하면 웹 페이지를 가져와서 그 안에서 데이터를 추출하는 기술이다.자동 입력, 파일 다운로드 기능도 가능하고, driver을 이용하면 동적인 크롤링을 할 수 있게 된다. 여기서 동적이라는 의미는, 코드에 의해 사이트를 옮겨다니거나 스크롤이나 클릭을 하여 웹 코드에 변동이 있더라도 데이터를 추출할 수 있게 되는 것이다. 크롤링을 할 때 주의할 점이 있다.웹사이트에서 크롤링봇 접근을 Disallow 하는 페이지는 크롤링을 해서는 안된다. 이는 처벌을 받을 수 있다.그렇다면 접근을 허용하는지에 대한 여부는 어떻게 확인할까?그것은 robots.txt.. 2020. 10. 22. 이전 1 2 다음
