웹 크롤링의 실습 -11-

안녕하세요?

 

밀린 포스팅도 이것으로 4번 연속으로 올리는 것 같은데, 아무튼 밀렸어도 올려야 할 것은 올려야 하고, 그렇지 않은 것은 없습니다.아무튼 지난번 포스팅에서 어째서 한 페이지의 내용을 다 가져오지 못하는 지에 대해서 어떻게 해결을 하는 것으로 시작을 해 보겠습니다.

 

아무튼 이렇게 해서 어떻게 for loop를 2번 사용하는 것으로 해서, 작업을 진행할 수 있게 되었습니다. 이제 다음으로 진행을 하자고 하면..........

 

 

그리고 나서 해당하는 데이터는 위 스크린샷에서 볼 수 있는 것처럼 데이터 프레임의 형태로 나오게 되는데, 여기서 문제가 생겼다면 생겼습니다.

 

여기서 append를 사용하지 않아서 계속해서 축적이 되지 않아서 생기는 문제가 있었기 때문에 상황이 좋지 않았던 것 이었습니다. 이제 다음으로 진행을 하고자 합니다.

 

이제부터 노려야 하는 것은 페이지 한개가 아니라, 전체 게시판에 대해서 한번 이야기를 해 보아야 하기는 합니다. 먼저 이 작업을 하기 위해서, 다음과 같이 페이지의 맨 마지막을 보도록 합니다.

 

그리고 나서 페이지가 변할 때 마다 uri가 어떻게 변하는지 웹 주소를 비교해 보았습니다. 이 결과 해당하는 숫자가 변하는 부분이 나왔는데, 이를 바탕으로 해서 이제 다음 계획을 짜야 하는 상황이 되었습니다. 아무튼 이렇게 까지 했고, 다음 포스팅에서 페이지를 넘어가면서 데이터를 수집하는 것을 보여 드리고자 합니다.