본문 바로가기
무모한 도전-주식 인공지능 만들기

웹 크롤링의 실습 -11-

by 인터넷떠돌이 2022. 8. 1.
반응형

안녕하세요?

 

밀린 포스팅도 이것으로 4번 연속으로 올리는 것 같은데, 아무튼 밀렸어도 올려야 할 것은 올려야 하고, 그렇지 않은 것은 없습니다.아무튼 지난번 포스팅에서 어째서 한 페이지의 내용을 다 가져오지 못하는 지에 대해서 어떻게 해결을 하는 것으로 시작을 해 보겠습니다.

 

아무튼 이렇게 해서 어떻게 for loop를 2번 사용하는 것으로 해서, 작업을 진행할 수 있게 되었습니다. 이제 다음으로 진행을 하자고 하면..........

 

 

그리고 나서 해당하는 데이터는 위 스크린샷에서 볼 수 있는 것처럼 데이터 프레임의 형태로 나오게 되는데, 여기서 문제가 생겼다면 생겼습니다.

 

여기서 append를 사용하지 않아서 계속해서 축적이 되지 않아서 생기는 문제가 있었기 때문에 상황이 좋지 않았던 것 이었습니다. 이제 다음으로 진행을 하고자 합니다.

 

이제부터 노려야 하는 것은 페이지 한개가 아니라, 전체 게시판에 대해서 한번 이야기를 해 보아야 하기는 합니다. 먼저 이 작업을 하기 위해서, 다음과 같이 페이지의 맨 마지막을 보도록 합니다.

 

그리고 나서 페이지가 변할 때 마다 uri가 어떻게 변하는지 웹 주소를 비교해 보았습니다. 이 결과 해당하는 숫자가 변하는 부분이 나왔는데, 이를 바탕으로 해서 이제 다음 계획을 짜야 하는 상황이 되었습니다. 아무튼 이렇게 까지 했고, 다음 포스팅에서 페이지를 넘어가면서 데이터를 수집하는 것을 보여 드리고자 합니다.

반응형

'무모한 도전-주식 인공지능 만들기' 카테고리의 다른 글

웹 크롤링의 실습 -12-  (0) 2022.08.01
웹 크롤링의 실습 -11-  (0) 2022.08.01
웹 크롤링의 실습 -10-  (0) 2022.08.01
웹 크롤링의 실습 -9-  (0) 2022.08.01
웹 크롤링의 실습 -8-  (0) 2022.08.01
웹 크롤링의 실습 -7-  (0) 2022.07.31

댓글0