본문 바로가기

웹 크롤링12

웹 크롤링의 실습 -6- 안녕하세요? 이제서야 겨우겨우 실험노트의 정리가 끝이 나서, 본격적으로 포스팅을 해 볼까 했더니, 몸이 많이 지치고 있습니다. 아무튼 지친것은 지친거고, 오늘의 포스팅은 안할 수 없어서 하는 수 없이 이번에 무언가를 해 보아야 겠습니다. 일단 이 작업을 하기 위해서 포스팅을 올려 보고자 합니다. 일단 이렇게 해서 제대로 무언가를 가지고 올 수 있으며, 그 다음으로는 우선 적정가격을 가져올 수 있는지를 한번 실험해 보았습니다. 그렇게 해서, 일단 작업을 하기는 했는데, 제대로 가져올 수 있기는 커녕, 상황이 그리 좋지 못하다는 것을 확인할 수 있었습니다. 그래서 다음으로 시도한 것은 일단 기본적으로 제공이 되는 코드를 잡고서 한번 이걸 제대로 가져 올 수 있는지 아닌지 테스트를 하도록 합니다. 일단 이렇게.. 2022. 7. 30.
웹 크롤링의 실습 -5- 안녕하세요? 이래저래 무언가 정신이 없게 만드는 컨디션 때문에 작업이 잘 되지 않고 있기는 하지만, 그래도 어느정도 소기의 성과를 거두기는 해서, 이번 포스팅에서 관련된 내용을 넣어 보고자 합니다. 일단 하기 위해서는 먼저 밀려 있는 포스팅을 어느정도 마무리 해야 하면서도 동시에 실험노트도 정리하고 있는 중 입니다. 먼저 위 스클니샷에서 볼 수 있는 것처럼, 일단 특정한 문구를 가지고 있으면 쓸만한 것으로 판단을 해서, 여기서 if문으로 체크를 해 주도록 합니다. 이렇게 해서 일단 무언가 데이터를 가지고 오는 것 까지는 성공적으로 끝이 났습니다. 하지만 여기서 끝낼 수는 없는게, 일단 이 데이터를 저장할 수 있도록 해야 합니다. 이렇게 해서 일단 위 스크린샷에서 볼 수 있는 것처럼, 우선 종목명과 증권사.. 2022. 7. 29.
웹 크롤링의 실습 -3- 안녕하세요? 일단 한 단계까지 진행을 하였는 이 웹 크롤링에 대해서 한번 정리를 하고자 이 포스팅을 올리기 시작했는데, 아무튼 간에 이렇게 해서건 간에 정리를 정리대로 하고, 나머지 작업을 나머지 작업대로 해 봐야 겠다는 생각이 듭니다. 아무튼 이렇게 해서 하나하나 다른 기능을 배워 나가야 합니다. 먼저 결과를 정리하기 위해서 위 스크린샷과 같은 무언가를 만들어 놓고 나서, 한번 작업을 시작해 보도록 했습니다. 왜 이렇게 했느냐 하면................ 가장 상단에 있는 첫머리인데, 여기서는 다른 것이 아니라 항목의 이름이라고 할 수 있는 정보들이 나오는 것을 확인할 수 있었습니다. 그리고 나서 2번재 항목부터 무언가 증권사의 의견이라고 할 수 있는 내용이 나오는 것을 확인할 수 있었습니다. 이.. 2022. 7. 26.
웹 크롤링의 실습 -2- 안녕하세요? 일단 개인적인 일이 있어서 어떻게 진행이 정체되어 있는 가운데, 그래도 이미 했는 내용에 대해서 일단 포스팅이라도 올려 보고자 해서, 이번 포스팅을 준비하게 되었습니다. 일단 여기서 팍스넷에서 정보를 가지고 오는 것은 그렇게 까지 어렵지 않게 되겠지만, 다른데서 정보를 가지고 오는 것은 좀 어려울 지도 모르겠습니다. 먼저 request와 beutifulsoup를 통해서 가지고 온 결과입니다. 이렇게해서 어떤 웹사이트에 있는 결과든지 가져올 수 있기는 있습니다만, 다만 이 결과물을 바로 읽어서 해석하긴 매우 힘듧니다. 먼저 필요한 부분의 태그만 가지고 올 수 있도록 일단 위 스크린샷에서 보이는 부분을 가지고 오도록 합니다. 이렇게해서 보드 타입만 가지고 오면......... 일단 상당히 많은 .. 2022. 7. 26.