본문 바로가기

무모한 도전-주식 인공지능 만들기1651

밍기적 거리는 크롤링 시작 안녕하세요? 이제서야 Yukkuri Run의 업데이트가 승인이 되어서 어떻게 나오기는 했습니다만, 문제는 그 와중에 다른 진도를 나가기 위해서 일단 주식 인공지능의 기초가 될 이 크롤링을 하려고 했습니다만, 이래저래 집중이 되지 않아서 영 진도가 나가지 못하고 있는 중 입니다. 전자 연구노트인 구노인데, 문제는 이걸 사용한다고 해도, 너무 새로운게 되어서 인가요? 아직도 이걸 어떻게 사용해야 할지 영 감을 잡지 못하고 있습니다. 결국 이거가지고 신경쓰다가 이래저래 아무것도 못 했습니다. 결국 크롤링을 해도 되는지 안되는지를 알아보기 위해서 robot.txt를 가지고 한번 알아봐야 하는데, 그 방법을 실습해 보았습니다. 일단 방법은 간단하게도, 주소끝에 robots.txt를 입력해 보는 것 입니다. 결국 .. 2022. 7. 24.
드디어 시작한 웹 크롤링 첫걸음 -4- 안녕하세요? 이번 포스팅에서는 다른것이 아니라, 일단 이번 웹 크롤링의 첫 걸음을 어떻게 해서 다 떼기는 했지만, 그런다고 해서 크롤링의 고수가 된 것은 절대 아니고, 겨우 시작을 했을 뿐 입니다. 일단 관련된 내용을 블로그에 포스팅 하고, 이제 이래저래 다루어 보면서 하나하나 익혀야 하기는 합니다. 일단 if문을 붙여 주는 것으로, 저 변수에 내용이 None인 경우에 한해서 그냥 패스하도록 설계를 하기는 했습니다. 이제 이렇게 하였으니, 다음으로 넘어가 봅니다. 다음으로 간 것은, 바로 위 슼르니샷에서 볼 수 있는 것처럼 에러가 없이 제대로 실행되고 종료가 되는 상황이 나왔습니다. 이제 다음으로 가 보도록 합니다. 그래도 에러가 나서 무엇이 문제인지 봤더니, 위 스크린샷에서 보이는 것처럼 아예 공백으로.. 2022. 4. 13.
드디어 시작한 웹 크롤링 첫걸음 -3- 안녕하세요? 이번 포스팅에서는 지난번 포스팅에서 발생하면 안되는 예제의 에러를 보고서 한번 작업을 이어서, 이 오류를 수정하고 나서 움직여 보고자 합니다. 일단 이 작업을 하기 위해서는 이래저래 모르는 것도 많았습니다만, 그래도 달달 책을 외우기만 해서는 이게 안될 일이기는 합니다. ㅇ리단 어떻게 하였나 하면, 바로 list_news2 라는 태그가 과거의 웹페이지 - 다음 뉴스 페이지에서는 있었습니다만, 지금의 웹 페이지에서는 없어서 생기는 문제입니다. 그래서 list_newsissue라고 태그를 바꾸어 주었더니, 이렇게 그럭저럭 쓸만한 내용으로 나오는 것을 확인할 수 있기는 있었습니다. 그리고 나서 위 스크린샷에서 보이는 것처럼 3줄의 코드를 추가하는 방법을 통해서 이번에도 어떻게 먹히는지 아닌지에 대.. 2022. 4. 13.
드디어 시작한 웹 크롤링 첫걸음 -2- 안녕하세요? 이번 포스팅에서는 다른것이 아니라, 일단은 지난번 포스팅에 이어서 한번 작업을 해 보고자 합니다. 우선 해야 할 것으로는 계속해서 예제에 있는 코드는 Ipython 환경에서 사용했는데, 저 처럼 파이참에서 사용하기 위해서는 조금 해야 할 것이 많이 있습니다. 그리고 나서 일단 다음으로 있어야 하는 코드를 붙여넣어 보도록 했습니다. 이런 상황에서 다시 실행을 해서 에러가 나오는지 아닌지 보도록 합니다. 그리고 나서 다음으로 진행을 하고자 했는 것이 있는데, 바로 위 스크린샷에서 볼 수 있는 것과 같이, 일단 여기까지는 에러없이 제대로 실행이 됩니다. 그리고 나서 다음으로 진행을 하고자 하는 것으로, 역시나 위 슼르니샷에서 볼 수 있는 것처럼, 일단 새로운 코드를 덧 씌워서 계속 시도해 보도록 .. 2022. 4. 13.