본문 바로가기

무모한 도전-주식 인공지능 만들기1651

첫 멀티 프로세스를 이용해서 나온 에러 안녕하세요? 이번 포스팅에서는 이제 멀티 프로세스를 이용해서 어떻게 결과를 얻는데 성공하기는 성공했으니, 이제는 이를 가지고서 테스트를 돌렸으니 발생한 에러에 대해서 한번 보고를 겸해서 포스팅을 올리고자 합니다. 일단 60분봉으로 평균과 표준편차를 내서, 위 스크린샷과 ㄱ같이 10분봉을 가지고서 모든 코스피 종목에 대해서 한번 초기 테스트를 수행한 결과, 8시간 53분이 걸린 이후에서야 제대로 결과가 나온 것을 확인할 수 있습니다. 먼저 위 스크린샷에서 볼 수 있는 것과 같이, 일단 10개의 폴더가 생성이 된 것 까지는 확인할 수 있기는 있었습니다. 이렇게 해서 보면, 그렇게 큰 문제는 없는 듯 합니다만........ 그래서 먼저 10배의 표준편차를 확정해서 나온 것에는, 위 스크린샷에서 볼 수 있는 것.. 2020. 3. 1.
이런저런 시도끝에 나온 결론 안녕하세요? 원래라면 지금까지 했는 결과를 가지고서 한번 구글 코랩에서 사용해 볼 계획이 있었습니다. 그런데 하다보니 이러저러한 시도를 해야 했는데, 시행착오가 많았고 그렇게 만족스럽지 않은 결론이 나오게 되었습니다. 아무튼 그 시행착오가 일어나는 과정을 한번 포스팅으로 올리고자 합니다. 먼저 시도를 해본것은 자식 프로세스에 일일히 환경을 지정해야 하는 문제가 있었기 때문에, 이 아나콘다 환경을 한번 내보내기를 해서 이 파일을 가지고 어떻게 조물딱 거릴까 생각을 했습니다. 그래서 그 첫 걸음으로 위 스크린샷에서 볼 수 있는 내용을 아나콘다 프롬프트에서 작업했습니다. 그런데 첫 시도에서는 제대로 나온 것이 맞는지 아닌지 알 수 없었습니다. 그래서 두번재 시도에서는 작업하려는 가상 환경의 이름을 집어넣어서 .. 2020. 2. 29.
멀티 프로세스를 이용한 병렬처리에 들어가 보기 -完- 안녕하세요? 이제야 말로 이 멀티 프로세스를 이용해서 한꺼번에 대량의 데이터를 처리하는 작업에 대해서 마무리를 지어야 할 시간인가 봅니다. 아무튼 간에 마지막으로 모든 내용을 올리고 어떻게 하면 안정적으로 테스트용 데이터 셋을 처리하는 데 시간이 걸렸는지에 대해서 한번 올려 보고자 합니다. 자식 프로세스의 안정적이며 효율적인 종료를 위해서 아예 exit(self)라는 메서드를 사용해 보도록 바꾸어 보았습니다. 이렇게 하면 종료까지 시간이 끌리지 않을 것이라 생각을 했습니다. 이렇게 해서 일단 위 스크린샷처럼 그런데로 종료가 나아져서 그나마 3개의 자식 프로세스가 유지가 되었습니다만, 그것도 시간이 더 있으니까 성공적으로 종료가 되었습니다. 결국 마지막으로 짧은 시간이 지나고 나서야, 위 스크린샷처럼 부모.. 2020. 2. 29.
멀티 프로세스를 이용한 병렬처리에 들어가 보기 -9- 안녕하세요? 지난번 포스팅에서 어떻게 부모 프로세스까지 자동으로 모든 작업이 다 완료가 되면 종료시키려고 했습니다만, 문제는 자식 프로세스가 다 종료되고 나서 이렇게 되는 것이 아니라, 먼저 종료가 되고, 자식 프로세스는 자식 프로세스대로 움직이는 문제가 나왔습니다. 그래서 일단 자식 프로세스에서 부모 프로세스로 정보를 전달하기 위해서, 위 스크린샷과 같이 sys.stdout.write라는 식으로 하나 만들어 보았습니다. 그리고 나서 원래의 부모 프로세스로 가서, 위 스크린샷처럼 일단 만들어 놓기는 놓아서, 읽어 오도록 해 봅니다. 이렇게 해서 정보를 가지고 오는데는 성공했느냐 하면........ 우선 10개의 자식 프로세스가 한껀번에 실행이 되는 것 까지는 확인을 할 수 있기는 있었습니다. 그런데 문제.. 2020. 2. 28.

티스토리툴바