멀티 프로세싱18 멀티 프로세스를 이용한 초기 테스트(initial test)를 하는 현장 -3- 안녕하세요? 드디어 평균과 표준편차를 이용한 초기 테스트의 내용도 마지막으로 올리는 포스팅이 왔습니다. 일단 이번 포스팅에서 마지막 조건을 동원해서 어떻게 초기 테스트를 했으며, 그 내용에 대해서 보고를 겸해서 포스팅을 올려 보고자 합니다. 그럼 시작하겠습니다. 먼저 위 스크린샷에서 보이는 것처럼 일단 코드를 30에서 10으로 변경해 주도록 합니다. 이렇게 하는 것으로 일단 준비는 되었습니다. 그리고 본격적인 초기 테스트에 들어가기 전에, 위 스크린샷에서 볼 수 있는 것처럼 우선 10분봉 데이터 베이스를 가지고 만들 수 있는 결과를 저장하기 위한 폴더를 만들어 봅니다. 그리고 나서 10분봉을 사용한 초기 테스트에 들어갔는데, 결과에 대해서 먼저 9시간이 넘게 걸린 것을 확인할 수 있기는 있었습니다. 그리.. 2020. 3. 6. 멀티 프로세스를 이용한 병렬처리에 들어가 보기 -完- 안녕하세요? 이제야 말로 이 멀티 프로세스를 이용해서 한꺼번에 대량의 데이터를 처리하는 작업에 대해서 마무리를 지어야 할 시간인가 봅니다. 아무튼 간에 마지막으로 모든 내용을 올리고 어떻게 하면 안정적으로 테스트용 데이터 셋을 처리하는 데 시간이 걸렸는지에 대해서 한번 올려 보고자 합니다. 자식 프로세스의 안정적이며 효율적인 종료를 위해서 아예 exit(self)라는 메서드를 사용해 보도록 바꾸어 보았습니다. 이렇게 하면 종료까지 시간이 끌리지 않을 것이라 생각을 했습니다. 이렇게 해서 일단 위 스크린샷처럼 그런데로 종료가 나아져서 그나마 3개의 자식 프로세스가 유지가 되었습니다만, 그것도 시간이 더 있으니까 성공적으로 종료가 되었습니다. 결국 마지막으로 짧은 시간이 지나고 나서야, 위 스크린샷처럼 부모.. 2020. 2. 29. 멀티 프로세스를 이용한 병렬처리에 들어가 보기 -9- 안녕하세요? 지난번 포스팅에서 어떻게 부모 프로세스까지 자동으로 모든 작업이 다 완료가 되면 종료시키려고 했습니다만, 문제는 자식 프로세스가 다 종료되고 나서 이렇게 되는 것이 아니라, 먼저 종료가 되고, 자식 프로세스는 자식 프로세스대로 움직이는 문제가 나왔습니다. 그래서 일단 자식 프로세스에서 부모 프로세스로 정보를 전달하기 위해서, 위 스크린샷과 같이 sys.stdout.write라는 식으로 하나 만들어 보았습니다. 그리고 나서 원래의 부모 프로세스로 가서, 위 스크린샷처럼 일단 만들어 놓기는 놓아서, 읽어 오도록 해 봅니다. 이렇게 해서 정보를 가지고 오는데는 성공했느냐 하면........ 우선 10개의 자식 프로세스가 한껀번에 실행이 되는 것 까지는 확인을 할 수 있기는 있었습니다. 그런데 문제.. 2020. 2. 28. 멀티 프로세스를 이용한 병렬처리에 들어가 보기 -6- 안녕하세요? 이번 포스팅에서는 이제 멀티 프로세싱이 되고, 정보를 전달하는 것이 어느정도 되기 때문에, 다음으로 해야 할일은 제대로 테스트를 해서 결과를 알아보는 일이라고 생각을 했습니다. 그래서 한번 더 정비를 해서, 테스트 데이터 셋을 가지고서 한번 결과를 내어 보고자 합니다. 먼저 이 작업을 하기 위해서는 몇번째 for루프에서 작동이 된 QProcess인지 알아보는 것이 중요하기는 중요합니다. 그래서 먼저 기존의 py파일에다가 변형을 가해주도록 합니다. 그리고 이 작업을 하기 위해서 위 스크린샷에서 볼 수 있는 것과 같이 rolling에다가 기존에 있던 120에서 60으로 줄여서 작업을 하도록 해 보았습니다. 그리고 나서 시각화를 해주는 곳으로 가서는, 위 스크린샷에서 볼 수 있는 것처럼 일단 새로.. 2020. 2. 27. 이전 1 2 3 4 5 다음
