Ray를 사용하는 작업에 들어가 보기 -7-

안녕하세요?

 

이번 포스팅에서는 어떻게 지난번 포스팅에서 제대로 되지 않은 문제인 한번에 2개의 프로세스만 실행이 되는 현상을 어떻게 해결하기 위해서, 무언가를 해 보도록 했습니다. 그리고 나서 제대로 된 시간을 얻었지만, 그 결과가 만족스럽지만은 않았습니다.

 

먼저 위 스크린샷에서 보이는 것과 같이, 일단 ray.init()에서 num_cpus를 원래는 12개만 해야 하는데 실수로 24개로 지정하였습니다.

 

그리고 나서 다음으로 볼 수 있는 것으로 실행 터미널을 보면, 한번에 12개나 되는 프로세스가 실행이 되는 것을 확인할 수 있었습니다. 이렇게 해서 일단 문제는 해결이 된 것으로 보입니다.

 

잠시 시간을 기다렸더니, 결과를 저장할 폴더에 하위 폴더가 하나씩 생성이 되는 것을 확인할 수 있기는 있었습니다. 이렇게 해서 이제 다음 작업에 들어가야 합니다.

 

 

계속해서 작업을  해서 어덯게 5번 폴더에 작업이 제대로 마무리가 되지 않은 것을 빼면, 어떻게 마무리가 되었는데, 일단 한번 보도록 합니다.

 

시간이 34분 걸린 것을 확인할 수 있었습니다. 이래서야 제가 기대했던 것에 비해서는 시간이 너무 긴데, 어떻게 다른 무언가를 취해야 할듯 합니다.

 

다음 작업으로는 subprocess가 속도가 느려지게 된 원인이라는 생각이 들어서, 한번 다른 방법으로 작동시키기 위해서 이번에는 위 스클니샷에서 볼 수 있는 것처럼 새로운 py파일을 만들어 보도록 했습니다.

 

일단 의도대로 cpu갯수는 12개라고 해서 일단 제 의도대로 코어 갯수랄까 병렬 프로세스의 갯수를 만들어 주도록 합니다.

 

그리고 나서 자식 프로세스도 너무 많은 것을 고쳐야 하기 때문에, 위 스크린샷에서 볼 수 있는 것처럼 일단 복제해서 2번재로 이름을 명명해 줍니다.

 

그리고 나서 일단 subprocess를 사용하지 않을 것이기 때문에, 위 스크린샷에서 볼 수 있는 것처럼 우선 2번째 작업을 해 주도록 합니다. 일단 복제한 py파일을 가지고 오도록 하는 것은 좋았는데, 아무튼 간에 이렇게 해서 기초 작업은 끝나기는 끝이 났습니다. 이제 다음으로 해야 할 것으로는 이런 시도가 어떤 결과를 보는지 알아보는 것 입니다.