본문 바로가기

병렬처리46

Ray를 사용하는 작업에 들어가 보기 -10- 안녕하세요? 이번 포스팅에서는 어떻게 해서 24개의 프로세스를 동시에 구름 IDE에서 ray를 사용해서 돌려 보기 위해서, 한번 작업에 들어가 보도록 하겠습니다. 그런데 이런 시도가 일단 다 100% 성공하는 것도 아니기는 아니라서, 이번 포스팅에서는 아마도 절반만 성공한 기록이 될 듯 합니다. 일단 이 작벙르 하기 위해서 메모리가 지속적으로 치솟는 것을 방지하기 위해서, gc.collect()라는 것을 가지고 오도록 합니다. 이렇게 해서 가지고 와서, 다음의 작업에 사용해 보도록 합니다. 그리고 나서 너무나 속도가 느려지는 감이 있어서 60%를 넘게 메모리가 사용되면, 자동으로 메모리를 확보하는 명령어를 사용해 보도록 합니다. 그런데 이렇게 하고서도, 상황이 해결이 되지 않은 것이, 일단 속도는 빨라진.. 2020. 7. 24.
Ray를 사용하는 작업에 들어가 보기 -9- 안녕하세요? 이 포스팅 시리즈도 상당히 많이 진행이 된 것 같은데, 아무튼 간에 이렇게 해서 이걸 가지고서 한번 작업을 하기 위해서는 계속해서 오류를 수정해서 다음 작업에 들어가야 하는 상황이 나옵니다. 아무튼 일단 어떻게 초기에 소기의 성공을 거두고, 이후에 이어진 오류에 대해서 추가로 올려 보도록 하겠습니다. 먼저 작업을 원할하게 하기 위해서, 일단 CPU의 갯수를 24개로 늘려 보도록 합니다. 이렇게 해서 다음의 작업을 해야 하기는 합니다. 그런데 계속해서 무언가가 제대로 되지 않아서, 어디가 문제인가 했더니, subprocess일때 작동을 하였는 바로 이 타이머가 문제였습니다. 그래서 타이머를 제거했습니다. 그리고 나서 일단 실행을 시키기는 시켰습니다. 일단 이렇게 해서 여기서는 제대로 된 결과가.. 2020. 7. 23.
Ray를 사용하는 작업에 들어가 보기 -8- 안녕하세요? 일단 지난번 포스팅에서 subprocess를 배제하고 어떻게 작업을 해 보고자 했습니다. 일단 이 작업을 하기 위해서 가지가가지 작업을 했습니다만, 그래도 아직 다 들어가지는 않았습니다. 그래서 이번 포스팅에서 본격적으로 들어가 보고자 합니다. 일단 여기서는 위 스크린샷에서 볼 수 있는 것처럼, 우선 가지고 왔는 py파일의 클래스를 인스턴스화라고 해야 할까요? 실행을 시키는데, 여기다가 데이터를 넣어 주도록 합니다. 그리고 나서 데이터를 받을 수 있도록 위 스크린샷과 같은 처리를 해 주어서 일단 실행에 들어가 보고자 했습니다. 그런데 문제가 나왔습니다. 무언가가 제대로 실행이 되지 않아서, 하는 수 없이 자식 프로세스에서 한번 실행을 시키기 위한 인스턴스화를 시키면서 지정이 된 데이터를 집어.. 2020. 7. 23.
Ray를 사용하는 작업에 들어가 보기 -7- 안녕하세요? 이번 포스팅에서는 어떻게 지난번 포스팅에서 제대로 되지 않은 문제인 한번에 2개의 프로세스만 실행이 되는 현상을 어떻게 해결하기 위해서, 무언가를 해 보도록 했습니다. 그리고 나서 제대로 된 시간을 얻었지만, 그 결과가 만족스럽지만은 않았습니다. 먼저 위 스크린샷에서 보이는 것과 같이, 일단 ray.init()에서 num_cpus를 원래는 12개만 해야 하는데 실수로 24개로 지정하였습니다. 그리고 나서 다음으로 볼 수 있는 것으로 실행 터미널을 보면, 한번에 12개나 되는 프로세스가 실행이 되는 것을 확인할 수 있었습니다. 이렇게 해서 일단 문제는 해결이 된 것으로 보입니다. 잠시 시간을 기다렸더니, 결과를 저장할 폴더에 하위 폴더가 하나씩 생성이 되는 것을 확인할 수 있기는 있었습니다. .. 2020. 7. 23.

티스토리툴바