본문 바로가기

병렬처리46

Ray를 사용하는 작업에 들어가 보기 -6- 안녕하세요? 지난번 포스팅까지는 어떻게 해서 이 구름 IDE에서 ray라는 패키지를 사용하는 것을 보여드렸습니다만, 그래도 이건 어디까지나 연습 코드에서 성공이지, 이제부터 슬슬 실전코드에 들어가야 할 타이밍이 되어 오고 있습니다. 일단 이 작업을 하기 위해서, 하나하나 집어넣어서 시도를 해 보았습니다. 일단 다른 것은 어려움이 없었는데, 위 스클니샷과 같이 ray.get()이 반드시 필수이긴 했습니다. 왜냐하면 이걸 하지 않으면 각각의 병렬 프로세스가 다 끝나지도 않았는데 바로 종료가 되는 현상이 벌어진 것 입니다. 이렇게 해서 일단 실행을 시키니, 위 스크린샷에서 볼 수 있는 것처럼, 우선 자식 프로세스가 실행이 되는 것을 확인할 수 있기는 있었습니다. 무언가가 에러가 난 듯 하지만, 그걸 무시하고 .. 2020. 7. 23.
Ray를 사용하는 작업에 들어가 보기 -5- 안녕하세요? 이번 포스팅에서는 계속 지난번 포스팅의 작은 성공에 이어서, 이번에는 class형식으로 만들어서 이런 에러가 발생한 것인 아닌지 알아보기 위한 작업에 들어가 보도록 합니다. 일단 이런 것을 확인하기 위해서는 이래저래 지난번 포스팅에서 만든 새 컨테이너에서 계속해서 작업을 해야 했습니다. 일단 먼저 작업을 한 것은 기존의 코드를 아예 한개의 클래스 안에 들어가 있는 것으로 만들어 보았습니다. 이렇게 해서 다음의 작업을 하도록 합니다. 그리고 나서 다른 def가 붙은 메서드를 통해서 한번 여기서 어덯게 해서 remote라는 함수를 사용해서 어떻게 작업을 하도록 해 봅니다. 그런데 어떻게 된 것인지 제대로 작동을 안하는 것을 확인할 수 있엇씁니다. 일단 어디가 잘못된 것인지 알아보기 위한 작업에 .. 2020. 7. 22.
Ray를 사용하는 작업에 들어가 보기 -4- 안녕하세요? 지난번 포스팅까지 계속해서 우왕좌왕하는 모습만 보였는데, 일단 한꺼번에 무언가를 넘어가는 것은 무리라는 생각이 들었고, 이를 해결하기 위해서는 우선 이를 해결하기 위해서 가장 기본이 되는 코드를 가지고 와서 익혀보는 것을 시작해 보고자 했습니다. 이 작업을 하기 위해서, 먼저 구름 IDE에서 새로운 컨테이너를 하나 만들어 보도록 했습니다. 이 컨테이너는 순전히 실습용으로 만들어진 것 입니다. 그리고 나서 다음으로 진행하기 위해서 위 스크린샷과 같은 코드를 만들어 놓았습니다. 일단 리눅스 환경에서는 if __name__이 없어도 실행이 되어서 이점은 그런데로 편하기는 편했습니다. 다음으로는 위 스크린샷에서 볼 수 있는 것처럼, 어째서 인지 모르겠습니다만, 제대로 실행이 되지 않을 것 같으면서도.. 2020. 7. 22.
Ray를 사용하는 작업에 들어가 보기 -3- 안녕하세요? 지난번 포스팅에서 어떻게 ray를 사용할 수 있도록 가지가지 노력을 해 보기는 보았습니다만, 이게 시원찮은 결과만을 만들고 말았습니다. 그래도 어디가 문제인지 알 수 있었지만, 이걸 알고나니, 우회로로 빠지는 것을 안할 수 없기는 없게 되었습니다. 아무튼 이래저래 새로운 도구하나 더 쓰자고 고생이 많아 졌습니다. 결국 psutil을 가지고서 한번 setproctitle을 설치하려고 시도를 해 보기는 보았습니다만, 이것도 여의치 않은 것을 확인할 수 있었습니다. 일단 이래저래 자료를 찾아보니까, whl로 가지고서 이걸 설치하라는 이야기가 가장 많이 확인할 수 있었습니다. 이걸 적용해 본들 결과는 실패였습니다. 그러던 중에 윈도우를 위해서 일단 파이썬 패키지중에 확장 버젼이 있다는 링크를 발견하.. 2020. 7. 22.

티스토리툴바