RAY25 ray를 사용한 우회로를 개척해 보기 -2- 안녕하세요? 지난번 포스팅에서 어떻게 무언가를 시도하기는 했습니다만, 문제는 ray.init()를 한번만 해야 한다는 룰 때문에 무언가가 잘 안되기는 안 되었습니다. 일단 이 문제를 어떻게 해서든 우회해서라도 무언가를 하기 위해서, 가지가지 시도를 해 보는 것이 이 일련의 시리즈에서 일어나는 과정입니다. 그래서 일단 처음에는 부모 프로세스에서 ray.init()를 지정해 주고자 했습니다. 이렇게 함으로써, 상황이 조금은 더 나아지리라 생각을 하기는 했습니다. 그런데 이번에는 ray.init()를 하지 않았는 식으로 나오는 것을 확인할 수 있었습니다. 일단 이런 문제로 인해서 이걸 어떻게 해야 할지 모르겠는데, 어쨎든 해결을 하기 위해서, 이번에는 몇번째인지 모를 부모 프로세스의 py파일을 만들어서 한번 .. 2020. 7. 25. ray를 사용한 우회로를 개척해 보기 -1- 안녕하세요? 일단 지금 12시간씩 걸리는 방식으로 메인이 되는 데스크톱에서는 데이터를 계산하고 있는 중이고, 이런 와중에 한번 파이썬에서 ray를 사용하는 방식이 잘못 사용하고 있는 것이 아닌가 하는 생각이 들어서, 이걸 일단 한개의 multiprocess든 이렇게 만든 다음에, 여기서 주식 종목별로 계산을 하나하나 나누어서 하는 것으로 하나의 프로세스를 처리해 보고자 합니다. 이 작업을 하기 위해서, 일단 위 스크린샷처럼 자식 프로세스로 사용이 되는 child process의 py파일을 3번째로 만들어 주도록 합니다. 그리고 나서 다음으로 일단 인스턴스화를 시키는 py파일을 2에서 3으로 변경을 시켜 주도록 해서, 새로운 시도를 한번 해 보도록 합니다. 일단 init에서 ray를 시작하라는 명령을 일단.. 2020. 7. 25. Ray를 사용하는 작업에 들어가 보기 -Done- 안녕하세요? 지난번 포스팅에 이어서 슬슬 이 ray를 가지고 하는 작업에 너무 많은 시간이 투자 된다는 생각이 들어서, 이제는 여기서 슬슬 결론을 내고 다음 작업에 들어가 봐야 겠다는 생각이 들었습니다. 그래서 이번 포스팅에서 일단 ray를 이용하는 작업을 마무리 짓고서, 다음 작업에 들어가서 어떻게 무언가를 하는 내용을 올려 보고자 합니다. 그리고 나서 당연하다면 당연하게도, 일단 자식 프로세스가 받은 데이터의 내용이 달라졌기 때문에, 이에 맞춰서 코드도 변형을 시켜 주어야 했습니다. 그런데 또 에러가 나왔습니다. 여기서 나온 에러는 다른 것이 아니라, 일단 int로 나와야 하는 값이 왜 str형식으로 왔느냐고 하는 것 입니다. 그리고 나서 다음르로 해야 하는 것으로는 당연하다면 당연하게도 str형식으.. 2020. 7. 24. Ray를 사용하는 작업에 들어가 보기 -10- 안녕하세요? 이번 포스팅에서는 어떻게 해서 24개의 프로세스를 동시에 구름 IDE에서 ray를 사용해서 돌려 보기 위해서, 한번 작업에 들어가 보도록 하겠습니다. 그런데 이런 시도가 일단 다 100% 성공하는 것도 아니기는 아니라서, 이번 포스팅에서는 아마도 절반만 성공한 기록이 될 듯 합니다. 일단 이 작벙르 하기 위해서 메모리가 지속적으로 치솟는 것을 방지하기 위해서, gc.collect()라는 것을 가지고 오도록 합니다. 이렇게 해서 가지고 와서, 다음의 작업에 사용해 보도록 합니다. 그리고 나서 너무나 속도가 느려지는 감이 있어서 60%를 넘게 메모리가 사용되면, 자동으로 메모리를 확보하는 명령어를 사용해 보도록 합니다. 그런데 이렇게 하고서도, 상황이 해결이 되지 않은 것이, 일단 속도는 빨라진.. 2020. 7. 24. 이전 1 2 3 4 5 6 7 다음
