본문 바로가기

메모리 부족10

초기 테스터(initial tester)의 제작-47- 안녕하세요? 지난번에 일단 데이터를 시각화 해주는 곳에서 에러가 발생했다는 것을 언급했었는데요, 일단 먼저 생각한 것은 우선 주식 캔들 차트를 구성하는 데이터가 너무 많아서 메모리 부족이 일어난 것이 아닌가 하는 생각도 들었습니다. 일단 해결책은 생각외로 간단한 것이기는 했는데, 그걸 찾아가는 과정이 만만치 않았습니다. 그래서 먼저 plt라고 matplotlib을 가지고 온 것을 제거하는 작업을 먼저 실행해 주고자 했습니다. 다만 이걸로 결과가 어떻게 될지는 모르는데.......... 그런데 막상 실행을 시켜 보고 나니까, 상황이 그렇게 좋지는 않은 것을 확인할 수 있었습니다. 일단 위 스크린샷에서 한번 제거했더니, 다시 import시켜줘야 할 필요성이 있어 보입니다. 그래서 기존에 있던 import항목.. 2020. 2. 3.
초기 테스터(initial tester)의 제작-46- 안녕하세요? 지난번 포스팅에서는 어떻게 헛다리를 짚는 바람에 이래저래 힘이 빠지는 현상이 벌어지기는 했는데, 그건 그것이고, 아무튼 간에 계속해서 어디서 누수가 일어나는 지에 대해서 한번 잡아 보도록 해야 했습니다. 그래서 이번 포스팅에서는 그런데로 성공적인 방법이 나왔고, 그렇게 해서 잡은 메모리가 새어 나가는 지점에 대해서 이야기를 해 보고자 합니다. 이 작업을 위해서는 파이썬에 원래 내장되어 있는 모듈인 tracemalloc이라는 라이브러리를 먼저 import해서 가지고 와야할 필요성이 있습니다. 그리고 나서 위 스크린샷에서 볼 수 있는 것처럼 일단 self가 붙은 변수를 하나 만들어서 놓도록 하고, 다음 작업에 들어가 보기로 합니다. 그리고 나서 for문이 시작하는 지점에서 take_snapsho.. 2020. 2. 2.
초기 테스터(initial tester)의 제작-44- 안녕하세요? 원래라면 아마 완성을 눈앞에 두었겠지만, 다시 실전처럼 작업을 하려다가 예상치 못한 에러가 나오는 바람에 다시금 일련의 포스팅 시리즈가 이어지게 되었습니다. 일단 이번 에러는 메모리 오류를 수정하는 것이라고 할 수 있는데, 아무튼 간에 이번 포스팅에서는 어떻게 해서 오류를 인식하게 되었으며, 첫 시도를 올리고자 합니다. 먼저 작업을 하기 위해서 120개의 분봉에서 평균과 표준편차를 구한 다음, 여기서 나온 결과를 그냥 그대로 사용하는 룰을 한번 테스트 해 보기 위해서 먼저 코스피 전체를 돌려 보고자 합니다. 먼저 작업을 하기 위해서 10분봉을 가지고서 한번 작업을 해 보고자 합니다. 일단 이 작업 자체는 그렇게 크게 어려울 것이 지금으로써는 없어 보였습니다. 그런데 코스피 전체를 한번 가려고.. 2020. 2. 2.
뜻박의 복병인 메모리 부족을 만났습니다. 안녕하세요? 지난번 포스팅에서 어떻게 해서 데이터가 저장이 되지 않고 날려먹은 평균회귀 테스트에 대해서 포스팅을 했습니다. 그런데 문제가 다시 발생한 것이 있는데, 일단 평균회귀 테스트가 시간이 오래 걸려서 성공했고, 또 결과가 되는 파일도 많이 얻는데 성공했습니다. 하지만 이 텍스트 파일을 비교 분석하는 과정에서 문제가 생겨서, 그에 대해서 포스팅을 하도록 합니다. 먼저 위 스크린샷에서 볼 수 있는 것처럼 정말 긴 시간-18시간이나 걸려서 어떻게 1차 평균회귀 테스트가 코스피에서 끝난 것을 확인할 수 있었습니다. 그리고 생성된 txt파일을 한번 확인해 보니까, 제대로 내용이 있는 텍스트 파일로 생성이 된 것을 확인할 수 있기는 있었습니다. 그런데 중간에 제대로 데이터를 키움증권 서버로 부터 얻어오지 못.. 2019. 12. 9.