본문 바로가기

메모리 부족10

2019년 6월 20일 주식 모의투자에서 나온 문제 안녕하세요? 지난번 포스팅에서 어떻게 예상치 못한 사고가 일어나서 그냥 프로그램이 종료가 되어 버렸는데, 문제는 이게 찾아보니 메모리 부족일 문제점이 제기되었습니다. 일단 너무 반복적인 작업을 하다보니 메모리가 부족해 졌다는 것인데, 실제로 그러한지 한번 알아보는 것이 이번 포스팅의 목적입니다. 먼저 언제나의 것처럼 10개의 종목에서 1분봉 차트를 가지고 오는 작업을 해 보도록 합니다. 일단 제가 잘 몰라서 윈도우 8.1에서 작업관리자를 통해서 메모리의 사용량을 모니터링 하고자 합니다. 일단 처음 시작했을 무렵에는 8기가 메모리 중에서 4.5기가가 사용 중인 것으로 나오고 있습니다. 1시간 정도 시간이 흐른 다음에는 위 스크린샷과 같이 메모리의 사용량이 이전보다 많아지는 것을 확인할 수 있었습니다. 같은.. 2019. 6. 21.
빅데이터(?)의 처리하는 방법-2- 안녕하세요? 지난번 포스팅부터 무언가 pandas의 데이터 프레임으로 처리를 할 수 없는 작업들-제 컴퓨터의 8기가 RAM으로도 메모리 에러라는 메모리 부족 현상때문에 처리할 수 없는 대량의 데이터-저는 이 정도면 사실상 빅데이터라고 하기 싶은데, 상대적으로 가정용으로 가지고 있는 조금은 구형인 PC에서는 처리할 수 없을 정도로 큰 데이터를 어떻게 처리할 수 있는지에 대해서 한번 들어가 보고자 합니다. 그래서 지난번에는 왜 인지 계속해서 numpy를 인식하지 못하는 가 했더니, 위 스크린샷에서 나와 있는 것처럼 stack overflow를 찾아 보니까, numpy를 업그레이드 시켜 주라는 이야기가 있었습니다. 그래서 pip install --upgrade numpy라고 입력해서 업그레이드를 시켜 보도록 .. 2019. 5. 7.