본문 바로가기

파이썬1297

평균회귀 모델의 적용 - 2019년 5월 7일 주식시장 안녕하세요? 이번 포스팅에서는 어제 하루종일 주식시장에 제 평균회귀 모델을 적용한 결과를 포스팅 하고자 하는데, 일단 하시는 분은 아시겠지만, 어제는 주식시장이 시작하자 마자 1%의 급락이 있었고, 이 때문에 평균회귀 모델을 적용하는데 정말인지 안 맞는 상황이 이어졌습니다. 먼저 5월 3일의 결과를 한번 분석해 보았는데, 일단 위 스크린샷에서 보이는 것처럼 실현속익이라는 HTS인 영웅문4의 윈도우를 보면, 그날 하루종일 얼마나 손실을 입었는지를 알 수 있습니다. 일단 손실이 나기는 했습니다. 그래서 엑셀로 결과를 정리해 보았더니, 일단 차액으로 이익을 본 경우나 손실을 본 경우나 거의 막상막하라는 것을 볼 수 있습니다. 거기다가 수수료와 세금을 제외하니 실제로 이익이 난 경우는 40번 중에서 1번밖에 없.. 2019. 5. 8.
빅데이터(?)의 처리하는 방법-3- 안녕하세요? 이번 포스팅에서는 예상치 못하게 그냥 parquet(파케이)형식으로 데이터를 저장한다고 시도를 하다 보니, pyarrow라는 모듈이 필요하다고 나오는 것을 확인할 수 있었습니다. 일단 이게 무엇인지 인터넷을 검색해 보니까, 위 스크린샷과 같이 볼 수 있는데, 일단 저로서는 정확하게 이게 무엇을 하는 라이브러리인지는 잘 모르겠습니다. 하지만, 이게 dask의 데이터프레임을 파케이형식의 파일에 저장하기 위해서는 필요한 라이브러리라는 것 까진 알 수 있었습니다. 그래서 먼저 아나콘다 프롬프트를 실행시킨 다음에, 위 스크린샷에서 나오는 것처럼 conda install pyarrow -c conda -forge라는 명령어를 써서 기존의 환경에 설치를 하도록 합니다. 그런데 오타를 내서 한번 conda.. 2019. 5. 7.
빅데이터(?)의 처리하는 방법-2- 안녕하세요? 지난번 포스팅부터 무언가 pandas의 데이터 프레임으로 처리를 할 수 없는 작업들-제 컴퓨터의 8기가 RAM으로도 메모리 에러라는 메모리 부족 현상때문에 처리할 수 없는 대량의 데이터-저는 이 정도면 사실상 빅데이터라고 하기 싶은데, 상대적으로 가정용으로 가지고 있는 조금은 구형인 PC에서는 처리할 수 없을 정도로 큰 데이터를 어떻게 처리할 수 있는지에 대해서 한번 들어가 보고자 합니다. 그래서 지난번에는 왜 인지 계속해서 numpy를 인식하지 못하는 가 했더니, 위 스크린샷에서 나와 있는 것처럼 stack overflow를 찾아 보니까, numpy를 업그레이드 시켜 주라는 이야기가 있었습니다. 그래서 pip install --upgrade numpy라고 입력해서 업그레이드를 시켜 보도록 .. 2019. 5. 7.
빅데이터(?)의 처리하는 방법 안녕하세요? 제목에서 약간 어색하게 적기는 했지만, 어쨎든 간에 제 컴퓨터의 8기가 짜리 RAM으로 도저히 다 처리할 수 없어서 메모리 에러(memoryError)이 일어난 케이스이니까, 제 컴퓨터에 한해서는 정말 크기는 큰 데이터를 어떻게 처리해야 할 필요성은 있습니다. 그래서 이번 포스팅부터 일련의 과정은 이 에러를 처리하기 위한 과정입니다. 먼저 이 문제를 해결하기 위해서 한번 데이터를 모아본 결과, dask의 dataframe이 용량을 줄여 주어서 문제를 해결할 수 있다고 합니다. 그래서 먼저 위 스크린샷처럼 conda install dask라고 아나콘다 프롬프트에서 입력해 보도록 합니다. 좀 설치에 시간이 걸리기는 걸렸습니다. 그래서 이렇게 시간이 걸린 다음에, 기존의 환경에 어떻게 설치가 되기.. 2019. 5. 6.

티스토리툴바