1월의 마지막인 목요일에 모의 주식투자를 끝낸 결과-2-

안녕하세요?

지난번 포스팅에서 분봉차트에 -값이 있어서 생기는 에러가 있다는 언급을 하였습니다. 그래서 이번에는 이런 에러를 분봉차트를 가지고 오는 과정에서 없애고자 작업을 해서 에러를 없애고, 목요일 밤에 하려고 했지만, 못했는 작업들에 대해서 한번 진도를 나가고자 했습니다.

일단 2번째 강화학습이 구글 코랩에서 끝나기는 했습니다만, 이게 큰 의미가 있는가 하는 생각이 듭니다. 먼저 준비한 데이터 베이스의 자료가 엉망이 되었는데, 이걸 가지고 학습시킨 모델이 제대로 나올 지 의문입니다.

그래서 지난번 포스팅에서 int로 정수로 만들고 나면, 다음으로 abs로 절대값을 만드는 것 까지는 했었고, 그래서 이번에 새로 끌어들인 데이터 베이스에는 전혀 -값이 없다는 것을 알 수 있습니다. 이 데이터 베이스를 모두 1월 30일 데이터만 남기고 나머지는 삭제하도록 합니다.

일단 이전의 RLTrader를 실행시킨 다음에 백테스트에 들어가 보도록 합니다.

그렇게 해서 첫번째 모델은 수익이 여전히 안 나오는 것을 볼 수 있었습니다.

그리고 이어서 6개의 모델을 차례대로 백테스트를 해 보았습니다만, 뭐라고 해야 할까요? 이렇게 해도 수익이 나오는 경우는 없다는 것을 알 수 있었습니다.

다음으로 기존의 강화학습을 만들때 섰던 데이터 베이스를 봤더니, 역시나 -의 값이 있다는 것을 알수 있었습니다. 어쩐지 이것 때문에 10만원의 예수금을 넣었는데, 이게 어째서 인지 천만원까지 올라간 이유가 무엇인가 했더니, 그 이유가 여기 있다는 생각이 듭니다.

일단 기존의 모델은 모델이고, 지금은 분봉차트와 수집된 데이터를 바탕으로 백테스트를 한 결과를 비교해 보았습니다만, 손해가 조금 분봉차트에서 더 많이 나온 것 빼고는 그다지 큰 차이는 없다는 생각이 들었습니다.

아무튼 이번 작업이 수확은 없었지만, 그래도 이렇게 함으로써, 이제 제대로 된 데이터가 아닌 것으로 만들어 졌는 모델 파일을 모두 삭제하도록 하고, 제대로 된 데이터 베이스의 파일-1월 28일 부터 1월 31일까지의 4일간의 분봉차트를 가지고서 한번 강화학습에 들어가서 모델을 새로 만드는 작업에 들어가고자 합니다.

가장 먼저 할일은 이렇게 해서 얻었는 데이터 베이스 파일을 한번 구글 드라이브에 있는 폴더에 올려봐야 한다는 것 입니다. 그리고 나서 yellowoperation의 main.py를 수정하러 갑니다.

기존에 있던 데이터 베이스명을 모두 새로 만들어 놓은 데이터 베이스의 이름으로 다시 바꾸어 주도록 합니다. 이렇게 함으로서 main.py를 구글 드라이브에 올릴 준비는 모두 끝마쳤습니다.

이제 마이너스의 값이 없는 데이터 베이스의 파일로, 한번 제대로 강화학습에 들어가 보는 것을 시작해 보도록 합니다. 이건 얼마나 시간이 걸릴 것인지는 알 수 없습니다.

다음으로는 원숭이 투자자를 하는데, 지연보상 임계치를 0.001로 만들어서 0.1%일때, 원숭이 투자자는 어떤 차이를 보이는 지 궁금해서 한번 실험해 보고자 합니다.

그런데 여기서 하나 걸리는 것이 있습니다. 왜인지 모르게 할때마다 다른 결과가 나와야만 하는 것이 원숭이 투자자인데, 무슨 패턴이라도 있는 것인지, 위 스크린샷처럼 특정한 경우의 수를 가지고서 그냥 그대로 고정된 패턴을 따라하는 것을 보여주고 있습니다. 이래서야 상당히 골치아프다는 생각이 드는데, 이걸 무슨 수로 해석해야 할지 모르겠다는 생각이 들었습니다.