트러스제7호 종목으로 수익모델을 찾기위한 여정-2-

안녕하세요?

새로운 방법으로 찾아낸 성신양화의 우선주에서는 그다지 좋은 소식이 들여오지 않는 와중이기는 합니다만, 그래도 계속해서 트러스제7호라는 펀드의 주식으로 12%의 수익 이상을 얻기 위해서 한번 계속해서 강화학습을 하였으며, 여기서 나온 강화학습 모델을 백테스트 해서 그 결과를 올리고자 합니다.

먼저 위 스크린샷과 같이 일련의 강화학습을 완료해서 6개의 모델까지 얻는데 성공을 했습니다. 구글 드라이브에서 다운로드 받은 다음에, 백테스트를 들어가 보도록 합니다.

다음으로 RLTrader를 작동시킨 다음에, 위 스크린샷과 같이 데이터 베이스와 모델을 각각 지정해 주도록 해서 백테스트를 들어가 보도록 합니다.

그런데 6개의 모델 중에서 수익이 나온 경우라고는 딱 2개 뿐이였으며, 그것마져도 수익률이 각각 1.5%와 3.7%로 형편이 없었습니다. 이게 몇일 만에 나온 것이라면 모르겠지만, 문제는 2달 가까운 시간이 걸려서 나온 것을 생각해 보면, 그렇게 편하게 생각할 수 있는 것도 아니라는 생각이 듭니다.

일단 백테스트 결과입니다만, 모든 모델들이 제대로 수익을 내는 듯 하다가 마지막에 가서 제대로 수익을 내지 못하고 꼬꾸라지는 것을 볼 수 있었습니다.

그래서 한번 데이터 베이스의 데이터가 너무 많아서 생기는 문제가 아닌가 하는 의심을 했습니다. 처음에는 600개를 넘는 열이 있는 데이터베이스였습니다만, 이걸 절반 가까이 줄이도록 했습니다.

그리고 나서 위 스크린샷과 같이 백테스트는 1달 가까운 기간을 주도록 했습니다. 다만 이것도 120열 가까이가 사전 데이터로 사용이 된다고 생각하면 대략, 3월 4일부터 계산에 들어가는 셈이기 때문에, 아마 일주일만에 수익을 얼마나 나오는가를 따지는 모델로 될듯 합니다.

그리고 나서 일단 강화학습의 과정을 보고자 합니다. 일단 구글 드라이브에서 다운로드를 받는 문제로 인해서, 위 스크린샷과 같이, 첫번째 강화핛브의 경우에는 400에포크 부터 본격적으로 수익을 내기 시작하는 것을 볼 수 있었습니다. 아마도 이로 미루어 보아서, 600에포크 마져도 과적합이 아닌가 하는 의심이 들기는 합니다.

다음으로는 두번째 강화학습 모델이 만들어 지는 과정을 보여주고 있는데, 여기서는 어째서 인지 좀 시원찮게 수익을 내는 모델이 어떻게 백테스트에서는 괜찮게 수익을 냈는지 모르겠다는 생각이 듭니다.

그리고 세번째 강화학습 모델의 기계학습과정입니다. 여기서는 어떻게 된 것인지 몰라도, 강화학습 내내 제대로 된 수익을 내지 못하는 모습을 보여주고 있습니다.

마지막 4번째 모델이 만들어 지는 과정을 보여주고 있습니다. 여기서는 400에포크 부터 본격적으로 수익을 내기 시작하는 것을 볼 수 있습니다. 일단 남은 2개의 강화학습 과정을 봐야하지만, 지금까지 봐서는 너무 과적합이 아닌가 하는 의심이 살짝 들기도 합니다. 일단 너무 많은 시간이 걸리는 문제도 있기 때문에, 우선은 좀 더 줄어든 데이터를 바탕으로 해서 수익을 낼 수 있는지를 한번 시도해 보고자 합니다.