새로운 방식으로 강화학습을 시도해 보기-4-

안녕하세요?

 

지난번 포스팅에서도 그러했지만, 이번 포스팅에서도 어떻게 된 일인지 수익모델의 발견에는 무언가가 좋지 않은 상황이 이어지고 있는 중 입니다. 이번 주 내내 이런 상황이 이어져서, 이게 ADF 테스트와 기계학습이 안 맞는 것인가 하는 생각이 들기도 하지만, 그래도 아직 알아볼 것은 많이 있다는 생각이 듭니다.

 

그래서 먼저 생각해 보았는 것은 위 스크린샷과 같은 그림입니다. 먼저 100원에 1주를 샀는데, 그 이후로 120분 동안 1원의 가격으로 떨어졌다면, 평균이 1.83원이 됩니다. 그런데 이후 90원에 팔면, 분명히 평균보다 더 높기는 높은데, 정작 손해를 보는 상황이 벌어지는 것 입니다.

 

먼저 previous_price라는 변수를 처음에는 0으로 설정을 합니다. 이 변수는 매수가 일어나면, 그때 일어난 매수의 가격을 기록해 주었다가 이를 한번 반영해 보는 것 입니다.

 

그리고 위 스크린샷에서 보이는 것처럼, 이전에 구입한 기록이 없다면, 평균과 대조해서 득점과 실점을 나누도록 하고, 이후에 이전에 구매한 가격이 있으면, 현재가와 이전 구매가를 비교해 보도록 합니다. 그리고 나서 득점을 계산하도록 합니다.

 

 

그리고 나서, 위 스크린샷처럼 매도에 있어서는 한번 위 스크린샷처럼 이전에 구매한 가격이 없으면 평균 현재가와 비교해서 득실을 따져보고, 있다면, 중간 차익이 나오는 상황에서 더 큰 득점을 하도록 한번 설계를 해 주도록 합니다.

 

조금 미진한 것이 있어서 한번 더 바꾸어서 계산을 해 보기는 보았습니다. 이 경우에는 역시나 구매가격과 판매가격이 같으면, 거래 수수료를 떼야하기 대문에 이 경우에도 실점이 되도록 설계를 해 보았습니다.

 

다음으로는 구글 코랩에 올리지 전에, 한번 하드웨어 상에서 테스트를 해 보기 위해서, 위 스크린샷처럼 10에포크만 지정을 해서 한번 해 보도록 합니다.

 

일단 한번 해 보기는 보았고, 특별히 큰 에러는 없이 움직이는 것을 확인해 보기는 보았습니다. 이제 다음 단계로 넘어가 보도록 합니다.

 

구글 코랩에서 한번 강화학습을 해 보기 위해서, 위 스크린샷처럼 한번 1000에포크로 설정을 해 놓은 다음에, 저장을 하도록 합니다.

 

먼저 구글 드라이브에서 한번 업로드를 시켜 보도록 합니다. 그리고 나서 구글 코랩에서 당연하다면 당연하게도 이를 연결하는 작업은 잊으면 안됩니다.

 

일단 위 스크린샷에서 보이는 것처럼 오직 강화학습 중에 수익이 나온 것은 단 한 경우만 있을 뿐이었고, 이번에는 6시간 가까이 걸린 것도 확인할 수 있었습니다. 이어서 새로운  시도를 다음 포스팅에서 올려 볼 것이지만, 이번 주에는 수익모델을 찾을 수 없었습니다.