새로운 방식으로 강화학습을 시도해 보기-3-

안녕하세요?

 

이래저래 상황이 좋지 않은 가운데, 아무튼 ADF 테스트를 적용한 것 자체는 좋았습니다만, 어째서 인지 모르겠습니다만, 연속해서 수익이 강화학습 기간 내내 나오지 않는 것을 확인할 수 있었습니다. 이래서는 상황이 좋지 않은데, 일단 상황타개를 위한 가지가지 시도를 하고 있습니다.

 

일단 지난번 포스팅 말미에 일말의 기대를 가지고서 한번 해 보기는 해 봤습니다만, 시간도 시간대로 많이 걸리고, 효과도 효과대로 없는 결과가 나왔습니다.

 

일단 10, 200, 600, 1000에포크 일때를 한번 비교해 보고 있습니다만, 어찌된 것인지 모르겠습니다만, 조금도 초반부터 수익이 전혀 나오지 않는 것을 볼 수 있습니다.

 

한번은 agent.py를 조작해서 해 보았더니, 이번ㅌ에는 위 스크린샷과 같이 주식을 보유만 하고 팔지는 않는 상황이 벌어지고 있습니다.

 

 

다음으로는 위 스크린샷에서 보이는 것처럼 일단 평균적인 현재가-close를 구한 다음에, 이를 한번 agent.py에 적용시켜 보도록 합니다.

 

먼저 위 스크린샷처럼 매수의 경우에는 현재 구매했을 때 가격이 평균보다 낮으면 득점을 주도록 설계를 하도록 해 봅니다.

 

그리고 매도를 했을 경우에는 평균적인 현재가의 값보다 더 크게 팔았을 경우에 정말 큰 득점을 주도록 설계를 해 보도록 합니다.

 

그리고 나서, 위 스크린샷에서 보이는 것처럼 일단 지연보상 임계치를 한번 올려 주도록 해 보도록 합니다. 이렇게 하는 것으로 일단 속도는 살릴 수 있으리라 생각을 합니다.

 

일단 처음으로 만든 구글 코랩에서는 위 스크린샷에서 나오는 것을 보아서는 에러가 발생한 것을 볼 수 있었습니다. 테스트때는 없었지만, 이렇게 구글 코랩에서 돌릴 때는 에러가 나올 수 있습니다.

 

그래서 원래 있었던 empty라는 항목을 없애 버리도록 하고, 위 스크린샷에서 바꾸어 주도록 합니다. 이렇게 하는 것으로 이제 제대로 작동이 되리라 생각을 합니다.

 

그런데 어째서 인지 제대로 수익도 안 나오고, 도중에 구글 드라이브와의 연결도 끊어져서 그대로 뭐가 제대로 되지 않는 것을 볼 수 있었습니다. 한마디로 총체적인 난국인 상황이 되었습니다만, 일단 이건 이거고, 계속해서 주식이 강화학습 기간 내내 수익을 내지 못하는 모습을 보여주고 있습니다.