8개 모델의 추가적인 결과 part1

안녕하세요?

이번 포스팅에서는 금요일 밤에 열심히 구글 코랩의 TPU를 돌려서 나온 강화학습의 모델들과, 이 모델들이 어떤 학습을 했으며, 얼마나 수익이 나오는 지를 한번 살펴 보고자 합니다. 그런데 내용이 너무 길다는 생각이 들어서 중간에 한번 잘라야 했습니다.

먼저 1시간 30분 정도 걸려서 첫번째 모델을 얻는데 성공했습니다.

이제 시간이 걸려서 두번째 모델도 얻었습니다.

세번째 모델도 순조롭게 얻는데 성공했습니다.

4번째 모델도 순조롭게 얻어 오는데 성공하기는 했습니다.

이제 계속해서 하루종일 작업을 해서 5번째 모델도 얻는데 성공했습니다.

계속해서 구글 드라이브의 제 폴더 안에 강화학습의 모델이 쌓여가기 시작합니다.

그런데 6번째 강화학습부터 새로운 일이 생긴 듯 했습니다. 뭐냐 하면, 바로 강화학습에 걸리는 시간이 1시간 30분에서 1시간 몇분으로 더 시간이 줄어든 것 입니다. 이게 어떤 의미인지는 모르겠습니다만, 시간이 몇 십분이지만 줄어든 것을 볼 수 있기는 있었습니다.

다음으로는 7번째 모델도 조금은 더 빨라진 시간이 지나고 나서 얻는데 성공했습니다.

8번째 모델을 얻는데 성공했습니다만, 약 12시간 가까이 작업을 하니까, 구글 드라이브와 구글 코랩간의 연결이 끊어져서 9번째 모델이 거의 완성을 눈앞에 놔둔 900에포크를 넘어서 강화학습이 중단되어 버리는 사태가 벌어지는 것을 볼 수 있었습니다. 아무래도 하루종일이 거의 걸려서 8개의 모델을 얻고 나서는 구글 드라이브와의 연결을 다시 해줘야 하는 듯 합니다.

그래서 첫번째 모델의 강화학습 결과입니다. 이 결과에서는 일단 특이한 사항이 보이지 않기는 않습니다.

이번에는 2번째 모델의 학습결과인데, 일단 PV가치가 어떻게 거의 주가를 따라가는 느낌이 들면서, 1000에포크에 있어서는 거의 보유만 하고나서 한번도 판매를 하지 않는 것을 볼 수 있어 보입니다. 그래서 이게 어떻게 된 것인지 모르겠다는 생각이 듭니다만, 아무튼 너무 포스팅이 길어지는 면이 있기 때문에 여기서 한번 끊도록 하겠습니다.