본문 바로가기

프로그래밍411

구름 IDE를 이용한 작전 -1- 안녕하세요? 이제까지 구글 코랩을 이용한 작전의 포스팅에서 간간히 언급이 되었는 구름 IDE라는 것이 있었습니다. 이것도 비슷한 것이기는 하지만, 아무튼 이 구름 IDE라는 것은 일종의 클라우드 IDE라고 해서, 개발자의 컴퓨터에서 직접 구동을 하는 것이 아니라, 서버를 빌려서, 서버안의 일정한 자원을 먹고서 서버 컴퓨터에서 작업을 하도록 하는 것이 특징입니다. 그런데 이제까지 이걸 작업하면서 무엇이 문제인가 하면, 바로 주식의 데이터 베이스 크기가 문제라면 문제였습니다. 일단 구름IDE에서는 20MB까지 업로드할 파일의 용량 제한이 있었습니다. 그래서 이걸 가지고서 기존에는 분활압축을 해서 올린 다음, 리눅스 환경에서 압축해제를 하면 CRC에러가 나와서 답이 없기는 했습니다. 그래서 인터넷에서 자료를 .. 2020. 7. 19.
2라운드의 구글 코랩(google colab)작전 -11- 안녕하세요? 지난번 구글 코랩의 작업은 절반의 성공이라고 이야기를 했습니다. 이렇게 된 이유는 일단 구글 코랩에서 돌리는 것 까지는 어떻게 성공하기는 했습니다만, 문제는 그 속도가 상상이하로 느렸기 때문입니다. 그래서 어떻게 더 빠르게 할 수 있는 것이 없는지 한번 작업을 해 보고자 합니다. 먼저 시도를 한 것은 구글 코랩에서 GPU를 동원해서, 이걸로 하드웨어를 가속하면 어떤 변화가 나오는지 한번 알아보고자 했습니다. 일단 이렇게 구글 코랩에서 2번째 실험이 진행되고 있는 동안에, 다음으로 진행을 하고자 하는 것으로는 위 스크린샷에서 볼 수 있는 것처럼 어떻게 데이터 베이스 파일에 문제가 생긴 것이 확실해서 가지가지 압축을 풀기 위해서 시도란 시도는 다 해보고 있었습니다. 그런데 계속해서 계속해도 어떻.. 2020. 7. 18.
2라운드의 구글 코랩(google colab)작전 -10- 안녕하세요? 지난번 포스팅에서 어떻게 작업을 하기는 했습니다만, 문제는 구름 IDE에서 생각대로 문제가 제대로 풀리지 않았다고 했는데, 이 포스팅의 스크린샷을 찍는 순간에는 몰랐지만, 나중에 와서 보니까 거기서 문제가 생긴 것이 맞고, 그러면서 구글 코랩도 코랩대로 무슨 문제점이 나오는 것을 확인할 수 있었습니다. 일단 먼저 해 보아야 하는 것으로는 위 스크린샷에서 볼 수 있는 것처럼 여기서 그냥 py파일을 실행시켜 보았습니다. 그런데 일단은 실행이 되는 것 같기는 했습니다. 그렇게 한참을 가면서 아무런 문제가 없겠거니 했습니다만, 기어이 문제가 한 부분에서 나오는 것을 확인할 수 있었습니다. 일단 이 작업을 하기 위해서, 당연하다면 당연하게도 우선 필요한 모듈은 미리미리 pip명령어를 동원해서 깔아 주.. 2020. 7. 17.
2라운드의 구글 코랩(google colab)작전 -9- 안녕하세요? 이번 포스팅에서 부터 본격적으로 구글 코랩을 이용하는데 성공했다고 할 수 있었고, 이것만 가지고는 부족해서 하나 더 작업을 시작한 것이 더 있어서 관련된 내용을 올려 보고자 합니다. 아무튼 간에 이 작업도 작업이고, 아이디어는 아이디어인데, 일단 자그만한 아이디어 구현하는데 들어가는 노력이 장난이 아니기는 합니다. 일단 위 스크린샷에서 볼 수 있는 것처럼 가지고 올 수 있는 파이썬 외부 모듈은 다 가지고 오도록 합니다. 왜 이렇게 하느냐 하면, 이제 기존의 환경을 쓸 수 있는게 아니라, 구글 코랩상에서 하나하나 만들어야 하기 때문입니다. 그리고 파이참에서 성공적으로 적용이 가능했던 코드를 여기서 사용할 수 있도록 한번 작업에 들어가 보도록 합니다. 일단 이렇게 해서 하나 작업에 들어갔으며.... 2020. 7. 17.

티스토리툴바