구름 IDE를 이용한 작전 -1-

안녕하세요?

 

이제까지 구글 코랩을 이용한 작전의 포스팅에서 간간히 언급이 되었는 구름 IDE라는 것이 있었습니다. 이것도 비슷한 것이기는 하지만, 아무튼 이 구름 IDE라는 것은 일종의 클라우드 IDE라고 해서, 개발자의 컴퓨터에서 직접 구동을 하는 것이 아니라, 서버를 빌려서, 서버안의 일정한 자원을 먹고서 서버 컴퓨터에서 작업을 하도록 하는 것이 특징입니다.

 

그런데 이제까지 이걸 작업하면서 무엇이 문제인가 하면, 바로 주식의 데이터 베이스 크기가 문제라면 문제였습니다. 일단 구름IDE에서는 20MB까지 업로드할 파일의 용량 제한이 있었습니다. 그래서 이걸 가지고서 기존에는 분활압축을 해서 올린 다음, 리눅스 환경에서 압축해제를 하면 CRC에러가 나와서 답이 없기는 했습니다.

 

그래서 인터넷에서 자료를 검색해본 결과, 해답이 하나 나왔는데, 바로 데이터 베이스 파일을 압축 프로그램을 쓰지 않고서 분활하고 다시 합칠 수 있는 방법이 있었습니다. 일단 먼저 하고자 하는 것은 바로, 파일을 분활할 수 있는 py파일을 만들고자 하는 것을 먼저 합니다.

 

먼저 머릿 부분인데, 여기서는 일단 os모듈만 import해 오도록 하고, 그리고나서 self가 붙은 변수는 순서대로 분할을 할 대상인 파일을 source, 그리고 분할된 파일들을 저장할 폴더를 dest_folder, 마지막으로 어느정도 크기로 자를 것인지 알아보려고 하면, write_size라는 것이 있는데, byte단위로 입력을 해야 합니다.

 

그리고 나서는 그냥 웹상에 있는 파일을 그래도 가지고 오도록 합니다. 일단 여기서 이 코드가 정확이 어떤 역할을 하는지 알아보고자 하면 알 수는 있지만, 그렇게 크게 신경은 쓰지 않도록 합니다.

 

그리고 중간 부분인데, 여기서는 while loop를 써서, 특정한 크기로 파일을 분할하는 것을 확인할 수 있었습니다. 그리고 나서 다음으로 해야 할 것으로는.................

 

 

그리고 마지막으로 close() 명령어가 많이 있고, 실행을 하기 위해서 제가 추가를 해준 if __name__이 있는 것을 확인할 수 있었습니다.

 

일단 연습용 과역이랄까 타겟이 될 데이터 베이스의 파일을 가지고 오도록 합니다. 이렇게 해서 일단, 이렇게 해서 실험체는 잡았습니다.

 

그리고 이제 분할하고 싶은 파일과 분할을 하고 나서 나오게 될 폴더로 지정을 하는데 성공을 했습니다. 이렇게 하는 것으로 일단 작업이 하나 설치되기는 되었습니다.

 

그런데 첫 시도에서는 어디서 에러가 나오는 것을 보았습니다. 무슨 파일 형식인지 무언가가 잘못되었다는 말이 나오는데, 이게 무엇인지 살펴 보았습니다.

 

일단 이게 나오게 되는 파일에 확장자를 붙이지 않아서 발생을 하는 문제라고 할 수 있었습니다. 일단 이 작업을 하기 위해서, 하나 붙여 주도록 합니다.

 

이번에야 말로 제대로 작업이 성공하는 것을 확인할 수 있기는 있었습니다. 이제 다음으로 작업을 해야 할 것은 파일이 제대로 생성이 되었는지 아닌지 봐야 합니다.

 

확인결과 제대로 된 파일들이 나왔는 것을 확인할 수 있었습니다. 문제는 이 파일을 아직 열어보거나 할 수는 없지만, 그래도 여기까지 성공적으로 왔기 때문에, 다음으로 해야 할 것으로는, 이제 합치는 작업 - join을 하는 작업에 대해서 한번 실험을 해 보아야 합니다.