Cách Save và Restore model trên Google Colaboratory

training

#1

Cho em hỏi cách save và restore lại model trên google colab. Em đang chạy model phân loại âm thanh nhưng thời gian train thường lớn hơn 12 tiếng hoặc bị disconnected giữa chừng. Em có search trên google nhưng không hiểu lắm. Mong anh chị giúp đỡ.


#2

Bạn chỉ cần viết code thực hiện 2 thao tác sau

  • Lưu file xuống drive
    • Mount drive
      from google.colab import drive
      drive.mount('/content/drive/')
      
    • Viết hàm ghi file giống như trên máy local. Drive của bạn sẽ có đường dẫn là “/content/drive/My Drive/”. Bạn có thể chạy lệnh ls, cd, mv như trên cmd linux. Ví dụ !ls -l
  • Save / Load model bằng hàm của thư viện (Tensorflow, Keras, …)

#3

Với mình, đây là cách để tải nội dung trong folder từ google drive xuống colab

!pip3 install -U -q PyDrive

import os
from pydrive.auth import GoogleAuth
from pydrive.drive import GoogleDrive
from google.colab import auth
from oauth2client.client import GoogleCredentials

auth.authenticate_user()
gauth = GoogleAuth()
gauth.credentials = GoogleCredentials.get_application_default()
drive = GoogleDrive(gauth)

file_list = drive.ListFile({'q': "'%s' in parents"}).GetList()  # %s là mã của folder khi share trên drive

for f in file_list:
  print('title: %s, id: %s' % (f['title'], f['id']))
  fname = os.path.join("./", f['title'])
  print('downloading to {}'.format(fname))
  f_ = drive.CreateFile({'id': f['id']})
  f_.GetContentFile(fname)

Còn đây là khi lưu file từ colab vào google drive

model_file = drive.CreateFile({"title" : "%s"})  # %s là tên file cần lưu
model_file.SetContentFile("%s")
model_file.Upload()

#4

Mình chưa rõ lắm bạn có thể nói kĩ hơn được không.