Sử dụng Google Colab với Tesla K80 GPU miễn phí

tutorial
google-colab

#1

Google Colab Free GPU tutorial

Ngày nay, không cần phải train các model trên máy tính cá nhân, chúng ta hoàn toàn có thể sử dụng các hệ thống cloud computing như của google, amazon và 1 vài hệ thống khác. Hôm nay mình sẽ hướng dẫn sử dụng Tesla K80 GPU của google Colab

Nói qua về Google Colab cho những bạn mới làm quen, Google Colab là Colaboratory notebooks , 1 dạng tương tự như jupyter notebook. Google Colab cung cấp cho chúng ta khả năng tính toán mạnh hơn với Tesla K80 GPU, thay vì phải code và train model với máy tính, laptop cá nhân.

Google Colab hỗ trợ khá toàn diện các thư viện trong python, phiên bản mới nhất của tensoflow, keras, PyTorch,. Cv2 ... Hiện tại mình chưa thấy thiếu library nào :p

Sau vài ngày test thử thì mình thấy GPU này rất nhanh, gấp khoảng 15-20 lần so với việc train bằng CPU trước đây của mình :smiley: , Lưu ý là bạn chỉ có thể train tối đa 12 tiếng liên tục, khi code nhớ lưu model trong quá trình train sau mỗi khoảng thời gian tránh việc mất mạng -> train lại từ đầu.

Các bước tiến hành cài đặt.

B1: Tạo notebook

_ Vào drive, tạo 1 thư mục mang tên gì đó, (VD: AI_COLAB ), vào thư mục

_ Chuột phải, chọn “ứng dụng khác” (more) -> “kết nối ứng dụng khác” . Cửa sổ hiện lên, gõ keyword “Colab” và cài luôn extension đầu tiên

_ Sau khi cài xong, quay lại thư mục -> chuột phải -> “ứng dụng khác” (more) -> “kết nối ứng dụng khác” -> Colaboratory

_ Như vậy chúng ta đã tạo ra 1 notebook trên google colab rồi

B2: Cài đặt phiên bản và GPU

Mặc định notebook chạy với CPU , muốn đổi sang GPU: Edit -> Notebook Settings -> chọn phiên bản python và chọn Hardware là GPU -> OK

B3: Kết nối với drive.

_ Việc này không bắt buộc nhưng cần thiết để chứa train data, test data, các lib thêm khác

_ Copy dòng lệnh này và run để cài các thư viện cần thiết (nhấn vào play icon bên trái mỗi cell, để thêm cell nhấn vào hiểu tượng code góc trên, bên trái )

!apt-get update -qq 2>&1 > /dev/null
!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse 

_ Chạy câu lệnh tiếp

     from google.colab import drive
     drive.mount('/content/drive')

_ output hiện ra 1 đường link, click vào link đó, đăng nhập google, copy token hiện thị ra và paster vào ô input trên notebook, như vậy bạn đã cấp quyền cho google colab được phép truy cập vào drive của bạn

_ Trong của sổ bên trái, click vào Files -> REFRESH , bạn sẽ thấy Drive của bạn đã được thêm vào working directory

B4: Chạy code như với jupyter notebook

_ Như vậy, bạn đã có thể run code, train model như bình thường, như của mình :slight_smile: , dịch vụ này của google colab khá hay và tiện, thích hợp nhất với sinh viên nghèo như mình :stuck_out_tongue:

Bài viết đầu tiên của mình, có sai xót mong mọi người góp ý ạ. Tks.


Web để training model
Tự tạo dataset ảnh trên Google Drive sử dụng Google Colab và Bing Image Search API
Vấn đề cài đặt selenium webdriver trên google colab
Auto Colorize GrayScale Image With Deep Learning
#2

Bạn gặp lỗi gì để mình hỗ trợ.


#3

như em đã hỏi trong bài cách sử dụng markdown: em không thể upload ảnh lên bài viết: lỗi khi upload The request signature we calculated does not match the signature you provided. Check your key and signing method.


#4

Để anh xem lại.

Trong lúc anh xem, em có thể upload ảnh lên https://imgur.com/ rồi lấy link về.

Để chèn ảnh:

![](link tới ảnh)

#5

Cho em hỏi những thư viện như numPy , Sklearn , pandas,… thì có hỗ trợ không ạ ?


#6

Có nha bạn … những thư viện tính toán liên quan tới ml được hỗ trợ khá đầy đủ


#7

Mỗi tội upload data lên thì lâu v~ chưởng :joy: cao nhân nào bày em cách không ạ.


#8

:joy: upload data thì cứ up lên drive như bình thường, chịu khó cắm dây mạng vào upload cho nhanh. Với lại mất tý thời gian upload nhưng lại tiết kiệm cả chục giờ khi train mà


#9

Đúng là thế thật cơ mà, up file zip lên đó giải nén lâu quá nên runtime error. up folder thì hơi bị mùa quýt bác ạ :joy: nhà mạng có 2MB/s


#10

Mình toàn up cả film lên drive này :)) , với nói chung đã sử dụng cloud computing thì việc này là k thể tránh khỏi mà


#11

Khoai :))) chắc phải cày cuốc kiếm em GPU hoy


#12

Cảm ơn bạn nhiều, bài viết hữu ích quá, mình đang chật vật tìm cách load file từ local lên gg driver để train :smiley:


#13

mình cũng từng gặp vấn đề đó , he :3


#14

Cảm ơn bạn vì một bài viết rất hữu ít, ngày nào cũng vào Drive mà không biết tính năng này


#15

Cho mình hỏi là làm sao để có thể chỉnh sửa setting được trong google colab (mục edit), mình không thể vào được đó (đã google search nhưng không ra) và colab của mình là tiếng pháp không phải tiếng anh, mình đã tìm cách sửa nhưng không được. Có cách nào thay đổi setting lại được không ạ ?


#16

Vào tab cuối cùng, chọn cái cuối cùng là ra Tiếng Anh nhé em


#17

bạn chụp màn hình để mình xem


#18

Được rồi, thank anh ạ


#19

Mình xử lý được rồi, thank bạn


#20

bạn ơi xử lí upload lên drive thế nào ạ,mình upload foder lên mà mãi không được