Checkpoint: capstone forward/backward

About this course

Part of Khóa 5: Toán cho Machine Learning — tích chập, softmax và lan truyền ngược cho deep learning — Đi từ công thức tích chập và softmax đến tự tay viết lan truyền ngược cho một mạng nhỏ, đủ để đọc và kiểm chứng code deep learning.

Level

Advanced

Goal

Deep dive

Language

Vietnamese

Focus

tích chập và phép toán trên ảnh softmax và cross-entropy lan truyền ngược shape của gradient và numerical stability

Prior knowledge

Đã biết vector, ma trận và đạo hàm riêng, Đã biết xác suất cơ bản, Biết Python cơ bản

Practice

Capstone project

Time

~5.9h

Voice

một nghiên cứu viên deep learning thích bóc một lớp mạng nơ-ron thành từng phép toán nhỏ rồi kiểm tra bằng code chạy được

Not covered

kiến trúc transformer chi tiết, lý thuyết information theory đầy đủ, tối ưu phân tán trên nhiều GPU