# 🖧 Troubleshoot node NotReady và kubelet
## Mục tiêu bài học
Sau bài này, bạn phải làm được 4 việc trong phòng thi:
1. Đọc đúng `Conditions` của node để biết nên đi theo hướng nào (kubelet, tài nguyên, hay mạng).
2. SSH vào node, kiểm tra `kubelet` và `container runtime` bằng `systemctl` và `journalctl`.
3. Nhận diện 5 nguyên nhân NotReady hay gặp nhất trong đề CKA: kubelet chết, kubelet không `enable`, swap bật, runtime chết, certificate/config sai.
4. Đưa node về `Ready` và xác nhận bằng `kubectl get nodes -w`.
> [!NOTE]
> Đây là bài **thực hành**. Bạn nên mở sẵn một cluster lab 1 control plane + 1 worker (dựng ở Module 2) và SSH được vào worker. Mọi thao tác dưới đây đều làm được trên cluster đó.
## Ôn nhanh bài trước
Bài trước chốt quy trình 4 dòng: **event → describe → log → sửa**. Với node, thứ tự này giữ nguyên, chỉ đổi "log" thành log của kubelet trên node chứ không phải log container. Nhắc lại: `kubectl describe` cho bạn `Events` ở cấp object, còn `journalctl -u kubelet` cho bạn lý do thật sự nằm ở tầng systemd.
## Bản đồ quy trình
```mermaid
flowchart TD
Start["🖥️ Node báo NotReady"] --> Get["kubectl get nodes -w"]
Get --> Desc["kubectl describe node node01"]
Desc --> Cond{"Condition nào đang xấu?"}
Cond -->|"Ready = Unknown / KubeletNotReady"| Kube["ssh node01 + systemctl status kubelet"]
Cond -->|"DiskPressure / MemoryPressure"| Res["df -h, du -sh /var/lib/containerd"]
Cond -->|"NetworkUnavailable = True"| Cni["Kiểm tra CNI trong /etc/cni/net.d"]
Kube --> Jrnl["journalctl -u kubelet -n 100"]
Jrnl --> Rt["systemctl status containerd + crictl ps"]
Rt --> Fix["Sửa swap / config / cert / flag"]
Cni --> Fix
Res --> Fix
Fix --> Reload["systemctl daemon-reload"]
Reload --> Restart["systemctl restart kubelet"]
Restart --> Verify["kubectl get nodes -w"]
```
## Ví dụ mẫu: đưa `node01` từ NotReady về Ready
Tình huống: sau khi reboot worker, node `node01` đứng ở `NotReady`, pod trên đó bị đẩy sang node khác. Đây là màn bạn sẽ gặp.
```steps
1. Xác nhận triệu chứng: `kubectl get nodes`. Thấy `node01` ở trạng thái `NotReady`.
2. Xem lý do ở cấp API: `kubectl describe node node01 | sed -n '/Conditions:/,/Addresses:/p'`.
3. Đọc `Events` cuối output: thường là `NodeNotReady ... Kubelet stopped posting node status` hoặc `KubeletNotReady ... container runtime is down`.
4. SSH vào node: `ssh node01` rồi `sudo -i`.
5. Kiểm tra dịch vụ: `systemctl status kubelet` và `systemctl status containerd`.
6. Đọc log kubelet: `journalctl -u kubelet -n 100 --no-pager`.
7. Sửa nguyên nhân gốc (swap, config, flag, cert, runtime), sau đó `systemctl daemon-reload` nếu có sửa file systemd.
8. Khởi động lại: `systemctl enable --now kubelet`.
9. Xác nhận từ máy control plane: `kubectl get nodes -w`, chờ `Ready` (khoảng 40 giây).
```
Output mẫu của bước 2 và 3:
```bash
Conditions:
Type Status LastHeartbeatTime Reason
---- ------ ----------------- ------
MemoryPressure False Mon, 12 Aug ... KubeletHasSufficientMemory
DiskPressure False Mon, 12 Aug ... KubeletHasNoDiskPressure
PIDPressure False Mon, 12 Aug ... KubeletHasSufficientPID
Ready Unknown Mon, 12 Aug ... KubeletNotReady
Events:
Warning NodeNotReady node/node01 Kubelet stopped posting node status.
```
Đọc đúng hai dòng này là bạn đã khoanh vùng được 80% vấn đề: `Ready = Unknown` + `KubeletNotReady` nghĩa là **kubelet không chạy hoặc không nói chuyện được với API server**, không phải pod của bạn lỗi.
| Condition | Ý nghĩa thực tế | Đi kiểm tra gì |
| --- | --- | --- |
| `Ready = Unknown` | kubelet ngừng gửi heartbeat (mặc định quá ~40s) | `systemctl status kubelet`, `journalctl -u kubelet` |
| `DiskPressure = True` | phân vùng image/root gần đầy | `df -h`, `du -sh /var/lib/containerd` |
| `MemoryPressure = True` | node thiếu RAM | `free -h`, `kubectl describe node` phần Allocated resources |
| `PIDPressure = True` | quá nhiều process | `ps aux | wc -l` |
| `NetworkUnavailable = True` | CNI chưa sẵn sàng | `ls /etc/cni/net.d`, pod CNI trong `kube-system` |
## Thực hành có hướng dẫn
Mỗi bài dưới đây bạn **tự phá** rồi **tự sửa**. Làm xong mỗi bài, ghi lại lệnh đã dùng vào một cheat sheet riêng, vì phòng thi không cho mở tab thứ hai.
> [!WARNING]
> Chỉ làm trên cluster lab. Các lệnh dưới đây dừng dịch vụ và có thể khiến pod bị evict tạm thời.
### Bài 1: kubelet bị stop (bài cơ bản nhất, hay xuất hiện trong đề)
**Mục tiêu:** nhận ra `Ready = Unknown` và khôi phục trong dưới 2 phút.
```bash
# Trên node01
sudo -i
systemctl stop kubelet
```
Quan sát từ control plane: `kubectl get nodes -w` (chờ khoảng 40 giây mới đổi trạng thái).
**Dấu hiệu cần thấy:** `describe node` ghi `Kubelet stopped posting node status`.
**Khôi phục:**
```bash
systemctl start kubelet
systemctl status kubelet --no-pager
```
Xem thêm: nếu start xong vẫn NotReady
Xem log ngay: `journalctl -u kubelet -n 50 --no-pager | grep -iE "error|failed"`. Đừng đoán, log luôn nói rõ.
Nếu `crictl` báo không tìm thấy endpoint
Kiểm tra `/etc/crictl.yaml` hoặc thêm flag `--runtime-endpoint unix:///run/containerd/containerd.sock`. Ở cluster kubeadm, endpoint thật nằm trong `/var/lib/kubelet/kubeadm-flags.env`.