Phương pháp giải:

Tính cạnh huyền \(BC\) qua cos góc \(B\) sau đó sử dụng tính chất: Trong tam giác vuông, trung tuyến ứng với cạnh huyền bằng một nửa cạnh huyền.

Lời giải chi tiết:

Xét \(\Delta ABC\) vuông tại\(A\) ta có:

\(\cos B = \frac{{AB}}{{BC}} = \frac{5}{{BC}} = \frac{5}{8} \Rightarrow BC = 8\)

Do\(AM\) là trung tuyến của tam giác vuông \(ABC \Rightarrow AM = \frac{{BC}}{2} = \frac{8}{2} = 4.\)

Chọn D.