Phương pháp giải:

Hàm số nghịch biến trên \(\mathbb{R}\) khi nó liên tục và xác định trên \(\mathbb{R}\) đồng thời \(f'\left( x \right) \le 0,\forall x \in \mathbb{R}\) (Dấu ‘=’ chỉ xảy ra tại một số hữu hạn điểm).

Lời giải chi tiết:

\(f\left( x \right) = \left( {m + 2} \right)\dfrac{{{x^3}}}{3} - \left( {m + 2} \right){x^2} + \left( {m - 8} \right)x + {m^2} - 1\)

Hàm số đã cho liên tục và xác định trên \(\mathbb{R}\).

Nếu \(m = - 2\) thì hàm số trên trở thành \(f\left( x \right) = - 10x + 3\), hàm số này nghịch biến trên \(\mathbb{R}\) nên \(m = - 2\) thỏa mãn.

Nếu \(m \ne - 2\), ta có :

\(\begin{array}{l}f\left( x \right) = \left( {m + 2} \right)\dfrac{{{x^3}}}{3} - \left( {m + 2} \right){x^2} + \left( {m - 8} \right)x + {m^2} - 1\\ \Rightarrow f'\left( x \right) = \left( {m + 2} \right){x^2} - 2\left( {m + 2} \right)x + \left( {m - 8} \right)\end{array}\)

Hàm số đã cho nghịch biến trên \(\mathbb{R}\) khi và chỉ khi

\(\begin{array}{l}f'\left( x \right) \le 0,\forall x \in \mathbb{R} \Leftrightarrow \left\{ \begin{array}{l}m + 2 < 0\\\Delta ' \le 0\end{array} \right.\\ \Leftrightarrow \left\{ \begin{array}{l}m < - 2\\{\left( {m + 2} \right)^2} - \left( {m + 2} \right)\left( {m - 8} \right) \le 0\end{array} \right.\\ \Leftrightarrow \left\{ \begin{array}{l}m < - 2\\\left( {m + 2} \right).10 \le 0\end{array} \right. \Rightarrow m < - 2\end{array}\)

Vậy \(m \le - 2\) thì hàm số đã cho nghịch biến trên \(\mathbb{R}\).

Chọn D.