Trong không gian với hệ tọa độ $\left(Oxyz\right)$, cho hai điểm...

Ta có $\overrightarrow{AB}=(-2;2;-1),AB=3$ và ${\overrightarrow{n}}_P=(2;1;-2)$ nên $\overrightarrow{AB}.\overrightarrow{n}=-4+2+2=0$ hay $AB\parallel \left(P\right)$.
Gọi $I$ là trung điểm của $AB\Rightarrow I(1;0;-{\displaystyle \frac{3}{2}})$. Xét mặt cầu $\left(S\right)$ đường kính $AB$.
Do $d(I,\left(P\right))={\displaystyle \frac{|2\times 1-0-2\times (-{\displaystyle \frac{3}{2}})-2|}{\sqrt{2^2+1^2+{(-2)}^2}}}={\displaystyle \frac{3}{3}}<{\displaystyle \frac{AB}{2}}={\displaystyle \frac{3}{2}}$.
Nên mặt cầu $\left(S\right)$ sẽ cắt mặt phẳng $\left(P\right)$ theo một đường tròn có tâm $H$ là hình chiếu của $I$ trên mặt phẳng $\left(P\right)$ và bán kính $r=\sqrt{{\displaystyle \frac{A{B}^2}{4}}-d^2}={\displaystyle \frac{\sqrt{5}}{2}}$.
Xét điểm $M$ bất kỳ thuộc mặt phẳng $\left(P\right)$ nằm ngoài đường tròn tâm $H$ bán kính $r={\displaystyle \frac{\sqrt{5}}{2}}$.
Gọi $M^{\prime }$ là giao điểm của $IM$ và mặt cầu $\left(S\right)$, khi đó $\widehat{AMB}<\widehat{A{M}^{\prime }B}={90}^{{}^{\circ }}$.
Vậy $M$ thuộc mặt phẳng $\left(P\right)$ nằm trong đường tròn tâm $H$ bán kính $r={\displaystyle \frac{\sqrt{5}}{2}}$.
Ta có $\cot AMB={\displaystyle \frac{M{A}^2+M{B}^2-A{B}^2}{4S_{AMB}}};M{A}^2+M{B}^2=2M{I}^2+{\displaystyle \frac{A{B}^2}{2}}$.
$\Rightarrow \cot AMB={\displaystyle \frac{2M{I}^2-{\displaystyle \frac{A{B}^2}{2}}}{4S_{AMB}}}$.
Do $d(M,AB)\ge HI\Rightarrow S_{AMB}\ge S_{AHB}={\displaystyle \frac{1}{2}}.1.3={\displaystyle \frac{3}{2}}$, $M{I}^2\ge H{I}^2=1$ và $\cot AMB<0$.
Nên để $\widehat{AMB}$ lớn nhất thì $M\equiv H$ và $\cot AMB={\displaystyle \frac{2-{\displaystyle \frac{9}{2}}}{4\times {\displaystyle \frac{3}{2}}}}=-{\displaystyle \frac{5}{12}}\Rightarrow \cos AMB=-{\displaystyle \frac{5}{13}}$.