Sgt/lecture2

สำหรับเนื้อหาในสัปดาห์นี้ เราเรียนรู้เกี่ยวกับคุณสมบัติของ eigen vector, eigen value ลำดับที่ 2

นิยาม Rayleigh quotient สำหรับ vector x และ symmetric matrix M คือ $R(M,x)={\frac {x^{T}Mx}{x^{T}x}}$ โดยสังเกตว่าถ้า x เป็น eigen vector ของ M ที่สอดคล้องกับ eigen value $\lambda$ จะได้ว่า $R(M,x)=\lambda$ เนื่องจาก

${\begin{aligned}R(M,x)&={\frac {x^{T}(Mx)}{x^{T}x}}\\&={\frac {x^{T}(\lambda x)}{x^{T}x}}\\&={\frac {\lambda (x^{T}x)}{x^{T}x}}=\lambda \end{aligned}}$

และเราจะพิสูจน์ทฤษฎีบทว่า "ให้ $M$ เป็น symmetric matrix ถ้า $x$ เป็น non-zero vector ที่ทำให้ $R(M,x)$ มีค่ามากที่สุด แล้ว $x$ จะเป็น eigen vector ของ $M$ ที่สอดคล้องกับ eigen value ที่มากที่สุด"

เราจะพิสูจน์โดยการใช้ Spectral theory (เนื้อหาครั้งที่ 1) ให้ M มี dimension ขนาด n (symmetric) ได้ว่า M มี eigen value $\lambda _{1}\leq \lambda _{2}\leq \ldots \leq \lambda _{n}$ และ eigen vector $\phi _{i}$ ที่สอดคล้องกับ $\lambda _{i}$ เพื่อความสะดวก เราให้ว่า ||x|| = 1 และ ||$\phi _{i}$|| = 1 สำหรับทุก i และเราสามารถเขียน x ในรูป $x=\sum \limits _{i=1}^{n}(\phi _{i}^{T}\cdot x)\phi _{i}$ จากนั้นจึงคำนวณหาค่า Rayleigh quotient

${\begin{aligned}R(M,x)&={\frac {x^{T}Mx}{x^{T}x}}\\&=(\sum \limits _{i=1}^{n}(\phi _{i}^{T}\cdot x)\phi _{i})^{T}M(\sum \limits _{i=1}^{n}(\phi _{i}^{T}\cdot x)\phi _{i})\\&=(\sum \limits _{i=1}^{n}(\phi _{i}^{T}\cdot x)\phi _{i})^{T}(\sum \limits _{i=1}^{n}(\phi _{i}^{T}\cdot x)\lambda _{i}\phi _{i})\\&=\sum \limits _{i=1}^{n}\sum \limits _{j=1}^{n}(\phi _{i}^{T}\cdot x)(\phi _{j}^{T}\cdot x)(\phi _{i}^{T}\phi _{j})\lambda _{j}\qquad &&;\ i\neq j\Rightarrow (\phi _{i}^{T}\phi _{j})=0\\&=\sum \limits _{i=1}^{n}(\phi _{i}^{T}\cdot x)^{2}(\phi _{i}^{T}\phi _{i})\lambda _{i}\qquad &&;\ (\phi _{i}^{T}\phi _{i})=1\\&=\sum \limits _{i=1}^{n}(\phi _{i}^{T}\cdot x)^{2}\lambda _{i}\\&\leq \lambda _{n}\sum \limits _{i=1}^{n}(\phi _{i}^{T}\cdot x)^{2}\\&=\lambda _{n}\end{aligned}}$