Found ds 3.1

Hint: 3.1 Least squares vertical error

ในข้อนี้จะให้ derive สูตรของการคำนวณที่นิยมเรียกว่า linear least squares หรือ linear least squares regression

• จากโจทย์ เราจะให้เส้นประมาณของเราคือ $y=mx+b$ เราจะหา $m$ และ $b$ ที่ "ดีที่สุด"
• ให้เริ่มโดยเขียนค่า error ที่เราต้องการจะ minimize ก่อน
  • ในโจทย์ให้ใช้ mean square error แต่การคิดผลรวมก็ให้ผลไม่ต่างจากค่าเฉลี่ย ดังนั้นให้เขียนเทอมนี้ออกมาก่อน (ป.ล. square error ที่จุด $x_{i}$ เดียวคือ $((mx_{i}+b)-y_{i})^{2}$)
  • ขอเรียกค่านี้ว่า $L$
• เราอยากจะหา $m$ และ $b$ ที่ minimize ค่านี้ เราจะใช้วิธีจากแคลคูลัส คือเราจะหาค่าของตัวแปรทั้งสองที่ทำให้ ${\frac {\partial L}{\partial m}}=0$ และ ${\frac {\partial L}{\partial b}}=0$
  • หมายเหตุ 1: ต้องหา partial derivative ของ L เทียบกับ m และ b (ดูสูตรได้จากที่ [1] และ [2] แต่จะใช้แค่พื้นฐานเท่านั้น (polynomial))
  • หมายเหตุ 2: แก้สมการจากฝั่ง $b$ อาจจะสะดวกกว่า

หมายเหตุ: เพื่อความสะดวกในการคำนวณอาจจะใช้ ${\bar {x}}=(\sum _{i}x_{i})/n$ และ ${\bar {y}}=(\sum _{i}y_{i})/n$ ประกอบได้ สมการที่ได้จะมีรูปที่จัดง่ายขึ้น