Math for Machine Learning 2.5 Linear indepedent

Описание: Liên hệ một chút với những gì được học bên mit 1806:

Trong class đó ta biết gs Strang nói rằng, (một bộ vector)
độc lập tuyến tính là khi KHÔNG CÓ VECTOR NÀO có
thể được thể hiện bởi một linear combination các vector
còn lại. Tức là ta không thể nào lấy một vài vector trong
đó, rồi tìm một bộ hệ số để kết hợp (combine) chúng lại
mà cho ra vector còn lại trong bộ hết.Do đó mới có tên
độc lập. Ngược lại, nếu một vector có thể được tạo ra
bằng cách kết hợp một nhóm các vector khác trong bộ,
thì nó là vector phụ thuộc / không độc lập. Và một nhóm
gọi là độc lập tuyến tính khi không có thằng nào trong đó
bị phụ thuộc mấy thằng khác.

Vậy tại sao ở đây, theo định nghĩa, nếu như tồn tại một bộ
λ1, λ2...λk khiến λ1x1 + λ2x2 + ...λkxk = 0 mà TRONG ĐÓ
CÓ ÍT NHẤT MỘT CÁI (λ) KHÁC 0, thì x1,x2..xk sẽ là bộ
vector phụ thuộc tuyến tính?

Là bởi vì: Giả sử ta gọi λ2 là cái khác 0 nói trên (mấy cái
còn lại cũng có thể có cái khác 0, hoặc bằng 0 hết cũng
không quan trọng, vì yêu cầu chỉ cần ít nhất một cái khác
0)

Khi đó, từ λ1x1 + λ2x2 + ...λkxk = 0, vì λ2 khác 0, ta được
phép chia hai vế cho λ2. Để có:

(λ1/λ2)x1 + (λ2/λ2)x2 + ...(λk/λ2)xk = 0

⇔ (λ1/λ2)x1 + x2 + ...(λk/λ2)xk = 0

⇔ x2 = -(λ1/λ2)x1 - ...(λk/λ2)xk (chuyển vế đổi dấu)

Và kết quả này chính là, x2 có thể được tạo ra bằng cách
kết hợp tuyến tính mấy thằng còn lại. ⇨ x2 phụ thuộc
tuyến tính các vector còn lại, nên bộ vector x1,x2...xk có
chứa một thằng bị phụ thuộc, thì bộ này gọi là linear
dependent.

Cái ví dụ đại trong sách đại khái là vầy:

Để đi từ Nairobi đến Kigali, thì thật ra chỉ cần chỉ (người
hỏi đường): Bước 1) Đi đến theo hướng tây bắc một
khoảng cách 506 km (để tới Kampala) Bước 2) Từ
Kampala đi theo hướng tây nam 374 km, thì sẽ đến nơi
(Kiagali)

Và chỉ cần nghe theo hai thông tin này là đủ: Đi theo
hướng a một khoảng 506km, và sau đó theo hướng b một
khoảng 374km.

Khi đó, giả sử có người khác nói vô thêm là "thôi thì đi từ
đây theo hướng tây một khoảng 751km".Thì nói vậy là
thừa. Vì với hai thông tin trên,(vector a, b) là đã đủ đến "
tìm ra" Kigali rồi. Không cần vector c nữa.

Thì đó chính là nói rằng vector c không cung cấp thêm
thông tin gì mới, là thừa (redundant). Và sự thật, c chính
là = a + b mà như trên đã nói, đó chính là c phụ thuộc
tuyến tính vào a, b

⇨ bộ 3 vector a, b, c linear dependent.

Nhưng nếu chỉ xét hai vector a, b. Thì nó độc lập, vì a
không thể được tạo ra bởi b, và ngược lại b không thể
được tạo ra bởi a.

Đại khái định nghĩa của linear combination / kết hợp tuyến
tính (của một đám các vector x1,...xk) đơn giản là mỗi
vector xi nhân với một con số (scalar λi) rồi cộng lại, vậy
thôi.

Ghi theo toán học là v = λ1x1 + λ2x2 + ...λkxk
(theo quy ước thì vector ghi chữ đậm). Thế thì λ1x1, nó
sẽ cho ra vector có mỗi phần tử của (vector) x1 nhân với λ1.

Và cái này thật ra mình đã gặp rồi, Ax = b

Trong mit 1806, thầy Strang có nói một điểm rất quan trong
là có hai cách nhìn khi nhân matrix A với vector x:

1) Mỗi phần tử của b, ví dụ b1, sẽ là dot product của hàng 1
của A với vector x. b1 = (A's row 1)Tx. Tương tự b2 sẽ là (A'
s row 2)Tx

Nhưng cách nhìn thứ 2 mới CỰC KÌ QUAN TRỌNG:

2) Kết quả (b) SẼ LÀ LINEAR COMBINATION CỦA CÁC
CỘT CỦA A, với hệ số là CÁC PHẦN TỬ CỦA x

Là sao: Tức là gọi a1, a2,...an (giả sử A có shape m,n) là
các column (cột) của A, thì dĩ nhiên để nhân được x cũng
phải là R^n vector - tức có n phần tử,

Khi đó Ax = a1x1 + a2x2 + ..anxn (again x1, x2...
xn là các scalar, phần tử của vector x) còn a1,a2..an là các
vector, cột của ma trận A.

Quay lại đây tác giả cho biết, cũng dễ hiểu rằng vector 0
(mọi phần tử đều = 0) sẽ dễ dàng được thể hiện dưới dạng
một linear combination của x1,x2...xk, chỉ việc cho các hệ số
λi = 0.

Tuy nhiên, ta sẽ quan tâm đến LIỆU CÓ TỒN TẠI MỘT BỘ
HỆ SỐ MÀ TRONG ĐÓ CÓ ÍT NHẤT MỘT CÁI KHÁC 0,
sao cho linearly combine các vector x1,x2..xk VẪN BẰNG 0
hay không.

Tức là λ1x1 + ...λnxk = 0 mà trong λ1, λ2...có ít nhất một
thằng khác 0.

Nếu chuyện đó xảy ra, THÌ ĐÁM x1,x2..xk LÀ MỘT BỘ
VECTOR BỊ PHỤ THUỘC TUYẾN TÍNH (linear
dependenct)

Còn ngược lại, tức là CHỈ CÓ MỘT TRƯỜNG HỢP DUY
NHẤT MÀ λ1x1 + ...λnxk = 0 LÀ KHI MỌI λ đều = 0. Thì khi
đó đám vector x1,..xk này được gọi là ĐỘC LẬP TUYẾN
TÍNH (linear independent)