Argmin là gì

“Dự đoán” hoàn toàn có thể là từ thứ nhất được nói tới khi nói đến machine learning. Các model machine learning về bản chất là những cái hộp nhấn vào gần như quan giáp và gửi ra phần đông dự đoán.Bạn đang xem: Argmax là gì


*

Cách chú ý này được chào đón trong một thời hạn dài vì sự thông dụng của supervised learning (hay nói chính xác hơn là empirical risk minimization). Ở trên đây mình tự “supervised learning” không những để nói đến việc học từ dữ liệu có dán nhãn (nhằm khác nhau với unsupervised learning), nhưng để chỉ cả một framework thường được áp dụng để đào tạo và giảng dạy với tài liệu có dán nhãn.

Bạn đang xem: Argmin là gì

Hầu hết các thuật toán supervised learning vận động dựa vào trong 1 giả định (assumption) quan tiền trọng: trả định phân phối đồng nhất độc lập (independently identically distributed, tạm điện thoại tư vấn tắt là giả định iid). Trả định iid cho rằng:

những điểm tài liệu được lấy mẫu mã từ cùng một phân bố phần trăm (identical). Những điểm tài liệu lấy mẫu một cách hòa bình với nhau: tức là việc xuất hiện của một điểm dữ liệu B không ảnh hưởng đến xác suất xuất hiện của điểm dữ liệu A. Nói cách khác, (P(A) = P(A mid B)) hoặc (P(A, B) = P(A)P(B)) (independent).

Phần phệ các mã sản phẩm supervised learning được huấn luyện dựa trên luật lệ maximum likelihood, một trường hợp đặc trưng của empirical risk minimization. Call (M_ heta) là mã sản phẩm với thông số ( heta) và (D = (d_1, d_2, ..., d_N)) là một trong tập tài liệu gồm (N) điểm dữ liệu. (M_ heta(D)) là phần trăm mà mã sản phẩm cho rằng tập tài liệu sẽ mở ra trong thực tế, còn được gọi là likelihood của tập dữ liệu. Luật lệ maximum likelihood nói rằng bạn cần tìm model cho sao cho (M_ heta(D)) là rất đại. eginequation max_ heta M_ heta(D)endequation

Một lấy một ví dụ cách dân dã để minh họa về maximum likelihood: bạn có nhu cầu tuyển chuyên viên về thơ Nguyễn Trãi, bạn đưa cho những ứng cử viên một loạt những bài thơ của phố nguyễn trãi để thử xem chúng ta có nhận ra hay không. Tất nhiên một ứng cử viên hoàn hảo sẽ tự tin tuyệt vời nhất cho rằng mọi bài thơ được đưa mang đến anh ta rất nhiều là của Nguyễn Trãi. Mặc dù nhiên, ngôi trường hợp đó hiếm khi xảy ra: các ứng cử viên đều có một độ lần chần nhất định. Hiệ tượng maximum likelihood khuyên bạn hãy lựa chọn ứng cử viên nào tự tin nhất về việc những bài thơ là của Nguyễn Trãi.

Vì sao trả định iid đặc trưng đối với supervised learning? trả định iid tạo điều kiện cho ta tính được giá trị của (M_ heta(D)). Rõ ràng hơn, nó có thể chấp nhận được bạn phân bóc tách likelihood của tập tài liệu thành tích của các likelihood của từng điểm dữ liệu

eginequationM_ heta(D) = prod_i = 1^N M_ heta(d_i) = M_ heta(d_1) imes M_ heta(d_2) imes ldots M_ heta(d_N)endequation

(Giả định independent được cho phép (M_ heta(D) = prod_i = 1^N M^(i)_ heta(d_i)), với giả định identical bảo rằng (M^(1) = M^(2) ... = M^(N) = M))

Mục tiêu của supervised learning trở thành

eginequationmax_ heta prod_i = 1^N M_ heta(d_i) endequation

Ta rất có thể tính được hàm mục tiêu bằng cách nhân những (M_ heta(d_i)) với nhau, mà lại sai số sẽ không hề nhỏ khi có không ít điểm tài liệu vì ta đang nhân không ít số nhỏ hơn 1 lại cùng nhau (mỗi (M_ heta(D)) là một xác suất trong khoảng ). Ta áp dụng một mẹo nhỏ toán học tập để cung ứng cho việc tính toán. Cam kết hiệu (argmax_x f(x)) biểu lộ giá trị của trở nên (x) sao cho (f(x)) đạt cực đại, tức là (f(argmax_x f(x)) = max_x f(x)). Ta tất cả nhận xét rằng (argmax_x f(x) = argmax_x - log f(x)) chính vì -log là một trong hàm đơn điệu giảm và (f(x)) không âm.

Từ dìm xét trên, ta chuyển kim chỉ nam từ maximum likelihood trở thành maximum negative log-likelihood (bạn có thể thấy 1 trong các hai cụm từ này được áp dụng trong một paper về machine learning. Đa số trường hợp, bọn chúng có ý nghĩa tương trường đoản cú nhau).Mục tiêu của supervised learning trở thành:

eginequationmax_ heta - log prod_i = 1^N M_ heta(d_i)endequation

Do log của một tích bởi tổng của log cho nên:

eginequationmax_ heta - log prod_i = 1^N M_ heta(d_i) = max_ heta sum - log M_ heta(d_i)endequation

Tóm lại, đưa định iid giúp cho ta rất có thể tính được hàm mục tiêu của supervised learning một phương pháp dễ dàng bằng phương pháp phân tách likelihood của tập dữ liệu thành tích của những likelihood của từng điểm dữ liệu. Tương tự như mọi giả định toán học khác, mang định iid giúp dễ dàng hóa việc và góp ta huấn luyện và giảng dạy được những model có độ đúng mực nhất định. Vào thực tế, các model được giảng dạy bởi supervised learning đang chiếm lĩnh thị phần bởi độ dễ dàng và hiệu quả.

Xem thêm: Con Người Tìm Ra Sắt Như Thế Nào, Con Người Tìm Ra Và Sử Dụng Kim Loại Nào Đầu Tiên

Tuy nhiên, trả định iid cũng là điểm yếu kém của supervised learning. giả định này siêu không thực tế: nó mang lại rằng các điểm dữ liệu không hề có sự liên kết gì cùng với nhau. Trong cuộc sống, ngược lại, đông đảo thứ các bạn thấy ngày hôm nay đều là kết quả của những việc bạn làm cho hôm qua. Ví dụ hôm qua bạn quyết định đi du lịch, hôm nay chúng ta cũng có thể thức giấc làm việc resort như thế nào đó. Nhưng nếu như bạn bận câu hỏi không đi nữa, các bạn sẽ thức giấc ở trong nhà mình. Dân gian hotline là nhân cùng quả.

Giả định iid xem từng lần mã sản phẩm đưa ra một dự đoán là 1 lần quyết định độc lập. Lần trước không ảnh hưởng gì đến lần sau. Điều này tạo nên mọi fan nghĩ cho những model machine learning như những chiếc hộp biệt lập và quên đi ảnh hưởng của những dự kiến của bọn chúng lên thế giới bên ngoài.

Để quy mô hóa thế giới một cách thực tiễn hơn, ta thử đặt câu hỏi: Những dự kiến sẽ có tác động lên mọi gì và như thế nào? hãy thử vẽ một mũi tên bắt nguồn từ những dự đoán và từ hỏi điểm đích của mũi tên chính là đâu. Câu trả lời sẽ có được trong phần tiếp theo.