Trong bài học này chúng ta đã nói về
nhiệm vụ thu hồi tài liệu và chúng ta cũng nói về khái niệm phân nhóm mà
chúng ta cố gắng khám phá ra cấu trúc bên dưới dữ liệu và chúng ta đã nói
về nhiều lĩnh vực khác nhau trong đó khái niệm phân nhóm có thể rất hữu ích.
Chúng ta hãy xem qua quy trình hoạt động của thuật toán phân nhóm.
Và nếu bạn cảm thấy bạn đã biết điều này rồi bởi vì bạn đã thấy
quy trình hoạt động này trong các bài học khác.
Thì hãy tỉnh giấc!
Bởi vì cái này có một chút khác biệt.
Ok, hãy nói về dữ liệu huấn luyện của chúng ta.
Ở đây, dữ liệu huấn luyện của chúng ta cho
nhiệm vụ phân nhóm tài liệu sẽ là một ID tài liệu và
bảng tài liệu văn bản.
Chúng ta có một bộ các tài liệu.
Và chúng ta có tất cả các văn bản liên quan đến mỗi tài liệu.
Và sau đó chúng ta sẽ giải nén một số tính năng.
Chúng ta đã nói về nhiều cách khác nhau để biểu diễn một tài liệu.
Nhưng một cách mà tôi sẽ sử dụng như một ví dụ ở đây là tf-idf của chúng ta.
Tần số thuật ngữ-tấn số tài liệu nghịch đảo.
Và sau đó việc chúng ta sẽ làm là chúng ta sẽ thử và
nhóm các tài liệu của chúng ta dựa trên sự biểu diễn này.
Chúng ta sẽ đưa các tính năng qua mô hình học máy.
Trong trường hợp này là mô hình phân nhóm.
Và chúng ta sẽ đưa ra cho mỗi một tài liệu một nhãn mác phân nhóm.
Mũ trắng đầu ra là nhãn mác phân nhóm của chúng ta.
Ok đây là nơi mọi thứ trở nên thú vị,
bởi vì chúng ta muốn đánh giá tính chính xác của các nhãn mác phân loại của chúng ta.
Trong trường hợp này chúng ta không có các nhãn mác phân nhóm đúng, vì thế
tôi nên nói điều này là dự đoán của chúng ta hoặc ước tính, nhãn mác phân nhóm.
Nhưng chúng ta không có nhãn mác phân nhóm đúng để so sánh.
Y này không tồn tại.
Và đó là bởi vì chúng ta ở trong một môi trường học không được giám sát.
Không được giám sát.
Được rồi.
Vì thế chúng ta không có điều đó nhưng
bằng cách nào đó chúng ta muốn đánh giá số đo tính chính xác của phân nhóm.
Hãy vẽ một bức tranh nhỏ ở đây sẽ là Voronoi tessellation của chúng ta và
thuật toán k-means của chúng ta với một số trung tâm nhóm và chúng ta có dữ liệu.
Tôi nên nói dữ liệu của chúng ta giống như thế này, tôi không biết.
Tôi sẽ chỉ vẽ một vài điểm ở đây.
Và phép đo tính chính xác chúng ta sẽ sử dụng,
cách chúng ta sẽ đánh giá chất lượng là nhìn vào sự kết hợp chặt chẽ các nhóm của chúng ta.
Chúng ta sẽ nhìn vào khoảng cách từ mỗi sự quan sát đến
trung tâm nhóm đã được chỉ ra.
Và thuật toán phân nhóm tốt có khoảng cách rất nhỏ.
Ok mục đích là để làm giảm khoảng cách của chúng và cái chúng ta thấy là đo
sự chính xác, đo khoảng cách, cái chúng ta cần là dữ liệu của chúng ta.
Chúng ta cần vecto tf-idf.
Những cái này sẽ đến đây, và sau đó chúng ta cũng cần các trung tâm nhóm.
Và W mũ là ước tính hiện tại của chúng ta,
đó là thông số mô hình ở đây và thuật toán k-means.
Đây là nhóm của chúng ta, whoops.
Hãy xem nếu chúng ta có thể đánh vần điều đó thật đúng, các trung tâm nhóm.
Đó là những gì W mũ đại diện.
Và tất nhiên để đo các khoảng cách này chúng ta cũng cần W mũ.
Thay vì có các nhãn mác nhóm thực để đánh giá độ chính xác, chúng ta
sẽ lấy tài liệu đại diện và các trung tâm nhóm.
Đưa nó vào phép đo chất lượng này,
để xem khoảng cách tới các trung tâm nhóm.
Đó là phép đo sai số của chúng ta mặc dù nó không hẳn là sai.
Nó chỉ là một phép đo.
Oái.
Chỉ đo lường chát lượng.
Tôi sẽ không đặt từ ở đây.
Ok tôi nghĩ có một chút bối rối.
Nhưng hãy viết ra khoảng cách tới trung tâm nhóm.
Và thuật toán của chúng ta là gì?
Chúng ta đang nói về k-means như một phương pháp để phân nhóm.
Tất nhiên có các cách khác, nhưng hãy tập trung vào k-means,
k-means làm gì?
Hãy vẽ lại sơ đồ này, thực sự tôi chỉ có thể chuyển sang màu khác.
Điều đó sẽ tiết kiệm một chút thời gian cho chúng ta.
Vâng k-means đang cố gắng làm giảm khoảng cách này, hoặc tổng các khoảng cách,
và cách nó làm là lặp lại việc cập nhật như vậy
đây là W mũ mà chúng ta có được trước đây và chúng ta đang di chuyển nó
tới một W mũ mới mà thể hiện cho trung tâm của các điểm.
Những điểm này đang được chuyển đổi.
Và điểm này sẽ đi thẳng tới đỉnh của sự quan sát đó
và đây là cách hoạt động của phân nhóm.
Hãy nói nó ở mức độ cao một lần nữa.
Chúng ta lấy các tài liệu, chúng ta biểu diễn chúng theo một số cách, sử dụng cả phép đếm từ thô,
tf-idf, chuẩn hóa những điều này.
Rất nhiều các bigrams khác nhau, những thứ mà chúng ta có thể thấy cho
việc biểu diễn tài liệu của chúng ta.
Sau đó thuật toán phân nhóm của chúng ta như là k-means là tạo ra các nhãn mác phân nhóm và
lặp đi lặp lại, chúng ta lặp lại ở đây một lần nữa và cập nhật lại lần nữa
các trung tâm nhóm của chúng ta, đó là các thông số của mô hình phân nhóm này.
Bằng việc đánh giá các quan sát với các trung tâm nhóm.
Trong bài học này khác với các bài học khác chúng ta đã thực sự trình bày
một số thuật toán chi tiết đằng sau các phương pháp mà chúng ta thấy.
Đặc biệt là với việc phân nhóm, chúng ta đã nói về thuật toán k-means và sau đó là
nhiệm vụ thu hồi tài liệu của chúng ta, chúng ta cũng đã nói về việc tìm kiếm khu phố gần nhất,
và cung cấp một số các chi tiết thuật toán,
bạn khám phá điều đó trong ipython notebook cho
việc truy xuất wikipedia.
Ở thời điểm này, bạn thực sự sẽ có thể ra ngoài kia và
xây dựng một hệ thống thu hồi tốt hơn cho việc thu hồi các bài báo tin tức.
Hoặc bất kì cách thu hồi rất, rất, rất hay mà tôi không thể nghĩ ra bây giờ.
Nhưng tất nhiên có rất nhiều ví dụ thú vị.
Vì thế hãy bước ra ngoài kia và nghĩ đến các ý tưởng mà tôi không thể nghĩ ra ngay bây giờ.
[NHẠC]