[NHẠC] Bây giờ chúng ta nói về triển khai ban đầu, lấy một mô hình mà chúng ta học từ hệ thống tư vấn và triển khai như một dịch vụ mà trang web của bạn có thể truy vấn. Nhưng có nhiều hơn quá trình triển khai và với học máy trong sản xuất. Có một phần triển khai nhưng cũng có sự quản lí các mô hình, có sự đánh giá và có giám sát thu thập số liệu. Vì thế hãy nói về ba miếng cuối. Các phần lấy các mô hình mà chugns ta đã học thấy cách chúng thể hiện trong thực tế. Không chỉ trong quá trình ngoại tuyến mà còn với người sử dụng thực. Sử dụng thông tin để huấn luyện mô hình mới, triển khai mô hình mới và cập nhật mô hình như chúng ta thu thập thông tin về thế giới. Nếu chúng ta quay lại đường dẫn liên quan trong quá trình thực hiện và xử lí trong thời gian thực, bây giờ, phản hồi nơi người sử dụng có thể mua sản phẩm hoặc không mua sản phẩm họ tư vấn, nhưng dữ liệu lịch sử sẽ rất hữu ích cho chúng ta. Chúng ta sẽ sử dụng phản hồi để quay lại và học các mô hình mới. Ví dụ bây giờ chúng ta có nhiều dữ liệu lịch sử hơn, tôi có thể học mô hình thứ hai. Hãy dùng Model 2 cho bộ tư vấn, cái tôi nghĩ là tốt hơn và tôi muốn bắt đầu phục vụ mô hình trong sản xuất, và chỉ ra Model 2 thực sự tốt hơn Model 1 mà tôi có phải không? Cái nào thì tốt hơn? Tôi chỉ ra điều đó như thế nào? Đó là một số câu hỏi quan trọng xung quanh việc quản lí các mô hình trong sản xuất. Chúng ta sẽ làm rõ khi cập nhật mô hình 2 nếu nó có giá trị và chúng ta lựa chọn giữa hai mô hình như thế nào. Đây là sự giám sát các mô hình trong sản xuất với người sử dụng thực và hiểu các mẫu trông như thế nào. Chìa khóa để giám sát các mô hình là sự đánh giá của mô hình trong sản xuất. Đây là sự kết hợp các dự đoán mà chúng ta đang tạo ra với các số liệu. Người sử dụng đang làm gì trong thời gian thực với hệ thống của chúng ta? Các câu hỏi xung quanh ở đây bạn cần phải tìm hiểu với các mô hình triển khai là dữ liệu chúng đang thu thập từ người sử dụng là gì? Không chỉ dữ liệu bạn bắt đầu mà còn là dữ liệu bạn thu thập từ sự tương tác thời gian thực, liệu người sử dụng có mua hay không. Đó là các số liệu họ sẽ sử dụng để đo lường những sự tương tác tốt hay không, bạn đang nhận được sự phản hồi tích cực mà bạn hi vọng, máy móc đang làm việc trong hệ thống mà bạn đã xây dựng. Nếu chúng ta quay lại đường dẫn của chúng ta, bạn có thể tưởng tượng, ok tôi sẽ thu thập dữ liệu và tôi sẽ sử dụng để đo số lượng mà chúng ta sử dụng để huấn luyện mô hình của tôi. Ví dụ khi chúng ta nói về hệ thống, chúng ta nói về một số liệu. Chúng ta đã thảo luận một số lỗi về tổng bình phương. Điều này là số liệu đúng để đánh giá sản xuất phải không? Nó là một thước đo thần thánh để tối ưu hóa mô hình ngoại tuyến nhưng trong sản xuất bạn quan tâm đến liệu mọi người mua sản phẩm hay không, hoặc liệu mô hình máy này đang nhận người sử dụng cho trang web hay không. Mô hình đó đang giúp mọi người sử dụng điện thoại di động tốt hơn hay không, hoặc đồng hồ đeo tay của họ, hay bất kể công nghệ nào đang sử dụng học máy. Các lỗi tổng bình phương hoặc một số huấn luyện ngoại tuyến, những thước đo để tối ưu hóa mô hình ngoại tuyến và làm rõ liệu mô hình có tốt hay không và có lẽ nó có thể được cập nhật. Bây giờ ma trận trực tuyến này, giả sử ma trận sử dụng, thay đổi như thé nào, dòng dưới cùng cho doanh nghiệp của tôi, đây là điều tốt về việc chọn lựa mô hình cũ tốt hơn mô hình mới mà tôi đã tạo ra. Hãy nói một chút về quá trình. Câu hỏi ở đây là tôi nên cập nhật mô hình cũ của tôi với một mô hình mới mà tôi đã học, chúng có dữ liệu mới phải không? Có rất nhiều câu hỏi xung quanh điều này. Tại sao tôi nên cập nhật? Tại sao tôi nên lấy cái tôi đã làm trước đây và thay đổi nó thành cái mới? Điều này phải được làm với các xu hướng trong thế giới của sự thay đổi, các sản phẩm mới đã đưa vào, thị hiếu người sử dụng đã thay đổi. Một mẫu như là hươu cao cổ có thể nhai được mà chúng ta đã nói đến đã lỗi thời. Không ai muốn mua nữa. CHúng ta muốn thay đổi chúng hoặc chúng ta muốn cập nhật chúng. Đó là cái chúng ta phải làm, ok đó là lí do chúng ta nên cập nhật nó nhưng khi nào chúng ta cập nhật nó, ok, đã đến lúc lấy mô hình cũ và cài đặt vào mô hình mới. Điều này để theo dõi các thống kê thế giới thực, nó không phải trực giác, điều này giống như đúng thời điểm hoặc nói với một người người mà không nhìn vào dữ liệu. Có thể có một số loại phân tích kinh doanh. Đó là về dữ liệu. Về theo dõi, các mã trận chúng ta đo lường, các thống kê và đưa ra một định lượng về tính chất, mọi thứ đã thay đổi, đã đến lúc cập nhật mô hình. Đó là cái sẽ xảy ra khi chúng ta cập nhật mô hình. Điều này kết hợp các ma trận ngoại tuyến khi chúng ta sử dụng mô hình chuỗi. Nhưng các số liệu trực tuyến mà chungs ta đang nắm. Hãy nói về sử dụng các số liệu trực tuyến như thế nào. Một ví dụ về cách lựa chọn giữa các mô hình sử dụng số liệu trực tuyến là những ý tưởng về kiểm tra AB. Giả sử bạn có hai mô hình, Model 1 và Model 2. Tôi muốn chỉ ra cái nào tốt hơn, tôi sẽ đưa một cái vào hệ thống của tôi. Cái mà tôi có thể làm là đưa ra một số dân số của tôi, gọi chúng là nhóm A. Một số người từ khu vực nhất định, giả sử từ Mỹ trong Model 1. Sau đó những người từ vùng khác giả sử từ Canada cho Model 2. Bạn nhìn vào đặc điểm giữa hai mô hình, nắm một số số liệu. Và giả sử Model 1 tốt hơn, xin lỗi, Model 1 kém hơn. Nó chỉ có 10% tỷ lệ bấm, vì thế CTR. Có nghĩa là chỉ có 10% mọi người mua sản phẩm. Trong khi mới Model 2, thật ngạc nhiên có 30% mọi người mua sản phẩm. CTR, nhấn qua tỉ lệ là 30%. Bạn làm gì sau khi hoàn thành thử nghiệm, tôi đã làm đủ thử nghiệm. Tôi đã thu thâp đủ ví dụ. Tooi sẽ bắt đầu phục vụ Model 2 thay vì Model 1. Có rất nhiều các vấn đề khác và hãy cẩn thận các ý tưởng xung quanh chúng ta đã nói đến. Kiểm tra A/B, quyết định khi đến lúc chuyển sang mô hình, bao nhiêu dữ liệu bạn phải thu thập, phải làm gì. Nó rất khó. Nó đòi hỏi nhiều suy nghĩ và chúng ta sẽ nói nhiều hơn về nó hướng tới bài tập lớn, nhưng cái mà bạn cần phải nghĩ đến khá sâu sắc. Bây giờ nghĩ đến phiên bản mô hình chúng ta có, model 1, Model 2, cụ thể bạn có nhiều khoa học dữ liệu với các ý tưởng, câu hỏi là chúng theo dõi điều đó như thế nào? Bạn có biết dữ liệu đã được sử dụng để huấn luyện các mô hình khác nhau như thế nào không? Chúng theo dõi cách chúng thực hiện một cái thực hiện tốt một cái không thực hiện tốt như thế nào? Nó là bở vì một số giải thích? Bởi vì một số dữ liệu? Bạn giám sát biểu đồ như thế nào? Bạn đưa ra báo cáo như thế nào? Ok đó là điều sẽ xảy ra. Đó là cái mà máy móc sẽ làm, nó tạo ra sự khác biệt. Tất cả có thể khá là phức tạp. Và vì thế nó rất quan trọng để nghĩ đến không chỉ cách bạn sử dụng máy móc trong các thuật toán như thế nào, bạn viết phương pháp của bạn như thế nào. Bạn nhận các tính năng của bạn như thế nào? Nhưng bạn theo dõi điều đó như thế nào và bản đảm các phương pháp đang làm việc và cung cấp tệp mà bạn muốn cho hệ thống bạn đã xây dựng. [NHẠC]