Nhãn "bóng đá" và lỗ hổng phân loại: khi đường ống dữ liệu tin tức nhận nhầm thứ không thuộc về sân cỏ

Nhãn "bóng đá" và lỗ hổng phân loại: khi đường ống dữ liệu tin tức nhận nhầm thứ không thuộc về sân cỏ

Trong lần rà soát định kỳ luồng dữ liệu tổng hợp tin tức bóng đá mà tôi theo dõi mỗi tuần, một mục hiện ra với nhãn quen thuộc: bóng đá. Tôi mở ra. Không đội bóng. Không cầu thủ. Không huấn luyện viên, không trận đấu, không một dòng về sơ đồ chiến thuật hay thị trường chuyển nhượng. Nội dung là một bản tin an toàn cộng đồng: thi thể một nữ sinh 21 tuổi, Joselyn Sandoval Calderón, sinh viên Trung tâm Đại học UAEMéx Valle de Teotihuacán, được tìm thấy tại khu vực Otumba, bang Mexico, sau hai ngày tìm kiếm. Văn phòng Công tố bang Mexico, FGJEM, đang điều tra để xác định nguyên nhân tử vong. Bản tin ghi rõ: chưa có kết luận chính thức, chưa công bố giả thuyết nào, chưa có người bị tạm giữ.

Vấn đề không phải bản tin ấy đúng hay sai. Vấn đề là tại sao nó lại nằm trong đường ống tin tức bóng đá.

Mỗi ngày, các hệ thống tổng hợp tin tức bóng đá xử lý hàng nghìn bản tin. Lớp đầu tiên bao giờ cũng là lớp gắn nhãn: bản tin này thuộc chủ đề nào. Nhãn ấy không vô hại. Nó là đầu vào cho mọi tầng phía sau — mô hình phân tích cảm xúc, chỉ số theo dõi chuyển nhượng, cảnh báo rủi ro chấn thương, các chỉ số độ sâu đội hình, các bảng xếp hạng nhiệt truyền thông. Nhãn sai ở tầng một thì mọi tầng trên sai theo, và sai một cách im lặng. Không ai kiểm tra lại tầng một, vì tầng một trông quá đơn giản để có thể sai.

Tôi làm việc với dữ liệu bóng đá đủ lâu để biết phần lớn lỗi không nằm ở thuật toán phức tạp. Nó nằm ở chỗ thấp nhất, chỗ mà không ai muốn nhìn.

Sự sụp đổ không đến từ một cú sốc, mà từ sự lệch nhịp của những lớp không gian. Ở cấp dữ liệu, câu này đúng nguyên vẹn. Một bản tin đi lạc không làm sập hệ thống. Nhưng một nhãn sai, lặp lại đủ nhiều lần, làm lệch dần toàn bộ mô hình phía trên.

Bóc tách 15 điểm thông tin của bản tin, tôi đếm được đúng những thực thể sau: một nữ sinh, gia đình cô, một trung tâm đại học, lực lượng bảo vệ dân sự và cứu hỏa Otumba, và văn phòng công tố FGJEM. Không một thực thể bóng đá. Không câu lạc bộ. Không cầu thủ. Không giải đấu. Không trận đấu. Không một giao dịch chuyển nhượng.

Mối liên hệ duy nhất có thể tưởng tượng là việc cô là sinh viên của một trung tâm đại học — và trường đại học, ở nhiều nơi, có đội thể thao sinh viên. Nhưng bản tin không nói điều đó. Đó là suy diễn, không phải dữ liệu. Trong nghề của tôi, suy diễn không có chỗ đứng khi tầng dữ liệu gốc đã trống.

Nhãn "bóng đá" ở đây không được bất kỳ thực thể nào trong bản tin biện minh. Đây là lỗi phân loại, không phải một sự kiện bóng đá.

Ranh giới giữa một bản tin bóng đá hợp lệ và một bản tin đi lạc không nằm ở tên người hay tên địa điểm. Nó nằm ở thực thể. Nếu bản tin có một câu lạc bộ, một cầu thủ, một giải đấu, một quyết định của huấn luyện viên, một giao dịch chuyển nhượng — thì có chuyện để phân tích. Nếu không, không có gì để phân tích, và việc cố phân tích chỉ tạo ra văn bản giả dưới vỏ bọc chuyên môn.

Truy vết đường truyền của lỗi này, tôi thấy nó chỉ chạm đúng một mắt xích: hệ thống thông tin và tổng hợp. Chuỗi học viện — không. Chuỗi câu lạc bộ và giải đấu — không. Chuỗi bản quyền và thương mại — không. Chuỗi dữ liệu đội tuyển quốc gia — không. Tác động duy nhất là ở tầng tổng hợp: một mục nhiễu lọt vào kho dữ liệu bóng đá, với quy mô nhỏ và thời hạn ngắn.

Nhưng "nhỏ và ngắn hạn" không có nghĩa là vô hại. Hãy nhìn cơ chế khuếch đại. Bản tin gốc có sức lan tỏa cảm xúc rất cao: một nữ sinh 21 tuổi mất tích, trường đại học phát thông báo tìm người, cộng đồng tổ chức tìm kiếm suốt hai ngày trước khi phát hiện thi thể. Loại nội dung ấy tạo ra tương tác lớn. Và trong logic của mạng tổng hợp, tương tác lớn thường được đọc là tín hiệu quan trọng. Một nhãn sai đi kèm một tương tác cao sẽ di chuyển xa hơn một nhãn sai đi kèm một tương tác thấp. Lỗi tự nhân bản.

Với mô hình phân tích cảm xúc dành cho bóng đá, một mục như vậy tạo ra dương tính giả: chỉ số cảm xúc của một câu lạc bộ, một giải đấu, một cầu thủ có thể bị lệch bởi một sự kiện chẳng liên quan gì tới họ. Với mô hình theo dõi chuyển nhượng, nó là nhiễu nền. Với các hệ thống cảnh báo rủi ro, nó là một điểm dữ liệu giả không ai truy được nguồn gốc.

Điều đáng chú ý là bản tin gốc đã tự bảo vệ mình rất tốt. Nó không suy đoán nguyên nhân. Nó không nêu nghi phạm. Nó không đưa ra giả thuyết nào chưa được xác minh. Nó chỉ ghi nhận trạng thái hiện tại của một cuộc điều tra đang mở. Về mặt kỹ thuật đưa tin, đó là cách làm đúng. Sai lầm duy nhất — và nó nằm ngoài bản tin — là cái nhãn gắn lên nó.

Đây là chỗ tôi muốn dừng lại lâu hơn một chút, vì nó là điểm mù thật sự.

Mọi sơ đồ đều có điểm mù. Sai ở đâu mới là câu hỏi lớn. Với một hàng phòng ngự, điểm mù là khoảng trống sau lưng tuyến tiền vệ. Với một đường ống dữ liệu, điểm mù là tầng gắn nhãn — nơi con người và máy móc cùng đặt niềm tin vào một thao tác mà không ai kiểm chứng lại.

Phản xạ đầu tiên của số đông là đổ lỗi cho thuật toán. Tôi không nghĩ vậy. Áp lực lớn nhất đến từ phía cầu, không phải phía cung. "Bóng đá" là một nhãn có lưu lượng lớn. Nó mang theo lượng người đọc, lượng quảng cáo, lượng tương tác cao hơn hẳn nhãn "an toàn cộng đồng" hay "tin xã hội". Khi một nhãn vừa dễ gắn vừa sinh lợi, hệ thống sẽ có xu hướng gắn nó rộng ra. Không ai ra lệnh. Không ai cố ý. Chỉ là lực đẩy của lưu lượng.

Và có một tầng sâu hơn. Một hệ thống dữ liệu bóng đá không có khả năng nói "không đủ thông tin để đánh giá" thì không phải là hệ thống dữ liệu. Nó là một cỗ máy tin đồn được trang bị bảng biểu. Khả năng chịu đựng khoảng trống — khả năng để trống một ô thay vì lấp nó bằng phỏng đoán — là phẩm chất phân biệt phân tích với suy diễn.

Còn một tầng nữa, và tôi không muốn lướt qua nó. Phía sau cái nhãn sai kia là một con người. Một nữ sinh 21 tuổi. Một gia đình vừa trải qua hai ngày chờ đợi rồi nhận kết quả tệ nhất. Một cuộc điều tra đang mở, chưa có kết luận. Biến một câu chuyện như thế thành một điểm dữ liệu bóng đá là một lỗi phạm trù, và lỗi phạm trù đó có giá bằng con người. Đây không phải chuyện kỹ thuật thuần túy. Đây là chuyện tôn trọng.

Sai lầm lớn nhất không phải chọn sai, mà là chọn mà không có đủ dữ liệu. Ở đây, hệ thống đã chọn, trong khi dữ liệu bóng đá bằng không.

Tôi không có đủ dữ kiện để nói cơ chế gắn nhãn sai cụ thể là gì. Bản phân tích không nêu, và tôi cũng không suy đoán. Có thể là khớp từ khóa. Có thể là một liên hệ mờ nhạt nào đó với đời sống thể thao sinh viên. Có thể là một thao tác thủ công dưới áp lực thời gian. Tôi để nguyên câu hỏi đó mở, vì mở nó ra còn trung thực hơn là đóng nó lại bằng một phỏng đoán nghe hợp lý.

Điều tôi có thể khẳng định chắc chắn là hệ quả. Trong một kho dữ liệu bóng đá, mỗi mục nhãn sai là một hạt nhiễu. Một hạt không đáng kể. Nhưng các mô hình không đọc từng hạt; chúng đọc phân bố. Và phân bố thì lệch theo tích lũy, không lệch theo cú sốc.

Cách sửa không nằm ở việc thêm một thuật toán thông minh hơn. Nó nằm ở việc thêm một bước kiểm tra ngược ở tầng thấp nhất, và ở việc chấp nhận một câu trả lời duy nhất: không đủ thông tin.

Quy trình tôi áp dụng cho chính mình sau mỗi lần phát hiện một mục đi lạc gồm ba bước. Một: mở bản tin gốc, đếm thực thể. Hai: đối chiếu thực thể với nhãn. Ba: nếu nhãn không có thực thể nào biện minh, đánh dấu lỗi phạm trù và loại khỏi mọi mô hình phía sau. Ba bước, không có gì phức tạp. Nhưng ba bước này không tồn tại trong phần lớn đường ống dữ liệu tôi từng xem.

Kết quả của việc thiếu ba bước đó không ồn ào. Nó không tạo ra một sự cố để đưa lên tiêu đề. Nó chỉ làm cho mọi chỉ số phía trên sai dần, mỗi ngày một chút, cho tới khi không ai còn nhớ vì sao chúng sai.

Câu hỏi tôi để lại cho chính mình, và cho bất kỳ ai đang vận hành một đường ống dữ liệu bóng đá: trong kho dữ liệu của bạn, có bao nhiêu mục mang nhãn bóng đá mà bên trong không có một thực thể bóng đá nào. Con số đó không cần công bố. Nhưng nó cần được biết. Vì mùa giải tới sẽ lại có hàng nghìn bản tin đi qua cùng một cái cửa hẹp ấy, và cái cửa thì vẫn chưa được gắn bản lề.