Để biết AI phân loại review đúng đến đâu, lấy một mẫu ngẫu nhiên khoảng năm mươi review, để người tự chấm nhãn mà không nhìn kết quả của AI, rồi đếm tỉ lệ khớp cho từng nhãn và liệt kê những cặp nhãn hay bị lẫn. Con số đó cho bạn biết có nên tin bảng đếm hằng tháng hay chưa, và cần sửa bộ nhãn hay câu lệnh ở chỗ nào.
Bài này dành cho người đã chạy phân loại vài lần và bắt đầu dựa vào kết quả để ra quyết định. Không cần kiến thức thống kê; mọi phép tính đều làm được bằng bảng tính. Các con số trong bài là ví dụ giả định để minh hoạ cách đọc.
Vì sao phải đo thay vì cảm thấy là ổn
Sau vài lần chạy, phần lớn người dùng có cảm giác “AI phân loại khá đúng”. Cảm giác này thường đến từ việc liếc qua vài chục dòng đầu, nơi review rõ ràng và dễ. Những chỗ sai lại tập trung ở các nhóm khó: review mỉa mai, review nhiều ý, review rơi vào ranh giới giữa hai nhãn gần nhau. Nếu một nhãn quan trọng như “an toàn” hay “đóng gói” bị lẫn có hệ thống, bảng đếm cuối tháng sẽ sai theo một chiều cố định, và bạn ra quyết định trên con số lệch mà không hề biết.
Thêm một lý do: mô hình ngôn ngữ trả lời với cùng một giọng tự tin dù đúng hay sai. Không có dấu hiệu nào trong câu chữ cho bạn biết dòng nào nó đoán mò. Cách duy nhất để biết là so với một chuẩn do người làm, trên một mẫu đủ lớn để thấy quy luật.
Đo một lần mất khoảng một giờ, và cho bạn ba thứ: một con số chung để biết mức độ tin cậy, danh sách nhãn yếu cần sửa định nghĩa, và một bộ review đã chấm chuẩn để dùng lại mỗi khi đổi câu lệnh hay công cụ. Bộ review chuẩn này là tài sản; nó giúp mọi thay đổi về sau được kiểm bằng số chứ không bằng cảm giác.
Chọn mẫu và chấm tay đúng cách
Cách lấy mẫu quyết định con số bạn đo có ý nghĩa hay không. Làm theo trình tự sau.
- Lấy mẫu ngẫu nhiên, không chọn tay. Dùng hàm số ngẫu nhiên của bảng tính để chọn khoảng năm mươi dòng. Chọn tay dễ nghiêng về review dễ đọc hoặc review mình nhớ.
- Đảm bảo có đủ các nhóm. Nếu có nhiều nguồn hoặc nhiều mức sao, kiểm mẫu có đủ mỗi nhóm vài dòng. Nhóm nào thiếu thì bổ sung ngẫu nhiên trong nhóm đó.
- Chấm tay trước, không nhìn kết quả AI. Ẩn cột nhãn của AI, tự gắn nhãn và sắc thái theo đúng bộ nhãn. Nhìn kết quả AI trước khi chấm sẽ khiến bạn vô thức đồng ý với nó.
- Ghi lý do ở dòng khó. Dòng nào phân vân, ghi một câu vì sao chọn nhãn đó. Những ghi chú này sau sẽ thành định nghĩa bổ sung.
- Mới mở cột AI ra so. Đánh dấu từng dòng khớp hoặc không khớp, theo từng nhãn.
Năm mươi dòng không phải con số thần kỳ; nó đủ để thấy các lỗi lớn mà vẫn chấm xong trong một buổi. Nếu một nhãn quan trọng xuất hiện quá ít trong mẫu, lấy thêm review có nhãn đó để kiểm riêng.
Tính tỉ lệ khớp: chung và từng nhãn
Con số đơn giản nhất là tỉ lệ dòng mà AI và người gắn cùng nhãn. Ví dụ giả định: trong năm mươi dòng, bốn mươi hai dòng khớp hoàn toàn, tức khoảng 84%. Con số chung này dễ nói nhưng che mất nhiều điều, vì nhãn phổ biến kéo nó lên trong khi nhãn hiếm có thể sai gần hết.
Vì vậy cần nhìn từng nhãn theo hai chiều. Chiều thứ nhất: trong những lần AI gắn nhãn “đóng gói”, bao nhiêu lần người cũng đồng ý? Nếu AI gắn mười lần mà người chỉ đồng ý sáu, AI đang gắn nhãn này quá tay. Chiều thứ hai: trong những review người gắn “đóng gói”, AI bắt được bao nhiêu? Nếu người gắn tám mà AI chỉ bắt được năm, AI đang bỏ sót. Người làm thống kê gọi hai chiều này là độ chính xác và độ bao phủ; với cửa hàng, chỉ cần nhớ là “gắn thừa” và “bỏ sót”.
Hai lỗi này có hậu quả khác nhau. Với nhãn an toàn, bỏ sót nguy hiểm hơn gắn thừa, nên chấp nhận để AI gắn rộng tay rồi người lọc lại. Với nhãn dùng để đếm xu hướng, gắn thừa làm phồng số liệu, nên cần định nghĩa chặt hơn.
Đừng quên đo cả nhãn “khác”. Nếu AI dồn quá nhiều dòng vào đây trong khi người gắn được nhãn cụ thể, câu lệnh đang khiến mô hình quá dè dặt; nếu ngược lại, nhãn khác gần như trống trong khi người thấy nhiều dòng không thuộc nhóm nào, mô hình đang ép review vào nhãn gần nhất.
Bảng cặp nhãn hay lẫn: nơi sửa định nghĩa hiệu quả nhất
Sau khi so, liệt kê những dòng không khớp theo cặp “người gắn, AI gắn”. Ví dụ giả định từ mẫu năm mươi review của một quán ăn có bán qua ứng dụng giao đồ ăn:
| Người gắn | AI gắn | Số dòng | Nhận xét |
|---|---|---|---|
| Giao đồ ăn | Hương vị | 3 | Khách chê món nguội; AI hiểu là chê vị |
| Phục vụ | Thời gian chờ | 2 | Ranh giới hai nhãn chưa rõ trong định nghĩa |
| Chê | Khen | 2 | Cả hai là câu mỉa mai |
| Khác | Giá | 1 | Khách nhắc giá nhưng chỉ để kể, không khen chê |
Bảng nhỏ này chỉ ra đúng chỗ cần sửa: thêm vào định nghĩa nhãn giao đồ ăn câu “món nguội, đổ, thiếu khi đặt qua ứng dụng thuộc nhãn này, không thuộc hương vị”; viết lại ranh giới giữa phục vụ và thời gian chờ; bổ sung ví dụ mỉa mai vào câu lệnh. Sau khi sửa, chạy lại trên chính năm mươi dòng đã chấm để xem số dòng lẫn có giảm không.
Khi người với người cũng không đồng ý
Cho hai người cùng chấm một phần mẫu. Nếu cửa hàng có hai người làm việc với review, mỗi người chấm độc lập khoảng hai mươi dòng chung. Tỉ lệ hai người khớp nhau cho biết bộ nhãn có rõ ràng hay không.
Người không khớp thì AI cũng khó khớp. Nếu hai người trong cùng cửa hàng chỉ đồng ý với nhau ở mức thấp, vấn đề nằm ở định nghĩa nhãn chứ không ở AI. Sửa định nghĩa trước, rồi mới đánh giá AI.
Có thước đo chuyên môn cho việc này. Người làm nghiên cứu dùng những hệ số đồng thuận có tính đến phần khớp do ngẫu nhiên, như hệ số kappa của Cohen. Với cửa hàng nhỏ, tỉ lệ khớp đơn giản kèm danh sách dòng không khớp là đủ dùng; nếu cần sâu hơn, trang AI Phân Tích có hướng dẫn riêng.
Thống nhất bằng thảo luận, không bằng biểu quyết. Với mỗi dòng hai người lệch nhau, ngồi đọc lại và thống nhất. Kết luận được ghi thành một câu bổ sung vào định nghĩa nhãn, để lần sau cả người lẫn AI có chung một cách hiểu.
Khớp bao nhiêu thì đủ dùng
Không có ngưỡng chung cho mọi cửa hàng, vì mức đủ dùng tuỳ vào việc bạn định làm với kết quả. Nếu chỉ muốn biết xu hướng chung, chủ đề nào nổi lên qua các tháng, thì một mức khớp vừa phải vẫn dùng được, miễn là lỗi không lệch hẳn về một phía và bạn đo theo cùng một cách mỗi tháng. Nếu định dùng kết quả để quyết định từng trường hợp, như review nào cần trả lời, review nào báo sự cố, thì yêu cầu cao hơn nhiều, và với những nhãn nhạy cảm, người vẫn phải đọc.
Một cách nghĩ thực tế là so với lựa chọn thay thế. Nếu không dùng AI, bạn có thật sự đọc và gắn nhãn đủ mọi review mỗi tháng không, hay chỉ đọc lướt vài chục cái? Một bảng phân loại có tỉ lệ khớp được đo rõ, với các nhãn yếu đã biết, thường đáng tin hơn ấn tượng từ việc đọc lướt. Điều quan trọng là biết con số đó và nói rõ nó khi chia sẻ kết quả với người khác.
Ghi kết quả đo thành sổ riêng
Mỗi lần đo, ghi một dòng vào sổ: ngày đo, công cụ và phiên bản nếu biết, câu lệnh đang dùng, bộ nhãn đang dùng, tỉ lệ khớp chung, tỉ lệ khớp của sắc thái, ba cặp nhãn hay lẫn nhất. Một dòng như vậy chỉ mất vài phút nhưng sau một năm cho bạn cả một lịch sử: lần đổi câu lệnh nào cải thiện thật, lần nào chỉ làm khác đi, công cụ nào đọc tiếng lóng của khách bạn tốt hơn.
Sổ này cũng trả lời câu hỏi mà người khác sẽ hỏi khi bạn trình bày kết quả phân loại: “Con số này tin được đến đâu?” Thay vì trả lời “khá đúng”, bạn nêu được mức khớp trên mẫu chuẩn gần nhất và những nhãn cần đọc thận trọng. Câu trả lời cụ thể như vậy giúp cả đội dùng kết quả đúng mức, không thổi phồng cũng không gạt bỏ.
Khi nào phải đo lại
Bộ năm mươi review đã chấm chuẩn được dùng lại nhiều lần. Chạy lại phép so trong các trường hợp sau:
- Đổi câu lệnh, kể cả sửa vài chữ trong định nghĩa nhãn.
- Đổi công cụ, hoặc công cụ đang dùng thông báo cập nhật mô hình mới.
- Thêm nhãn mới hoặc gộp, tách nhãn cũ.
- Thêm một nguồn review mới có cách viết khác hẳn, như review tiếng nước ngoài hay tin nhắn hỗ trợ.
- Định kỳ mỗi quý một lần dù không đổi gì, vì cách khách viết và tiếng lóng thay đổi theo thời gian.
- Khi kết quả một tháng trông bất thường mà không có sự kiện nào giải thích được.
Mỗi quý nên thay một phần bộ chuẩn bằng review mới, chấm tay theo cách cũ, để bộ chuẩn không bị cũ so với cách khách đang viết. Nhớ rằng bộ chuẩn cũng là dữ liệu của khách: lưu bản đã che tên, ở nơi có phân quyền.
Câu hỏi thường gặp
Năm mươi review có đủ để đánh giá độ chính xác không?
Đủ để phát hiện các lỗi lớn và các cặp nhãn hay lẫn, nhưng chưa đủ để nói chính xác từng nhãn hiếm. Với nhãn quan trọng mà xuất hiện ít, lấy thêm một mẫu riêng các review có nhãn đó để kiểm.
Có thể nhờ một AI khác chấm thay người không?
Có thể dùng để tham khảo, nhưng không thay được người chấm. Hai mô hình có thể sai giống nhau ở cùng những chỗ khó như mỉa mai hay tiếng lóng. Bộ chuẩn nên do người hiểu cửa hàng chấm.
Tỉ lệ khớp thấp thì nên đổi công cụ hay sửa câu lệnh trước?
Sửa câu lệnh và định nghĩa nhãn trước, vì phần lớn lỗi thường đến từ đó. Chỉ khi đã sửa mà các cặp lẫn vẫn không giảm, mới thử công cụ khác trên cùng bộ chuẩn để so công bằng.
Có cần đo độ chính xác của sắc thái riêng không?
Nên đo riêng, vì AI có thể gắn đúng chủ đề nhưng sai chiều khen chê, nhất là với câu mỉa mai. Thêm một cột so sắc thái trong cùng bảng chấm là đủ, không tốn thêm nhiều công.
Kết quả đo có nên chia sẻ với cả đội không?
Nên, kèm giải thích ngắn. Khi đội biết nhãn nào AI hay nhầm, họ sẽ đọc kỹ hơn ở đúng chỗ đó thay vì tin hết hoặc nghi hết bảng phân loại.