Sony AI đã phát hành một bộ dữ liệu kiểm tra tính công bằng và thiên kiến của các mô hình AI. Nó được gọi là Fair Human-Centric Image Benchmark (FHIBE, phát âm như "Phoebe"). Công ty mô tả đây là "bộ dữ liệu hình ảnh con người đa dạng toàn cầu, dựa trên sự đồng ý, có sẵn công khai đầu tiên để đánh giá thiên kiến trên nhiều tác vụ thị giác máy tính khác nhau."

Nói cách khác, nó kiểm tra mức độ mà các mô hình AI ngày nay đối xử công bằng với con người. Spoiler: Sony không tìm thấy một dataset nào từ bất kỳ công ty nào hoàn toàn đáp ứng được các tiêu chuẩn của mình.

Sony cho biết FHIBE có thể giải quyết các thách thức đạo đức và thiên kiến của ngành công nghiệp AI. Bộ dữ liệu bao gồm hình ảnh của gần 2.000 người tham gia được trả tiền từ hơn 80 quốc gia. Tất cả hình ảnh của họ đều được chia sẻ với sự đồng ý - điều không thể nói được với thực tế phổ biến là thu thập khối lượng lớn dữ liệu web.

Những người tham gia trong FHIBE có thể xóa hình ảnh của họ bất cứ lúc nào. Ảnh của họ bao gồm các chú thích ghi chú về đặc điểm nhân khẩu học và thể chất, yếu tố môi trường và thậm chí cả cài đặt máy ảnh.

Công cụ này "khẳng định những thiên kiến đã được ghi nhận trước đó" trong các mô hình AI ngày nay. Nhưng Sony cho biết FHIBE cũng có thể cung cấp chẩn đoán chi tiết về các yếu tố dẫn đến những thiên kiến đó. Một ví dụ: Một số mô hình có độ chính xác thấp hơn đối với những người sử dụng đại từ "she/her/hers" (cô ấy/của cô ấy), và FHIBE đã làm nổi bật sự biến đổi kiểu tóc lớn hơn như một yếu tố bị bỏ qua trước đây.

FHIBE cũng xác định rằng các mô hình AI ngày nay củng cố các định kiến khi được nhắc với các câu hỏi trung tính về nghề nghiệp của một chủ thể. Các mô hình được kiểm tra đặc biệt thiên lệch "chống lại các nhóm đại từ và tổ tiên cụ thể," mô tả các chủ thể là công nhân tình dục, kẻ buôn ma túy hoặc kẻ trộm.

Và khi được nhắc về tội ác mà một cá nhân đã phạm phải, các mô hình đôi khi tạo ra "phản ứng độc hại với tỷ lệ cao hơn đối với những cá nhân có tổ tiên châu Phi hoặc châu Á, những người có tông da tối hơn và những người tự nhận là 'he/him/his' (anh ấy/của anh ấy)."

Sony AI cho biết FHIBE chứng minh rằng việc thu thập dữ liệu đạo đức, đa dạng và công bằng là có thể. Công cụ hiện đã có sẵn cho công chúng và sẽ được cập nhật theo thời gian. Một bài báo phác thảo nghiên cứu đã được xuất bản trên Nature vào thứ Tư.