Mary Louis, một nhân viên bảo vệ da màu, từng háo hức khi nộp đơn thuê một căn hộ giá rẻ ở vùng ngoại ô phía đông Massachusetts vào tháng 2/2021. Chủ nhà ban đầu đồng ý cho bà thuê và công ty quản lý bất động sản cũng đảm bảo rằng hồ sơ của bà không có vấn đề gì.
Dù điểm tín dụng thấp và có một số khoản nợ thẻ tín dụng, bà vẫn được các chủ nhà cũ đánh giá tốt nhờ luôn thanh toán tiền thuê đúng hạn suốt 17 năm. Tuy nhiên, hồ sơ của Louis lại bị từ chối bởi một “dịch vụ AI bên thứ ba”.
Louis được cấp chứng từ hỗ trợ người thu nhập thấp, đảm bảo công ty quản lý sẽ nhận ít nhất một phần tiền thuê hàng tháng do chính phủ chi trả. Thêm vào đó, con trai bà, người cũng có tên trong chứng từ, có điểm tín dụng cao, chứng minh khả năng hỗ trợ tài chính nếu cần.
Tuy nhiên, vào tháng 5/2021, Louis nhận được email từ công ty quản lý thông báo: “Dịch vụ bên thứ ba đã sàng lọc và từ chối quyền thuê nhà của bạn. Thật không may, điểm số SafeRent dành cho bạn thấp hơn mức cho phép theo tiêu chuẩn của chúng tôi”.
Chương trình SafeRent chấm điểm Louis dưới 443, thấp hơn mức tối thiểu để thuê nhà, mà không kèm bất kỳ giải thích nào. Điều này buộc bà phải tìm một căn hộ đắt tiền hơn.
SafeRent sử dụng thuật toán AI để đánh giá đơn xin thuê nhà, dựa trên lịch sử tín dụng, hồ sơ phá sản, tài khoản quá hạn, hiệu suất thanh toán, và lịch sử trục xuất. Tuy nhiên, thuật toán này không xét đến lợi ích của phiếu tín dụng nhà ở – vốn hỗ trợ người có thu nhập thấp.
Louis không phải trường hợp duy nhất. Monica Douglas, sống cùng bang, cũng bị từ chối thuê nhà vì phần mềm đánh giá không đủ điều kiện, khiến cô phải chuyển đến nơi ở xa nơi làm việc.
Nhận thấy sự bất công từ các phần mềm xếp hạng như SafeRent, Louis và Douglas đã liên kết với hơn 400 người có hoàn cảnh tương tự trên khắp nước Mỹ. Đầu năm 2022, họ đệ đơn kiện tập thể tại bang Massachusetts, cáo buộc SafeRent Solutions – công ty phát triển phần mềm SafeRent – sử dụng thuật toán vi phạm luật chống phân biệt đối xử liên bang. Đơn kiện cho rằng phần mềm này chấm điểm thấp hơn với người da màu và thu nhập thấp, dựa trên điểm tín dụng tài chính mà không tính đến lịch sử thuê nhà hay khả năng trả tiền thuê.
Bà Louis chia sẻ với Guardian rằng: “Tín dụng của tôi không tốt. Nhưng AI không hiểu toàn bộ. Nó biết tôi chậm thanh toán thẻ tín dụng nhưng không biết tôi luôn trả tiền thuê nhà đầy đủ”.
Ngày 12/12, tòa án ra phán quyết SafeRent Solutions phải bồi thường 2,3 triệu USD cho các nguyên đơn, đồng thời yêu cầu dừng sử dụng hệ thống chấm điểm AI hoặc phải chấp nhận người thuê nhà có phiếu tín dụng nhà ở trong 5 năm tới.
SafeRent Solutions cho biết sẽ tuân thủ lệnh tòa án và điều chỉnh sản phẩm cốt lõi của mình, nhưng không thừa nhận hành vi phân biệt. “Chúng tôi tin rằng chức năng chấm điểm vẫn tuân thủ luật hiện hành, nhưng việc kháng cáo sẽ mất nhiều thời gian và tốn kém”, Yazmin Lopez – Người phát ngôn của công ty cho biết.
Theo AP, các vụ kiện như vụ SafeRent vẫn còn khá mới mẻ, nhưng việc sử dụng thuật toán hoặc AI để sàng lọc và đánh giá người dân Mỹ không phải là điều xa lạ. Trong suốt nhiều năm qua, AI đã âm thầm tham gia vào việc đưa ra các quyết định quan trọng, từ việc tuyển dụng, vay mua nhà đến các dịch vụ chăm sóc y tế. Phần lớn các quyết định này diễn ra tự động, mặc dù một số đã được phát hiện có sự phân biệt đối xử.
Theo báo cáo của luật sư Kevin de Liban từ tổ chức Legal Aid Society, nhiều trong số 92 triệu người thu nhập thấp ở Mỹ đã phải đối mặt với quyết định quan trọng về việc làm, nhà ở, thuốc men, trường học và trợ cấp chính phủ do AI đưa ra.
“AI không nên được phép đưa ra quyết định cuối cùng. Nó chỉ nên cung cấp các giả định khác nhau để con người có thể lựa chọn”, Liban cho biết. Ông cũng chỉ trích AI đang sử dụng “khoa học thống kê kém” để đưa ra các quyết định “vô lý”.
