“As pessoas que recebem um subsídio social reservado para pessoas com deficiência (Allocation Adulte Handicapé, ou AAH) são diretamente visadas por uma variável no algoritmo”, afirma Bastien Le Querrec, especialista jurídico da La Quadrature du Net. “A pontuação de risco para pessoas que recebem AAH e que estão trabalhando aumenta.”
Dado que também classifica as famílias monoparentais mais altas do que as famílias com dois pais, os grupos argumentam que discrimina indirectamente as mães solteiras, que são estatisticamente mais propensas a serem cuidadoras únicas. “Nos critérios da versão 2014 do algoritmo, a pontuação para beneficiários divorciados há menos de 18 meses é maior”, afirma Le Querrec.
Changer de Cap diz que foi abordado tanto por mães solteiras quanto por pessoas com deficiência em busca de ajuda, após ser alvo de investigação.
A agência CNAF, responsável pela distribuição de ajuda financeira, incluindo habitação, invalidez e benefícios para crianças, não respondeu imediatamente a um pedido de comentário ou à pergunta da WIRED sobre se o algoritmo atualmente em uso mudou significativamente desde a versão de 2014.
Tal como em França, grupos de direitos humanos noutros países europeus argumentam que sujeitam os membros da sociedade com rendimentos mais baixos a uma vigilância intensa – muitas vezes com consequências profundas.
Quando dezenas de milhares de pessoas nos Países Baixos – muitas delas da comunidade ganesa do país – foram falsamente acusadas de fraudar o sistema de benefícios para crianças, não foram apenas obrigadas a devolver o dinheiro que o algoritmo disse terem supostamente roubado. Muitos deles afirmam que também ficaram com dívidas crescentes e classificações de crédito destruídas.
O problema não é a forma como o algoritmo foi concebido, mas a sua utilização no sistema de segurança social, diz Soizic Pénicaud, professor de política de IA na Sciences Po Paris, que anteriormente trabalhou para o governo francês na transparência dos algoritmos do sector público. “O uso de algoritmos no contexto da política social traz muito mais riscos do que benefícios”, diz ela. “Não vi nenhum exemplo na Europa ou no mundo em que estes sistemas tenham sido utilizados com resultados positivos.”
O caso tem ramificações além da França. Espera-se que os algoritmos de bem-estar sejam um teste inicial de como as novas regras de IA da UE serão aplicadas assim que entrarem em vigor em fevereiro de 2025. A partir de então, a “pontuação social” – o uso de sistemas de IA para avaliar o comportamento das pessoas e depois submeter alguns deles a tratamento prejudicial – serão banidos em todo o bloco.
“Muitos destes sistemas de segurança social que fazem esta deteção de fraudes podem, na minha opinião, ser uma pontuação social na prática”, diz Matthias Spielkamp, cofundador da organização sem fins lucrativos Algorithm Watch. No entanto, os representantes do sector público provavelmente discordarão dessa definição – e os argumentos sobre como definir estes sistemas provavelmente acabarão em tribunal. “Acho que esta é uma questão muito difícil”, diz Spielkamp.
