Enviado para prisão por um programa de software com algoritimos secretos
No estado americano de Wisconsin, isto já é uma realidade.
Quando o juiz John G. Roberts Jr. Visitou o Instituto Politécnico Rensselaer no mês passado, foi-lhe perguntada uma pergunta surpreendente, uma sobre a ficção científica. "Você pode prever um dia", perguntou Shirley Ann Jackson, presidente do colégio no norte de Nova York, "quando as máquinas inteligentes, movidas com inteligências artificiais, ajudarão com a determinação de fatos no tribunal ou, mais polêmica ainda, com a tomada de decisões judiciais?
A resposta do chefe da justiça foi mais surpreendente do que a pergunta."É um dia que está aqui", disse ele,"e está colocando uma pressão significativa sobre a forma como o judiciário vai sobre fazer as coisas."Ele pode ter pensado no caso de um homem de Wisconsin, Eric L. Loomis, que foi condenado a seis anos de prisão baseado em parte em um software proprietário da empresa privada.
Loomis diz que seu direito ao devido processo foi violado pela consideração de um juiz de um relatório gerado pelo algoritmo secreto do software, um Sr. Loomis foi incapaz de inspecionar ou desafiar. Em março, num sinal de que os juízes ficaram intrigados com o caso de Loomis, pediram ao governo federal que apresentasse uma carta de amizade sobre a questão de saber se o tribunal deveria ouvi-lo.
O relatório no caso do Sr. Loomis foi produzido por um produto chamado Compas, vendido pela Northpointe Inc. Ele incluiu uma série de gráficos de barras que avaliou o risco de que o Sr. Loomis cometer mais crimes. O juiz concordou, dizendo ao Sr. Loomis que" você está identificado, por meio da avaliação de Compas, como "um alto risco de violência, alto risco de reincidência".
Um indivíduo que é um alto risco para a comunidade. "O Supremo Tribunal de Wisconsin decidiu contra o Sr. Loomis. O relatório acrescentou informações valiosas, disse, e Loomis teria obtido a mesma sentença com base apenas nos fatores habituais, incluindo seu crime - fugindo da polícia em um carro - e sua história criminal. Ao mesmo tempo, o tribunal parecia desconfortável com o uso de um algoritmo secreto para enviar um homem para a prisão.
A juíza Ann Walsh Bradley, escrevendo para o tribunal, discutiu, por exemplo, um relatório da ProPublica sobre a Compas que concluiu que os réus pretos no condado de Broward, na Flórida," eram muito mais prováveis do que os brancos acusados de serem considerados incorretamente Taxa de reincidência ".
O juiz Bradley notou que Northpointe havia contestado a análise. Ainda assim, ela escreveu," este estudo e outros levantam preocupações sobre como os fatores de risco de uma avaliação de Compas se correlacionam com a raça ". No final, porém, o juiz Bradley permitiu que os juízes de sentença usassem o Compas. Eles devem levar em conta as limitações do algoritmo eo segredo que o rodeia, ela escreveu, mas disse que o software pode ser útil"para fornecer o tribunal de condenação com tanta informação quanto possível, a fim de chegar a uma sentença individualizada.
O juiz Bradley fez com que o papel de Compas no julgamento soasse como a consideração da raça em um programa holístico de admissão da universidade seletiva. Pode ser um fator entre muitos, ela escreveu, mas não o determinante. Ao exortar a Suprema Corte dos Estados Unidos a não ouvir o caso, o procurador-geral de Wisconsin, Brad D. Schimel, pareceu reconhecer que as questões no caso eram substanciais. Mas ele disse que os juízes não devem se mover muito rápido.
"O uso de avaliações de risco por tribunais de condenação é uma questão nova, que precisa de tempo para percolação adicional", escreveu Schimel.
Ele acrescentou que o Sr. Loomis "estava livre para questionar a avaliação e explicar suas possíveis falhas." Mas é um pouco difícil ver como ele poderia fazer isso sem acesso ao algoritmo em si. A empresa que comercializa a Compas diz que sua fórmula é um segredo comercial.
"A chave para nosso produto são os algoritmos, e eles são proprietários", disse um de seus executivos no ano passado. "Nós os criamos, e nós não os liberamos porque é certamente uma parte essencial de nosso negócio."
Compas e outros produtos com algoritmos semelhantes desempenham um papel nos sistemas de justiça penal de muitos estados. "Essas técnicas proprietárias são usadas para definir fiança, determinar sentenças e até mesmo contribuir para determinações sobre culpa ou inocência", um relatório do Electronic Privacy Information Center encontrado.
"No entanto, o funcionamento interno dessas ferramentas está em grande parte oculto à vista do público".
Em 1977, o Supremo Tribunal decidiu que um homem da Flórida não poderia ser condenado a morrer com base em um relatório de condenação que continha passagens confidenciais que ele não estava autorizado a ver. A decisão do Supremo Tribunal foi fraturada, e a opinião dominante pareceu afirmar que o princípio se aplicava apenas em casos de pena capital.
O Sr. Schimel ecoou esse ponto e acrescentou que o Sr. Loomis sabia tudo o que a corte sabia. Os juízes também não têm acesso ao algoritmo, ele escreveu. Há boas razões para usar dados para garantir a uniformidade na condenação. É menos claro que a uniformidade deve ocorrer ao preço do segredo, especialmente quando a justificação do sigilo é a proteção dos lucros de uma empresa privada.
O governo certamente pode desenvolver seus próprios algoritmos e permitir que advogados de defesa os avaliem. Em Rensselaer no mês passado, o presidente da Suprema Corte, Roberts, disse que os juízes tinham trabalho a fazer em uma era de mudanças rápidas.
"O impacto da tecnologia tem sido generalizado", disse ele, "e ainda não absorvemos como isso vai mudar a maneira como fazemos negócios".
0 Comentários
Faça um comentário construtivo para esse documento.