Opinião | Inteligência artificial explicável: transparência e responsabilidade

Com o avanço tecnológico e a premente busca por segurança no uso da Inteligência Artificial (IA), a INTERPOL (Organização Internacional de Polícia Criminal) e o UNICRI (Instituto Inter-regional de Pesquisas das Nações Unidas para o crime e a Justiça) lançaram o Guia Toolkit for Responsible AI Innovation in Law Enforcement, tendo como base recomendações para o uso desta tecnologia na segurança pública.

O guia foi anunciado no Congresso de Ciência Policial da INTERPOL em Singapura. Com o mencionado guia pretende-se oferecer orientações para órgãos de segurança pública (em especial aos gestores e líderes), tanto no desenvolvimento, quanto no uso responsável da tecnologia, prestigiando os princípios éticos e humanos.

Na mesma linha adotada por países da Europa, de que a regulação não deve seguir parâmetros rígidos ou fechados, com o fim de evitar entraves à inovação, o guia prevê atualização constante, levando em conta a amplitude do tema e do avanço tecnológico em tempo rápido o bastante para que a legislação estática não seja entrave e abranja o máximo de possibilidades voltadas à proteção dos usuários.

Segundo o documento, a inovação responsável em IA requer a adoção de uma cultura organizacional, cujos componentes são as pessoas, os conhecimentos e os processos.

Da fusão destes elementos, nasce a capacitação dos tomadores de decisão no uso da tecnologia e da inovação. Mas não basta: é preciso que eles sigam atentos aos direitos humanos, aos princípios éticos e à necessidade de regulação atualizada frente às transformações tecnológicas.

O guia é composto de sete documentos, os quais abordam desde os fundamentos técnicos da IA até avaliações de risco e modelo de questionário.

Também merece destaque o fato de o documento apresentar diretrizes aos países que o adotem, mas respeitando a autonomia dos Estados que venham a utilizá-lo, quer contribuindo com os debates, quer oferecendo propostas de melhorias.

Os documentos tratam de diversos temas. São eles: Organizational Roadmap, trazendo o mapa da organização e seus componentes; Introduction to Responsible AI Innovation; explicando os conceitos básicos da inteligência artificial; Principles for Responsible AI Innovation; contendo os princípios a serem observados no desenvolvimento de sistemas de IA; Responsible AI Innovation In Action, no qual são abordados exemplos práticos do uso da IA; Technical Reference Book; explicando as referências técnicas; Risk Assesment Questionnaire, com a proposta de Questionário de Risco.

Trataremos, neste artigo, do capítulo referente ao Mapa Organizacional, cujas premissas são três perguntas a serem enfrentadas quando se trata de desenvolvimento de sistemas de IA responsável: o que, quando e quem?

1. O que? O Roteiro Organizacional oferece orientações para a utilização responsável da IA, destacando os componentes organizacionais;
2. Quando? As avaliações propostas no guia são sugeridas para o desenvolvimento dos sistemas, desde a sua ideação, até a aplicação e quantificação dos resultados;
3. Quem? O roteiro se destina aos chefes de polícia e à liderança executiva, a cargos de tomada de decisão em empresas e setores que utilizam a tecnologia e a inovação, no uso de IA. Também podem ser de interesse aos gestores que integram a comunidade da IA e aos aplicadores da Lei.

O capítulo do Mapa Organizacional explora a composição de pessoas, experiências e processos. Assim, na condução dos processos para o desenvolvimento de sistemas de IA, os líderes precisam atentar para a experimentação, prevendo a infraestrutura a ser utilizada, as etapas a serem seguidas, os marcos a serem traçados, detalhares os resultados desejados e promoverem a análise dos dados obtidos ao fim específico no uso do sistema de IA escolhido.

Vale lembrar, ainda, que as condutas pensadas pelos líderes e gestores deverão buscar sempre valores, objetivos, atitudes e práticas compartilhadas, tanto com os colaboradores (ambiente interno), quanto com o público externo (usuário do serviço).

Além do compartilhamento de práticas e objetivos – a chamada cultura colaborativa – a transparência dos processos influenciará diretamente na comunicação interna e externa nos processos de desenvolvimento e de uso dos sistemas de IA, o que promoverá o atendimento das expectativas do público destinatário.

Para além de atender às expectativas, a condução responsável resultará na confiança pública, pré-requisito para que os sistemas de IA estejam em consonância com o dever de todo servidor público de bem atender à comunidade para o qual foi designado.

Ademais, ao se cercarem de pessoas com expertise, atribuindo-lhes tarefas, os líderes e gestores atrairão a confiança de profissionais, com quem terão oportunidade de celebrar parcerias, em especial na indústria, no meio acadêmico e na sociedade civil. São as chamadas políticas de estratégia responsável.

Para superarem resistências, tanto nos processos de ideação quanto de implementação dos sistemas de IA, sugerem-se métodos de feedback, em que será possível analisar os entraves encontrados quando se usa as tecnologias, definindo estratégias no ambiente tecnológico, rico em mudanças abruptas, avanços diários e progressões ao desconhecido para os humanos.

Ora, ao se aferir que um sistema específico de IA precise de decisão de reversão, não será demérito recuar, refazer a rota e traçar novos objetivos, minimizando danos.

Citem-se os BCW’s, sistemas criados em resposta a casos de violência policial, a fim de garantir a transparência e a responsabilização dos agentes de segurança pública, difundidos na América do Norte, Europa, África do Sul, Ásia e Oceania, especialmente em comunidades de minorias étnicas e que o uso por policiais propicia o atendimento das reclamações de cidadãos diante do noticiado uso excessivo de força policial.

Mas não basta liderar e conhecer as estruturas dos processos. Os gestores também precisam atentarem-se para as competências dos profissionais envolvidos na jornada tecnológica, assim definidas:

1. Competências técnicas, consistentes no conjunto de habilidades necessárias para aplicar métodos técnicos visando resolver problemas específicos;
2. Competências de domínio, referindo-se às competências propriamente ditas de policiamento e de conhecimento do sistema de justiça criminal;
3. de condução dos processos, incluindo competências em torno da legislação dos direitos humanos e princípios éticos que norteiam a implantação de sistemas de IA de forma responsável;
4. socioculturais, referentes às competências exigidas no trato com o público quanto no engajamento dentro da comunidade em que os agentes atuam, conhecendo as suas peculiaridades.

Em que pese não ser vinculativo, o guia traz subsídios aos países aderentes - tanto para uso quanto para contribuições de melhoria - que vão dos princípios para o uso das tecnologias, questões técnicas de Inteligência Artificial, Mapa Organizacional, Questionário de Risco, dentre outros.

Assim, repisamos a importância dos princípios éticos que norteiam o uso da IA responsável. Longe de esgotar o tema, tampouco priorizar alguns dos princípios em detrimento de outros, dentro do escopo de nosso trabalho, destacaremos os seguintes:

1. Os sistemas de IA demandam robutez, segurança e acurácia, a fim de que sejam implementados para resolver problemas. Tanto assim que as sandboxes são importantes instrumentos para garantir aos usuários a segurança de uso com o fim de produzir os resultados que se esperam dos sistemas.

2. A importância da rastreabilidade e da auditabilidade dos sistemas, para que tanto os desenvolvedores, quanto os usuários, tenham conhecimento de como os processos se formam, quais dados são inseridos e os caminhos trilhados pela máquina visando a obtenção dos resultados para os quais foram criados.

Ora, por serem rastreáveis (auditáveis), tornam-se seguros; e, sendo seguros, tornam-se confiáveis aos olhos e aos sentidos dos usuários. Dessa relação travada entre homens e máquinas, criam-se sistemas que sempre buscarão evitar resultados eventualmente discriminatórios ou prejudiciais aos usuários e/ou destinatários.

3. A previsão da minimização de prejuízos encontra congruência com o princípio de que o ser humano está no centro de todos os sistemas de IA, cabendo-lhe a supervisão, a qualquer tempo, de todos os processos de ideação e implementação.

Afinal, o avanço tecnológico deve sempre prestigiar a autonomia humana, a serviço dos seres humanos, prezando por sua relação com os demais seres e com o meio ambiente.

A preocupação com o uso da IA de forma responsável fez crescer o movimento de XAI, cabendo-nos observar que:

(…) O termo foi cunhado pela primeira vez em 2004 por Van Lent et al., para descrever a capacidade de seu sistema de explicar o comportamento de entidades controladas por IA em aplicações de jogos de simulação.[1]

Várias conferências internacionais anuais têm se dedicado a debater o uso da inteligência artificial explicável, os sistemas inteligentes e a importância da interação homem-máquina como mecanismo de busca de transparência nas tarefas preditivas e segurança no uso dos resultados obtidos. Citem-se, nesse sentido: workshop de Justiça, Responsabilidade e Transparência (FAT-ML) no KDD 2014–2018;Workshop ICML sobre Interpretabilidade Humana no Aprendizado de Máquina (WHI) 2016–2018; Workshop NIPS 2016 sobre ML Interpretável para Sistemas Complexos, IJCAI 2017 e IJCAI/ECAI 2018; Workshops sobre Inteligência Artificial Explicável , XCI 2017 sobre Inteligência Computacional Explicável e IJCNN 2017 sobre Explicabilidade de Máquinas de Aprendizagem; Workshop CD-MAKE 2018 sobre Inteligência Artificial Explicável; Workshop ICAPS 2018 sobre Planejamento de IA Explicável; Workshop HRI 2018 sobre Sistemas Robóticos Explicáveis; workshop ACM Intelligent User Interfaces (IUI) 2018 sobre sistemas inteligentes explicáveis (EXSS 2018) [13] , IPMU 2018

O mundo acadêmico tem se preocupado em estudar o tema, além de pesquisadores na área civil e militar. Vale mencionar:

(…) Uma análise de alto nível do cenário da XAI leva a identificar os principais intervenientes e influenciadores por detrás desta intensa dinâmica. Na verdade, dois dos atores mais proeminentes que realizam pesquisas sobre XAI são: (i) um grupo de acadêmicos que operam sob a sigla FAT* e (ii) pesquisadores civis e militares financiados pela Agência de Projetos de Pesquisa Avançada de Defesa (DARPA).

(…) Os acadêmicos do FAT* (ou seja, justiça, responsabilidade e transparência em múltiplas aplicações de inteligência artificial, aprendizado de máquina, ciência da computação, ciências jurídicas, sociais e políticas) concentram-se principalmente em promover e permitir explicabilidade e justiça em sistemas algorítmicos de tomada de decisão com aspectos sociais e impacto comercial. Com mais de 500 participantes e mais de 70 artigos, a conferência FAT*, que realizou o seu quinto evento anual em Fevereiro de 2018, reúne anualmente investigadores e profissionais interessados na justiça, responsabilização e transparência nos sistemas sociotécnicos.[2]

Além do empenho dos acadêmicos do mundo todo no estudo de sistemas de IA explicáveis, a repercussão do uso da inteligência artificial alcançou o campo econômico e das atividades empresariais, que também vêm empreendendo recursos para desenvolver técnicas capazes de tornar explicáveis os sistemas inteligentes. Vejamos:

(…) As empresas que estão na vanguarda em contribuir para tornar a IA mais explicável incluem a H2O.ai com seu produto de IA sem driver e a Microsoft com sua próxima geração do Azure: Azure ML Workbench. 1 Kyndi com sua plataforma XAI para governo, serviços financeiros e saúde, 2 e FICO com seus modelos de risco de crédito. 3 Para levar o estado do XAI ainda mais longe, a FICO está executando o Desafio de Aprendizado de Máquina Explicável (desafio XML). O objetivo deste desafio é identificar novas abordagens para a criação de modelos de IA baseados em aprendizado de máquina com alta precisão e explicabilidade. Por outro lado, a Cognilytica examinou em sua “Matriz de Posicionamento de IA” (CAPM) o mercado de produtos de IA. Propôs um gráfico onde as tecnologias XAI são indiscutivelmente identificadas como implementações altamente sofisticadas além do limite da tecnologia real.[3]

Concluímos que o tema Inteligência Artificial é vasto e em constante mutação. Devemos ficar muito atentos aos processos de criação de sistemas de inteligência artificial, como os dados são selecionados, como a máquina faz a leitura desses dados, quais resultados vêm sendo obtidos e como os humanos se relacionam e se comunicam com as máquinas “pensantes”.

A tecnologia segue em ritmo alucinante, no qual a legislação mundial vigente não consegue acompanhá-la. Por isso tão importante que profissionais da área jurídica, da segurança pública, das academias, das áreas técnicas estejam em parceria colaborativa. Só assim seguiremos para uma sociedade mais justa, com aproveitamento das habilidades que somente os humanos podem realizar, garantindo, simultaneamente: emprego e dignidade às pessoas, com segurança e versatilidade no processamento e análise de dados/informações, em prol dos interesses sociais supremos, os direitos fundamentais.

[1] ADADI, Amina; BERRADA, Mohammed. Peeking Inside the Black-Box: A Survey on Explainable Artificial Intelligence (XAI). IEEE Access, v. 6, 17 set. 2018, p. 1-23. Disponível: [https://ieeexplore.ieee.org/document/8466590].

[2] ADADI, Amina; BERRADA, Mohammed. Peeking Inside the Black-Box: A Survey on Explainable Artificial Intelligence (XAI). IEEE Access, v. 6, 17 set. 2018, p. 1-23. Disponível: [https://ieeexplore.ieee.org/document/8466590].

[3] Ibidem.

Este texto reflete a opinião do(a) autor(a). Esta série é uma parceria entre o blog do Fausto Macedo e o Movimento do Ministério Público Democrático (MPD). Os artigos têm publicação periódica