Como a conjuntura do País afeta o ambiente público e o empresarial

Nem tudo são flores no mundo da Inteligência Artificial


Por Redação
Imagem: arquivo pessoal.  

 Pedro Cavalcante, Doutor em Ciência Política (UnB), Assessor Especial na CGU e Professor do mestrado e doutorado em Administração Pública no IDP e Enap

É cada vez mais consensual que inovação não é uma panaceia. Como tudo na vida tem seus prós e contras. Um exemplo disso foi o Projeto Manhattan, um dos primeiros grandes programas orientados por missão (mission-oriented innovation[1]) retratado no recém-lançado filme Oppenheimer. Se por um lado, a bomba atômica foi responsável por interromper imediatamente uma guerra mundial, por outro, custou milhares de vidas de civis, além da origem de um constante cenário de insegurança quanto a possíveis conflitos nucleares entre as potências mundiais, que vivemos desde então. Esse dilema sobre as consequências, sejam elas desejáveis ou indesejáveis, previsíveis ou imprevisíveis, em diferente magnitudes, permeia o debate sobre inovação.

continua após a publicidade

Em uma realidade cada vez mais complexa e desafiadora, é natural que os governos venham aderindo a transformações digitais e tecnológicas na formulação e implementação de suas políticas e entregas aos cidadãos. Assim, atuam como catalisadores de inovações direcionadas à geração de mais valor público. Nesse contexto, a adoção de inteligência artificial (IA) nos processos e serviços públicos, em diferentes países e áreas governamentais, apresenta-se como um caso emblemático e uma estratégia para produzir ganhos de produtividade, economicidade e processos decisórios mais precisos e ágeis. Não obstante, nem tudo são flores no mundo da IA. O uso de algoritmos também suscita externalidades derivadas sérias na medida em que podem ocasionar viés e discriminação no tratamento das demandas da população, questionamentos quanto à integridade, justiça e transparência dos critérios e das decisões automatizadas, bem como na desumanização no atendimento, com impactos negativos na qualidade da prestação de serviços, respeito à diversidade, garantia de direitos e confiança cidadã no setor público.

Esse é o caso, por exemplo, do uso de robôs na análise inicial de pedidos de benefícios do INSS. Em recente auditoria do Tribunal de Contas da União (TCU)[2], identificou-se a presença de vários desses problemas, uma vez que a resposta padrão via algoritmos ampliou significativamente o percentual de negativas sem as devidas explicações dos motivos aos segurados. Para piorar, a estratégia de automatização não foi acompanhada da adequação do quadro funcional, o que culminou no aumento da fila de espera e na extensão de prazos para finalização dos processos em até quatro vezes mais que o estabelecido pela legislação. O relatório do TCU evidenciou ainda que a iniciativa do INSS não apresenta padrões mínimos de transparência nem foco no cidadão e ao empurrar os pedidos para a instância recursal desestimula o reconhecimento de direitos legítimos, desprotege o cidadão, além de agravar a já notória exclusão digital nessa política.

Em resposta a esses problemas, surge uma nova tendência denominada Accountability Algorítmica que foi destacada no estudo da OCDE (Organização para a Cooperação e Desenvolvimento Econômico) - Global Trends in Government Innovation 2023[3]. Em linhas gerais, essa nova abordagem, influenciada por princípios democráticos e de integridade, consiste em medidas que garantam que aqueles que constroem, adquirem e usam algoritmos sejam responsáveis por seus impactos. Logo, esses dirigentes e organizações passam a ser obrigados a aprimorar as transparências dos valores e critérios embutidos nos algoritmos, gerenciar seus riscos, bem como prestar contas dos seus resultados.

continua após a publicidade

No Chile, o primeiro país da América Latina a propor medidas estruturantes, o Consejo para la Transparencia propôs que haja uma consulta pública para estabelecer instruções gerais a serem seguidas para as entidades públicas sobre transparência algorítmica. Na mesma direção, as instituições supremas de auditoria dos governos da Finlândia, Noruega, Reino Unido, Holanda e Alemanha formalizaram uma cooperação e lançaram o documento orientativo - Auditando Algoritmos de Aprendizagem de Máquina: um guia para auditores públicos[4]. Em outra iniciativa inovadora chamada Algorithmic Transparency Recording Standard (ATRS), o governo britânico exige que as organizações relatem informações claras sobre as ferramentas algorítmicas utilizadas e suas justificativas, com vistas a elevar a confiança na gestão pública, permitir a responsabilização e fomentar o engajamento cidadão.

Obviamente, a efetiva implementação de medidas de accountability algorítmico requer um arcabouço normativo apropriado e capacidade estatal de supervisão. Nesse sentido, a Lei da IA (AI Act) proposta pela União Europeia visa preencher as lacunas jurídicas vigentes e adotar uma abordagem de riscos para o uso de inteligência artificial[5]. Quanto à capacidade, vale destacar a criação da Agência Espanhola de Supervisão de Inteligência Artificial (AESIA)[6], a entidade governamental pioneira com competência direta de controle, monitoramento e regulação sobre IA, tanto para o setor público quanto para o privado.

Em suma, inegavelmente a aplicação de novas tecnologias no atual cenário de disruptura digital é salutar e, em boa medida, irreversível. Todavia, é evidente também que as consequências das inovações provenientes do uso indiscriminado de algoritmos nem sempre são previsíveis e podem impactar negativamente a qualidade dos processos e serviços públicos e a garantia de direitos ao cidadão. Portanto, esse complexo dilema impõe aos órgãos de gestão de políticas públicas e de controle o urgente desafio de construção de medidas efetivas de transparência e responsabilização na adoção do IA no governo que convirjam com os padrões éticos, participativos e inclusivos, valorados pela sociedade brasileira.

continua após a publicidade

Notas

[1] Mariana Mazzucato, Mission-oriented innovation policies: challenges and opportunities, Industrial and Corporate Change, Volume 27, Issue 5, October 2018, Pages 803-815, https://doi.org/10.1093/icc/dty034.

[2] https://portal.tcu.gov.br/imprensa/noticias/auditoria-aponta-falhas-do-inss-no-processo-de-analise-de-recursos-previdenciarios.htm.

continua após a publicidade

[3] OECD (2023), Global Trends in Government Innovation 2023, OECD Public Governance Reviews, OECD Publishing, Paris, https://doi.org/10.1787/0655b570-en.

[4] Supreme Audit Institutions of Finland, Germany, the Netherlands, Norway and the UK (2023). Auditing Machine Learning Algorithms: A White Paper for Public Auditors.

[5] https://digital-strategy.ec.europa.eu/en/policies/european-approach-artificial-intelligence.

continua após a publicidade

[6] https://espanadigital.gob.es/lineas-de-actuacion/agencia-nacional-de-supervision-de-la-inteligencia-artificial.

Imagem: arquivo pessoal.  

 Pedro Cavalcante, Doutor em Ciência Política (UnB), Assessor Especial na CGU e Professor do mestrado e doutorado em Administração Pública no IDP e Enap

É cada vez mais consensual que inovação não é uma panaceia. Como tudo na vida tem seus prós e contras. Um exemplo disso foi o Projeto Manhattan, um dos primeiros grandes programas orientados por missão (mission-oriented innovation[1]) retratado no recém-lançado filme Oppenheimer. Se por um lado, a bomba atômica foi responsável por interromper imediatamente uma guerra mundial, por outro, custou milhares de vidas de civis, além da origem de um constante cenário de insegurança quanto a possíveis conflitos nucleares entre as potências mundiais, que vivemos desde então. Esse dilema sobre as consequências, sejam elas desejáveis ou indesejáveis, previsíveis ou imprevisíveis, em diferente magnitudes, permeia o debate sobre inovação.

Em uma realidade cada vez mais complexa e desafiadora, é natural que os governos venham aderindo a transformações digitais e tecnológicas na formulação e implementação de suas políticas e entregas aos cidadãos. Assim, atuam como catalisadores de inovações direcionadas à geração de mais valor público. Nesse contexto, a adoção de inteligência artificial (IA) nos processos e serviços públicos, em diferentes países e áreas governamentais, apresenta-se como um caso emblemático e uma estratégia para produzir ganhos de produtividade, economicidade e processos decisórios mais precisos e ágeis. Não obstante, nem tudo são flores no mundo da IA. O uso de algoritmos também suscita externalidades derivadas sérias na medida em que podem ocasionar viés e discriminação no tratamento das demandas da população, questionamentos quanto à integridade, justiça e transparência dos critérios e das decisões automatizadas, bem como na desumanização no atendimento, com impactos negativos na qualidade da prestação de serviços, respeito à diversidade, garantia de direitos e confiança cidadã no setor público.

Esse é o caso, por exemplo, do uso de robôs na análise inicial de pedidos de benefícios do INSS. Em recente auditoria do Tribunal de Contas da União (TCU)[2], identificou-se a presença de vários desses problemas, uma vez que a resposta padrão via algoritmos ampliou significativamente o percentual de negativas sem as devidas explicações dos motivos aos segurados. Para piorar, a estratégia de automatização não foi acompanhada da adequação do quadro funcional, o que culminou no aumento da fila de espera e na extensão de prazos para finalização dos processos em até quatro vezes mais que o estabelecido pela legislação. O relatório do TCU evidenciou ainda que a iniciativa do INSS não apresenta padrões mínimos de transparência nem foco no cidadão e ao empurrar os pedidos para a instância recursal desestimula o reconhecimento de direitos legítimos, desprotege o cidadão, além de agravar a já notória exclusão digital nessa política.

Em resposta a esses problemas, surge uma nova tendência denominada Accountability Algorítmica que foi destacada no estudo da OCDE (Organização para a Cooperação e Desenvolvimento Econômico) - Global Trends in Government Innovation 2023[3]. Em linhas gerais, essa nova abordagem, influenciada por princípios democráticos e de integridade, consiste em medidas que garantam que aqueles que constroem, adquirem e usam algoritmos sejam responsáveis por seus impactos. Logo, esses dirigentes e organizações passam a ser obrigados a aprimorar as transparências dos valores e critérios embutidos nos algoritmos, gerenciar seus riscos, bem como prestar contas dos seus resultados.

No Chile, o primeiro país da América Latina a propor medidas estruturantes, o Consejo para la Transparencia propôs que haja uma consulta pública para estabelecer instruções gerais a serem seguidas para as entidades públicas sobre transparência algorítmica. Na mesma direção, as instituições supremas de auditoria dos governos da Finlândia, Noruega, Reino Unido, Holanda e Alemanha formalizaram uma cooperação e lançaram o documento orientativo - Auditando Algoritmos de Aprendizagem de Máquina: um guia para auditores públicos[4]. Em outra iniciativa inovadora chamada Algorithmic Transparency Recording Standard (ATRS), o governo britânico exige que as organizações relatem informações claras sobre as ferramentas algorítmicas utilizadas e suas justificativas, com vistas a elevar a confiança na gestão pública, permitir a responsabilização e fomentar o engajamento cidadão.

Obviamente, a efetiva implementação de medidas de accountability algorítmico requer um arcabouço normativo apropriado e capacidade estatal de supervisão. Nesse sentido, a Lei da IA (AI Act) proposta pela União Europeia visa preencher as lacunas jurídicas vigentes e adotar uma abordagem de riscos para o uso de inteligência artificial[5]. Quanto à capacidade, vale destacar a criação da Agência Espanhola de Supervisão de Inteligência Artificial (AESIA)[6], a entidade governamental pioneira com competência direta de controle, monitoramento e regulação sobre IA, tanto para o setor público quanto para o privado.

Em suma, inegavelmente a aplicação de novas tecnologias no atual cenário de disruptura digital é salutar e, em boa medida, irreversível. Todavia, é evidente também que as consequências das inovações provenientes do uso indiscriminado de algoritmos nem sempre são previsíveis e podem impactar negativamente a qualidade dos processos e serviços públicos e a garantia de direitos ao cidadão. Portanto, esse complexo dilema impõe aos órgãos de gestão de políticas públicas e de controle o urgente desafio de construção de medidas efetivas de transparência e responsabilização na adoção do IA no governo que convirjam com os padrões éticos, participativos e inclusivos, valorados pela sociedade brasileira.

Notas

[1] Mariana Mazzucato, Mission-oriented innovation policies: challenges and opportunities, Industrial and Corporate Change, Volume 27, Issue 5, October 2018, Pages 803-815, https://doi.org/10.1093/icc/dty034.

[2] https://portal.tcu.gov.br/imprensa/noticias/auditoria-aponta-falhas-do-inss-no-processo-de-analise-de-recursos-previdenciarios.htm.

[3] OECD (2023), Global Trends in Government Innovation 2023, OECD Public Governance Reviews, OECD Publishing, Paris, https://doi.org/10.1787/0655b570-en.

[4] Supreme Audit Institutions of Finland, Germany, the Netherlands, Norway and the UK (2023). Auditing Machine Learning Algorithms: A White Paper for Public Auditors.

[5] https://digital-strategy.ec.europa.eu/en/policies/european-approach-artificial-intelligence.

[6] https://espanadigital.gob.es/lineas-de-actuacion/agencia-nacional-de-supervision-de-la-inteligencia-artificial.

Imagem: arquivo pessoal.  

 Pedro Cavalcante, Doutor em Ciência Política (UnB), Assessor Especial na CGU e Professor do mestrado e doutorado em Administração Pública no IDP e Enap

É cada vez mais consensual que inovação não é uma panaceia. Como tudo na vida tem seus prós e contras. Um exemplo disso foi o Projeto Manhattan, um dos primeiros grandes programas orientados por missão (mission-oriented innovation[1]) retratado no recém-lançado filme Oppenheimer. Se por um lado, a bomba atômica foi responsável por interromper imediatamente uma guerra mundial, por outro, custou milhares de vidas de civis, além da origem de um constante cenário de insegurança quanto a possíveis conflitos nucleares entre as potências mundiais, que vivemos desde então. Esse dilema sobre as consequências, sejam elas desejáveis ou indesejáveis, previsíveis ou imprevisíveis, em diferente magnitudes, permeia o debate sobre inovação.

Em uma realidade cada vez mais complexa e desafiadora, é natural que os governos venham aderindo a transformações digitais e tecnológicas na formulação e implementação de suas políticas e entregas aos cidadãos. Assim, atuam como catalisadores de inovações direcionadas à geração de mais valor público. Nesse contexto, a adoção de inteligência artificial (IA) nos processos e serviços públicos, em diferentes países e áreas governamentais, apresenta-se como um caso emblemático e uma estratégia para produzir ganhos de produtividade, economicidade e processos decisórios mais precisos e ágeis. Não obstante, nem tudo são flores no mundo da IA. O uso de algoritmos também suscita externalidades derivadas sérias na medida em que podem ocasionar viés e discriminação no tratamento das demandas da população, questionamentos quanto à integridade, justiça e transparência dos critérios e das decisões automatizadas, bem como na desumanização no atendimento, com impactos negativos na qualidade da prestação de serviços, respeito à diversidade, garantia de direitos e confiança cidadã no setor público.

Esse é o caso, por exemplo, do uso de robôs na análise inicial de pedidos de benefícios do INSS. Em recente auditoria do Tribunal de Contas da União (TCU)[2], identificou-se a presença de vários desses problemas, uma vez que a resposta padrão via algoritmos ampliou significativamente o percentual de negativas sem as devidas explicações dos motivos aos segurados. Para piorar, a estratégia de automatização não foi acompanhada da adequação do quadro funcional, o que culminou no aumento da fila de espera e na extensão de prazos para finalização dos processos em até quatro vezes mais que o estabelecido pela legislação. O relatório do TCU evidenciou ainda que a iniciativa do INSS não apresenta padrões mínimos de transparência nem foco no cidadão e ao empurrar os pedidos para a instância recursal desestimula o reconhecimento de direitos legítimos, desprotege o cidadão, além de agravar a já notória exclusão digital nessa política.

Em resposta a esses problemas, surge uma nova tendência denominada Accountability Algorítmica que foi destacada no estudo da OCDE (Organização para a Cooperação e Desenvolvimento Econômico) - Global Trends in Government Innovation 2023[3]. Em linhas gerais, essa nova abordagem, influenciada por princípios democráticos e de integridade, consiste em medidas que garantam que aqueles que constroem, adquirem e usam algoritmos sejam responsáveis por seus impactos. Logo, esses dirigentes e organizações passam a ser obrigados a aprimorar as transparências dos valores e critérios embutidos nos algoritmos, gerenciar seus riscos, bem como prestar contas dos seus resultados.

No Chile, o primeiro país da América Latina a propor medidas estruturantes, o Consejo para la Transparencia propôs que haja uma consulta pública para estabelecer instruções gerais a serem seguidas para as entidades públicas sobre transparência algorítmica. Na mesma direção, as instituições supremas de auditoria dos governos da Finlândia, Noruega, Reino Unido, Holanda e Alemanha formalizaram uma cooperação e lançaram o documento orientativo - Auditando Algoritmos de Aprendizagem de Máquina: um guia para auditores públicos[4]. Em outra iniciativa inovadora chamada Algorithmic Transparency Recording Standard (ATRS), o governo britânico exige que as organizações relatem informações claras sobre as ferramentas algorítmicas utilizadas e suas justificativas, com vistas a elevar a confiança na gestão pública, permitir a responsabilização e fomentar o engajamento cidadão.

Obviamente, a efetiva implementação de medidas de accountability algorítmico requer um arcabouço normativo apropriado e capacidade estatal de supervisão. Nesse sentido, a Lei da IA (AI Act) proposta pela União Europeia visa preencher as lacunas jurídicas vigentes e adotar uma abordagem de riscos para o uso de inteligência artificial[5]. Quanto à capacidade, vale destacar a criação da Agência Espanhola de Supervisão de Inteligência Artificial (AESIA)[6], a entidade governamental pioneira com competência direta de controle, monitoramento e regulação sobre IA, tanto para o setor público quanto para o privado.

Em suma, inegavelmente a aplicação de novas tecnologias no atual cenário de disruptura digital é salutar e, em boa medida, irreversível. Todavia, é evidente também que as consequências das inovações provenientes do uso indiscriminado de algoritmos nem sempre são previsíveis e podem impactar negativamente a qualidade dos processos e serviços públicos e a garantia de direitos ao cidadão. Portanto, esse complexo dilema impõe aos órgãos de gestão de políticas públicas e de controle o urgente desafio de construção de medidas efetivas de transparência e responsabilização na adoção do IA no governo que convirjam com os padrões éticos, participativos e inclusivos, valorados pela sociedade brasileira.

Notas

[1] Mariana Mazzucato, Mission-oriented innovation policies: challenges and opportunities, Industrial and Corporate Change, Volume 27, Issue 5, October 2018, Pages 803-815, https://doi.org/10.1093/icc/dty034.

[2] https://portal.tcu.gov.br/imprensa/noticias/auditoria-aponta-falhas-do-inss-no-processo-de-analise-de-recursos-previdenciarios.htm.

[3] OECD (2023), Global Trends in Government Innovation 2023, OECD Public Governance Reviews, OECD Publishing, Paris, https://doi.org/10.1787/0655b570-en.

[4] Supreme Audit Institutions of Finland, Germany, the Netherlands, Norway and the UK (2023). Auditing Machine Learning Algorithms: A White Paper for Public Auditors.

[5] https://digital-strategy.ec.europa.eu/en/policies/european-approach-artificial-intelligence.

[6] https://espanadigital.gob.es/lineas-de-actuacion/agencia-nacional-de-supervision-de-la-inteligencia-artificial.

Atualizamos nossa política de cookies

Ao utilizar nossos serviços, você aceita a política de monitoramento de cookies.