Professor Livre Docente de inteligência artificial na Faculdade de Saúde Pública da USP

Opinião|É preciso cuidado ao exigir transparência excessiva de algoritmos de IA; leia análise


Explicabilidade pode ajudar pessoas mal intencionadas a manipular a tecnologia

Por Alexandre Chiavegatto Filho
Atualização:

Assim como no Brasil, para a maioria dos países do mundo o futebol é coisa séria. Um dos maiores objetivos de uma seleção de futebol que não envolve ganhar um troféu é estar entre as mais bem posicionadas no ranking da FIFA antes da Copa do Mundo. Isso garante que o país irá ser cabeça-de-chave do seu grupo, evitando assim jogar contra seleções como Brasil e a Alemanha já na fase inicial do torneio.

O ranking da FIFA é estabelecido por meio de um algoritmo que cria uma pontuação que depende das vitórias e derrotas de cada seleção, entre outros fatores de ajuste. A ideia da existência desse ranking é conseguir identificar quais são as melhores seleções para assim garantir um sorteio de grupos mais equilibrados na Copa do Mundo.

Tudo ia bem com o ranking até a seleção da Suíça descobrir como ele era calculado. O país, curiosamente também a sede da FIFA, eventualmente identificou que jogar amistosos internacionais era algo desvalorizado pelo algoritmo que realizava a ordenação do ranking. De repente, a Suíça parou de jogar amistosos.

continua após a publicidade
FILE PHOTO: AI (Artificial Intelligence) letters are placed on computer motherboard in this illustration taken, June 23, 2023. REUTERS/Dado Ruvic/Illustration/File Photo Foto: Dado Ruvic/Reuters

Na Copa de 2014, realizada no Brasil, a Suíça foi a cabeça-de-chave do seu grupo. Na primeira fase, perdeu de 5 a 2 para a França e depois acabou eliminada nas oitavas-de-final. Em 2017, vazou a informação em jornais internacionais de que a Suíça evitava jogar amistosos porque havia descoberto que isso a prejudicava no ranking da FIFA. O sistema de pontuação foi alterado, e desde então a Suíça nunca mais foi cabeça-de-chave.

Esse caso ilustra o risco da possibilidade de manipulação de algoritmos a partir da descoberta das suas regras de decisão. Os exemplos têm se multiplicado nos últimos anos. Atualmente existem diversos cursos para ensinar as pessoas a manipularem os algoritmos do LinkedIn para conseguirem um emprego, do Google para que o seu site apareça primeiro numa busca, entre muitos outros exemplos.

continua após a publicidade

Se as novas legislações de inteligência artificial (IA) exigirem uma transparência total de algoritmos decisórios, essas iniciativas de manipulação vão se intensificar, levando a consequências graves e imprevisíveis. Seus impactos serão mais críticos na área da saúde, onde os algoritmos de IA conseguirão em breve auxiliar profissionais de saúde em decisões importantes, como no caso da definição de prioridades em fila de transplantes para maximizar o número de vidas salvas.

Em uma situação de transparência total de algoritmos na área da saúde, pacientes mal-intencionados irão começar a mentir sobre suas características e condições clínicas numa direção que os favoreça e prejudique as pessoas que de fato mais precisam desse transplante.

A explicabilidade é sim importante em IA para garantir que os algoritmos não estão tomando decisões preconceituosas e resolver alguns problemas técnicos de vazamento de informação. Porém exigir uma transparência excessiva dos algoritmos os torna reféns do seu maior adversário: seres humanos mal-intencionados.

Assim como no Brasil, para a maioria dos países do mundo o futebol é coisa séria. Um dos maiores objetivos de uma seleção de futebol que não envolve ganhar um troféu é estar entre as mais bem posicionadas no ranking da FIFA antes da Copa do Mundo. Isso garante que o país irá ser cabeça-de-chave do seu grupo, evitando assim jogar contra seleções como Brasil e a Alemanha já na fase inicial do torneio.

O ranking da FIFA é estabelecido por meio de um algoritmo que cria uma pontuação que depende das vitórias e derrotas de cada seleção, entre outros fatores de ajuste. A ideia da existência desse ranking é conseguir identificar quais são as melhores seleções para assim garantir um sorteio de grupos mais equilibrados na Copa do Mundo.

Tudo ia bem com o ranking até a seleção da Suíça descobrir como ele era calculado. O país, curiosamente também a sede da FIFA, eventualmente identificou que jogar amistosos internacionais era algo desvalorizado pelo algoritmo que realizava a ordenação do ranking. De repente, a Suíça parou de jogar amistosos.

FILE PHOTO: AI (Artificial Intelligence) letters are placed on computer motherboard in this illustration taken, June 23, 2023. REUTERS/Dado Ruvic/Illustration/File Photo Foto: Dado Ruvic/Reuters

Na Copa de 2014, realizada no Brasil, a Suíça foi a cabeça-de-chave do seu grupo. Na primeira fase, perdeu de 5 a 2 para a França e depois acabou eliminada nas oitavas-de-final. Em 2017, vazou a informação em jornais internacionais de que a Suíça evitava jogar amistosos porque havia descoberto que isso a prejudicava no ranking da FIFA. O sistema de pontuação foi alterado, e desde então a Suíça nunca mais foi cabeça-de-chave.

Esse caso ilustra o risco da possibilidade de manipulação de algoritmos a partir da descoberta das suas regras de decisão. Os exemplos têm se multiplicado nos últimos anos. Atualmente existem diversos cursos para ensinar as pessoas a manipularem os algoritmos do LinkedIn para conseguirem um emprego, do Google para que o seu site apareça primeiro numa busca, entre muitos outros exemplos.

Se as novas legislações de inteligência artificial (IA) exigirem uma transparência total de algoritmos decisórios, essas iniciativas de manipulação vão se intensificar, levando a consequências graves e imprevisíveis. Seus impactos serão mais críticos na área da saúde, onde os algoritmos de IA conseguirão em breve auxiliar profissionais de saúde em decisões importantes, como no caso da definição de prioridades em fila de transplantes para maximizar o número de vidas salvas.

Em uma situação de transparência total de algoritmos na área da saúde, pacientes mal-intencionados irão começar a mentir sobre suas características e condições clínicas numa direção que os favoreça e prejudique as pessoas que de fato mais precisam desse transplante.

A explicabilidade é sim importante em IA para garantir que os algoritmos não estão tomando decisões preconceituosas e resolver alguns problemas técnicos de vazamento de informação. Porém exigir uma transparência excessiva dos algoritmos os torna reféns do seu maior adversário: seres humanos mal-intencionados.

Assim como no Brasil, para a maioria dos países do mundo o futebol é coisa séria. Um dos maiores objetivos de uma seleção de futebol que não envolve ganhar um troféu é estar entre as mais bem posicionadas no ranking da FIFA antes da Copa do Mundo. Isso garante que o país irá ser cabeça-de-chave do seu grupo, evitando assim jogar contra seleções como Brasil e a Alemanha já na fase inicial do torneio.

O ranking da FIFA é estabelecido por meio de um algoritmo que cria uma pontuação que depende das vitórias e derrotas de cada seleção, entre outros fatores de ajuste. A ideia da existência desse ranking é conseguir identificar quais são as melhores seleções para assim garantir um sorteio de grupos mais equilibrados na Copa do Mundo.

Tudo ia bem com o ranking até a seleção da Suíça descobrir como ele era calculado. O país, curiosamente também a sede da FIFA, eventualmente identificou que jogar amistosos internacionais era algo desvalorizado pelo algoritmo que realizava a ordenação do ranking. De repente, a Suíça parou de jogar amistosos.

FILE PHOTO: AI (Artificial Intelligence) letters are placed on computer motherboard in this illustration taken, June 23, 2023. REUTERS/Dado Ruvic/Illustration/File Photo Foto: Dado Ruvic/Reuters

Na Copa de 2014, realizada no Brasil, a Suíça foi a cabeça-de-chave do seu grupo. Na primeira fase, perdeu de 5 a 2 para a França e depois acabou eliminada nas oitavas-de-final. Em 2017, vazou a informação em jornais internacionais de que a Suíça evitava jogar amistosos porque havia descoberto que isso a prejudicava no ranking da FIFA. O sistema de pontuação foi alterado, e desde então a Suíça nunca mais foi cabeça-de-chave.

Esse caso ilustra o risco da possibilidade de manipulação de algoritmos a partir da descoberta das suas regras de decisão. Os exemplos têm se multiplicado nos últimos anos. Atualmente existem diversos cursos para ensinar as pessoas a manipularem os algoritmos do LinkedIn para conseguirem um emprego, do Google para que o seu site apareça primeiro numa busca, entre muitos outros exemplos.

Se as novas legislações de inteligência artificial (IA) exigirem uma transparência total de algoritmos decisórios, essas iniciativas de manipulação vão se intensificar, levando a consequências graves e imprevisíveis. Seus impactos serão mais críticos na área da saúde, onde os algoritmos de IA conseguirão em breve auxiliar profissionais de saúde em decisões importantes, como no caso da definição de prioridades em fila de transplantes para maximizar o número de vidas salvas.

Em uma situação de transparência total de algoritmos na área da saúde, pacientes mal-intencionados irão começar a mentir sobre suas características e condições clínicas numa direção que os favoreça e prejudique as pessoas que de fato mais precisam desse transplante.

A explicabilidade é sim importante em IA para garantir que os algoritmos não estão tomando decisões preconceituosas e resolver alguns problemas técnicos de vazamento de informação. Porém exigir uma transparência excessiva dos algoritmos os torna reféns do seu maior adversário: seres humanos mal-intencionados.

Assim como no Brasil, para a maioria dos países do mundo o futebol é coisa séria. Um dos maiores objetivos de uma seleção de futebol que não envolve ganhar um troféu é estar entre as mais bem posicionadas no ranking da FIFA antes da Copa do Mundo. Isso garante que o país irá ser cabeça-de-chave do seu grupo, evitando assim jogar contra seleções como Brasil e a Alemanha já na fase inicial do torneio.

O ranking da FIFA é estabelecido por meio de um algoritmo que cria uma pontuação que depende das vitórias e derrotas de cada seleção, entre outros fatores de ajuste. A ideia da existência desse ranking é conseguir identificar quais são as melhores seleções para assim garantir um sorteio de grupos mais equilibrados na Copa do Mundo.

Tudo ia bem com o ranking até a seleção da Suíça descobrir como ele era calculado. O país, curiosamente também a sede da FIFA, eventualmente identificou que jogar amistosos internacionais era algo desvalorizado pelo algoritmo que realizava a ordenação do ranking. De repente, a Suíça parou de jogar amistosos.

FILE PHOTO: AI (Artificial Intelligence) letters are placed on computer motherboard in this illustration taken, June 23, 2023. REUTERS/Dado Ruvic/Illustration/File Photo Foto: Dado Ruvic/Reuters

Na Copa de 2014, realizada no Brasil, a Suíça foi a cabeça-de-chave do seu grupo. Na primeira fase, perdeu de 5 a 2 para a França e depois acabou eliminada nas oitavas-de-final. Em 2017, vazou a informação em jornais internacionais de que a Suíça evitava jogar amistosos porque havia descoberto que isso a prejudicava no ranking da FIFA. O sistema de pontuação foi alterado, e desde então a Suíça nunca mais foi cabeça-de-chave.

Esse caso ilustra o risco da possibilidade de manipulação de algoritmos a partir da descoberta das suas regras de decisão. Os exemplos têm se multiplicado nos últimos anos. Atualmente existem diversos cursos para ensinar as pessoas a manipularem os algoritmos do LinkedIn para conseguirem um emprego, do Google para que o seu site apareça primeiro numa busca, entre muitos outros exemplos.

Se as novas legislações de inteligência artificial (IA) exigirem uma transparência total de algoritmos decisórios, essas iniciativas de manipulação vão se intensificar, levando a consequências graves e imprevisíveis. Seus impactos serão mais críticos na área da saúde, onde os algoritmos de IA conseguirão em breve auxiliar profissionais de saúde em decisões importantes, como no caso da definição de prioridades em fila de transplantes para maximizar o número de vidas salvas.

Em uma situação de transparência total de algoritmos na área da saúde, pacientes mal-intencionados irão começar a mentir sobre suas características e condições clínicas numa direção que os favoreça e prejudique as pessoas que de fato mais precisam desse transplante.

A explicabilidade é sim importante em IA para garantir que os algoritmos não estão tomando decisões preconceituosas e resolver alguns problemas técnicos de vazamento de informação. Porém exigir uma transparência excessiva dos algoritmos os torna reféns do seu maior adversário: seres humanos mal-intencionados.

Assim como no Brasil, para a maioria dos países do mundo o futebol é coisa séria. Um dos maiores objetivos de uma seleção de futebol que não envolve ganhar um troféu é estar entre as mais bem posicionadas no ranking da FIFA antes da Copa do Mundo. Isso garante que o país irá ser cabeça-de-chave do seu grupo, evitando assim jogar contra seleções como Brasil e a Alemanha já na fase inicial do torneio.

O ranking da FIFA é estabelecido por meio de um algoritmo que cria uma pontuação que depende das vitórias e derrotas de cada seleção, entre outros fatores de ajuste. A ideia da existência desse ranking é conseguir identificar quais são as melhores seleções para assim garantir um sorteio de grupos mais equilibrados na Copa do Mundo.

Tudo ia bem com o ranking até a seleção da Suíça descobrir como ele era calculado. O país, curiosamente também a sede da FIFA, eventualmente identificou que jogar amistosos internacionais era algo desvalorizado pelo algoritmo que realizava a ordenação do ranking. De repente, a Suíça parou de jogar amistosos.

FILE PHOTO: AI (Artificial Intelligence) letters are placed on computer motherboard in this illustration taken, June 23, 2023. REUTERS/Dado Ruvic/Illustration/File Photo Foto: Dado Ruvic/Reuters

Na Copa de 2014, realizada no Brasil, a Suíça foi a cabeça-de-chave do seu grupo. Na primeira fase, perdeu de 5 a 2 para a França e depois acabou eliminada nas oitavas-de-final. Em 2017, vazou a informação em jornais internacionais de que a Suíça evitava jogar amistosos porque havia descoberto que isso a prejudicava no ranking da FIFA. O sistema de pontuação foi alterado, e desde então a Suíça nunca mais foi cabeça-de-chave.

Esse caso ilustra o risco da possibilidade de manipulação de algoritmos a partir da descoberta das suas regras de decisão. Os exemplos têm se multiplicado nos últimos anos. Atualmente existem diversos cursos para ensinar as pessoas a manipularem os algoritmos do LinkedIn para conseguirem um emprego, do Google para que o seu site apareça primeiro numa busca, entre muitos outros exemplos.

Se as novas legislações de inteligência artificial (IA) exigirem uma transparência total de algoritmos decisórios, essas iniciativas de manipulação vão se intensificar, levando a consequências graves e imprevisíveis. Seus impactos serão mais críticos na área da saúde, onde os algoritmos de IA conseguirão em breve auxiliar profissionais de saúde em decisões importantes, como no caso da definição de prioridades em fila de transplantes para maximizar o número de vidas salvas.

Em uma situação de transparência total de algoritmos na área da saúde, pacientes mal-intencionados irão começar a mentir sobre suas características e condições clínicas numa direção que os favoreça e prejudique as pessoas que de fato mais precisam desse transplante.

A explicabilidade é sim importante em IA para garantir que os algoritmos não estão tomando decisões preconceituosas e resolver alguns problemas técnicos de vazamento de informação. Porém exigir uma transparência excessiva dos algoritmos os torna reféns do seu maior adversário: seres humanos mal-intencionados.

Opinião por Alexandre Chiavegatto Filho

Professor Livre Docente de inteligência artificial na Faculdade de Saúde Pública da USP

Atualizamos nossa política de cookies

Ao utilizar nossos serviços, você aceita a política de monitoramento de cookies.