Professora e ex-alunas do Sesi criam app de ‘tradução simultânea’ para a língua dos sinais


Solução nascida em cursos do Sesi em Campinas facilita a comunicação com pessoas com deficiência auditiva

Por Lílian Cunha
Atualização:

No Brasil, estima-se que tenham algum problema de audição 10 milhões de pessoas, das quais 2,7 milhões não ouvem nada, segundo o Instituto Brasileiro de Geografia e Estatística (IBGE). Como somente 2 milhões de brasileiros sabem usar a Língua Brasileira de Sinais (Libras), há uma barreira de comunicação.

Para ajudar a contorná-la, uma professora e três ex-alunas do Serviço Social da Indústria (Sesi) desenvolveram uma ferramenta que em tempo real transforma os sinais em linguagem oral.

continua após a publicidade

O aplicativo mapeia as expressões faciais e faz o reconhecimento do esqueleto da mão para decifrar os sinais de Libras. Além disso, utiliza transcrição de áudio para texto e tradução por imagem e inclui um minidicionário.

Débora, Larissa, Lívia e Vanessa, as criadoras do app Bilinguismo Foto: Ricardo Lima/Estadão

“Os não ouvintes ficam limitados na hora de se comunicar e de nos compreender. Muitas vezes só eles mesmos, dentro da própria cultura surda, se comunicam com Libras”, diz Larissa Matuo, uma das desenvolvedoras da ferramenta.

continua após a publicidade

Larissa e Lívia Yasmim Araújo Amaral são ex-alunas do Sesi Amoreiras, em Campinas. Formaram-se nos cursos de análise e desenvolvimento de sistemas e Ciência da Computação e se uniram à amiga Vanessa Mendes, da área de Sistemas de Informação, para criar o app. Elas foram auxiliadas por Débora Venâncio, professora de português do Sesi Campinas.

O aplicativo ganhou o nome de Bilinguismo por fazer a tradução da linguagem tanto para os surdos quanto para os ouvintes. “Os tradutores disponíveis atualmente limitam e excluem um lado da conversa. Não existe uma troca”, explica Larissa.

“Já funciona bem em computadores. Agora estamos transportando essa tecnologia para o celular”, diz Lívia. O trio acredita que o app para celulares estará disponível em cerca de um ano.

continua após a publicidade

Como funciona

Na prática, quando um surdo e um ouvinte forem conversar, eles usarão a câmera de seus celulares para captar o som e as imagens dos sinais. O aplicativo reconhece os movimentos da mão e traduz os sinais de Libras para o português. Ele também faz o caminho inverso: mostra em sinais a linguagem oral.

A tecnologia não envolve internet, mas sim as redes neurais, complexos sistemas matemáticos capazes de fazer uma máquina aprender tarefas por conta própria.

continua após a publicidade

Todo o processo de criação foi feito pelas três estudantes e pela professora, com apoio do Sesi. As três ex-alunas trabalham agora na Bosch, em Campinas, que as contratou no programa de desenvolvimento de aprendizes de software. “Estamos proporcionando a elas o ambiente para a aplicação de um piloto internamente”, diz Henrique Doná, chefe de treinamento técnico da Bosch. “Além disso, apoiamos com mentorias e acesso às nossas áreas de tecnologia e inovação para consolidar esta solução.”

O app já ganhou quatro prêmios em feiras brasileiras de ciências e engenharia e participa do London International Youth Science Forum (LIYSF), neste fim de semana.

“Conheço algumas iniciativas nesse sentido, mas nenhuma se propõe a fazer a tradução em tempo real para facilitar a comunicação entre surdos e ouvintes como essa”, diz a consultora em diversidade e inclusão Flavia Cortinovis.

No Brasil, estima-se que tenham algum problema de audição 10 milhões de pessoas, das quais 2,7 milhões não ouvem nada, segundo o Instituto Brasileiro de Geografia e Estatística (IBGE). Como somente 2 milhões de brasileiros sabem usar a Língua Brasileira de Sinais (Libras), há uma barreira de comunicação.

Para ajudar a contorná-la, uma professora e três ex-alunas do Serviço Social da Indústria (Sesi) desenvolveram uma ferramenta que em tempo real transforma os sinais em linguagem oral.

O aplicativo mapeia as expressões faciais e faz o reconhecimento do esqueleto da mão para decifrar os sinais de Libras. Além disso, utiliza transcrição de áudio para texto e tradução por imagem e inclui um minidicionário.

Débora, Larissa, Lívia e Vanessa, as criadoras do app Bilinguismo Foto: Ricardo Lima/Estadão

“Os não ouvintes ficam limitados na hora de se comunicar e de nos compreender. Muitas vezes só eles mesmos, dentro da própria cultura surda, se comunicam com Libras”, diz Larissa Matuo, uma das desenvolvedoras da ferramenta.

Larissa e Lívia Yasmim Araújo Amaral são ex-alunas do Sesi Amoreiras, em Campinas. Formaram-se nos cursos de análise e desenvolvimento de sistemas e Ciência da Computação e se uniram à amiga Vanessa Mendes, da área de Sistemas de Informação, para criar o app. Elas foram auxiliadas por Débora Venâncio, professora de português do Sesi Campinas.

O aplicativo ganhou o nome de Bilinguismo por fazer a tradução da linguagem tanto para os surdos quanto para os ouvintes. “Os tradutores disponíveis atualmente limitam e excluem um lado da conversa. Não existe uma troca”, explica Larissa.

“Já funciona bem em computadores. Agora estamos transportando essa tecnologia para o celular”, diz Lívia. O trio acredita que o app para celulares estará disponível em cerca de um ano.

Como funciona

Na prática, quando um surdo e um ouvinte forem conversar, eles usarão a câmera de seus celulares para captar o som e as imagens dos sinais. O aplicativo reconhece os movimentos da mão e traduz os sinais de Libras para o português. Ele também faz o caminho inverso: mostra em sinais a linguagem oral.

A tecnologia não envolve internet, mas sim as redes neurais, complexos sistemas matemáticos capazes de fazer uma máquina aprender tarefas por conta própria.

Todo o processo de criação foi feito pelas três estudantes e pela professora, com apoio do Sesi. As três ex-alunas trabalham agora na Bosch, em Campinas, que as contratou no programa de desenvolvimento de aprendizes de software. “Estamos proporcionando a elas o ambiente para a aplicação de um piloto internamente”, diz Henrique Doná, chefe de treinamento técnico da Bosch. “Além disso, apoiamos com mentorias e acesso às nossas áreas de tecnologia e inovação para consolidar esta solução.”

O app já ganhou quatro prêmios em feiras brasileiras de ciências e engenharia e participa do London International Youth Science Forum (LIYSF), neste fim de semana.

“Conheço algumas iniciativas nesse sentido, mas nenhuma se propõe a fazer a tradução em tempo real para facilitar a comunicação entre surdos e ouvintes como essa”, diz a consultora em diversidade e inclusão Flavia Cortinovis.

No Brasil, estima-se que tenham algum problema de audição 10 milhões de pessoas, das quais 2,7 milhões não ouvem nada, segundo o Instituto Brasileiro de Geografia e Estatística (IBGE). Como somente 2 milhões de brasileiros sabem usar a Língua Brasileira de Sinais (Libras), há uma barreira de comunicação.

Para ajudar a contorná-la, uma professora e três ex-alunas do Serviço Social da Indústria (Sesi) desenvolveram uma ferramenta que em tempo real transforma os sinais em linguagem oral.

O aplicativo mapeia as expressões faciais e faz o reconhecimento do esqueleto da mão para decifrar os sinais de Libras. Além disso, utiliza transcrição de áudio para texto e tradução por imagem e inclui um minidicionário.

Débora, Larissa, Lívia e Vanessa, as criadoras do app Bilinguismo Foto: Ricardo Lima/Estadão

“Os não ouvintes ficam limitados na hora de se comunicar e de nos compreender. Muitas vezes só eles mesmos, dentro da própria cultura surda, se comunicam com Libras”, diz Larissa Matuo, uma das desenvolvedoras da ferramenta.

Larissa e Lívia Yasmim Araújo Amaral são ex-alunas do Sesi Amoreiras, em Campinas. Formaram-se nos cursos de análise e desenvolvimento de sistemas e Ciência da Computação e se uniram à amiga Vanessa Mendes, da área de Sistemas de Informação, para criar o app. Elas foram auxiliadas por Débora Venâncio, professora de português do Sesi Campinas.

O aplicativo ganhou o nome de Bilinguismo por fazer a tradução da linguagem tanto para os surdos quanto para os ouvintes. “Os tradutores disponíveis atualmente limitam e excluem um lado da conversa. Não existe uma troca”, explica Larissa.

“Já funciona bem em computadores. Agora estamos transportando essa tecnologia para o celular”, diz Lívia. O trio acredita que o app para celulares estará disponível em cerca de um ano.

Como funciona

Na prática, quando um surdo e um ouvinte forem conversar, eles usarão a câmera de seus celulares para captar o som e as imagens dos sinais. O aplicativo reconhece os movimentos da mão e traduz os sinais de Libras para o português. Ele também faz o caminho inverso: mostra em sinais a linguagem oral.

A tecnologia não envolve internet, mas sim as redes neurais, complexos sistemas matemáticos capazes de fazer uma máquina aprender tarefas por conta própria.

Todo o processo de criação foi feito pelas três estudantes e pela professora, com apoio do Sesi. As três ex-alunas trabalham agora na Bosch, em Campinas, que as contratou no programa de desenvolvimento de aprendizes de software. “Estamos proporcionando a elas o ambiente para a aplicação de um piloto internamente”, diz Henrique Doná, chefe de treinamento técnico da Bosch. “Além disso, apoiamos com mentorias e acesso às nossas áreas de tecnologia e inovação para consolidar esta solução.”

O app já ganhou quatro prêmios em feiras brasileiras de ciências e engenharia e participa do London International Youth Science Forum (LIYSF), neste fim de semana.

“Conheço algumas iniciativas nesse sentido, mas nenhuma se propõe a fazer a tradução em tempo real para facilitar a comunicação entre surdos e ouvintes como essa”, diz a consultora em diversidade e inclusão Flavia Cortinovis.

No Brasil, estima-se que tenham algum problema de audição 10 milhões de pessoas, das quais 2,7 milhões não ouvem nada, segundo o Instituto Brasileiro de Geografia e Estatística (IBGE). Como somente 2 milhões de brasileiros sabem usar a Língua Brasileira de Sinais (Libras), há uma barreira de comunicação.

Para ajudar a contorná-la, uma professora e três ex-alunas do Serviço Social da Indústria (Sesi) desenvolveram uma ferramenta que em tempo real transforma os sinais em linguagem oral.

O aplicativo mapeia as expressões faciais e faz o reconhecimento do esqueleto da mão para decifrar os sinais de Libras. Além disso, utiliza transcrição de áudio para texto e tradução por imagem e inclui um minidicionário.

Débora, Larissa, Lívia e Vanessa, as criadoras do app Bilinguismo Foto: Ricardo Lima/Estadão

“Os não ouvintes ficam limitados na hora de se comunicar e de nos compreender. Muitas vezes só eles mesmos, dentro da própria cultura surda, se comunicam com Libras”, diz Larissa Matuo, uma das desenvolvedoras da ferramenta.

Larissa e Lívia Yasmim Araújo Amaral são ex-alunas do Sesi Amoreiras, em Campinas. Formaram-se nos cursos de análise e desenvolvimento de sistemas e Ciência da Computação e se uniram à amiga Vanessa Mendes, da área de Sistemas de Informação, para criar o app. Elas foram auxiliadas por Débora Venâncio, professora de português do Sesi Campinas.

O aplicativo ganhou o nome de Bilinguismo por fazer a tradução da linguagem tanto para os surdos quanto para os ouvintes. “Os tradutores disponíveis atualmente limitam e excluem um lado da conversa. Não existe uma troca”, explica Larissa.

“Já funciona bem em computadores. Agora estamos transportando essa tecnologia para o celular”, diz Lívia. O trio acredita que o app para celulares estará disponível em cerca de um ano.

Como funciona

Na prática, quando um surdo e um ouvinte forem conversar, eles usarão a câmera de seus celulares para captar o som e as imagens dos sinais. O aplicativo reconhece os movimentos da mão e traduz os sinais de Libras para o português. Ele também faz o caminho inverso: mostra em sinais a linguagem oral.

A tecnologia não envolve internet, mas sim as redes neurais, complexos sistemas matemáticos capazes de fazer uma máquina aprender tarefas por conta própria.

Todo o processo de criação foi feito pelas três estudantes e pela professora, com apoio do Sesi. As três ex-alunas trabalham agora na Bosch, em Campinas, que as contratou no programa de desenvolvimento de aprendizes de software. “Estamos proporcionando a elas o ambiente para a aplicação de um piloto internamente”, diz Henrique Doná, chefe de treinamento técnico da Bosch. “Além disso, apoiamos com mentorias e acesso às nossas áreas de tecnologia e inovação para consolidar esta solução.”

O app já ganhou quatro prêmios em feiras brasileiras de ciências e engenharia e participa do London International Youth Science Forum (LIYSF), neste fim de semana.

“Conheço algumas iniciativas nesse sentido, mas nenhuma se propõe a fazer a tradução em tempo real para facilitar a comunicação entre surdos e ouvintes como essa”, diz a consultora em diversidade e inclusão Flavia Cortinovis.

No Brasil, estima-se que tenham algum problema de audição 10 milhões de pessoas, das quais 2,7 milhões não ouvem nada, segundo o Instituto Brasileiro de Geografia e Estatística (IBGE). Como somente 2 milhões de brasileiros sabem usar a Língua Brasileira de Sinais (Libras), há uma barreira de comunicação.

Para ajudar a contorná-la, uma professora e três ex-alunas do Serviço Social da Indústria (Sesi) desenvolveram uma ferramenta que em tempo real transforma os sinais em linguagem oral.

O aplicativo mapeia as expressões faciais e faz o reconhecimento do esqueleto da mão para decifrar os sinais de Libras. Além disso, utiliza transcrição de áudio para texto e tradução por imagem e inclui um minidicionário.

Débora, Larissa, Lívia e Vanessa, as criadoras do app Bilinguismo Foto: Ricardo Lima/Estadão

“Os não ouvintes ficam limitados na hora de se comunicar e de nos compreender. Muitas vezes só eles mesmos, dentro da própria cultura surda, se comunicam com Libras”, diz Larissa Matuo, uma das desenvolvedoras da ferramenta.

Larissa e Lívia Yasmim Araújo Amaral são ex-alunas do Sesi Amoreiras, em Campinas. Formaram-se nos cursos de análise e desenvolvimento de sistemas e Ciência da Computação e se uniram à amiga Vanessa Mendes, da área de Sistemas de Informação, para criar o app. Elas foram auxiliadas por Débora Venâncio, professora de português do Sesi Campinas.

O aplicativo ganhou o nome de Bilinguismo por fazer a tradução da linguagem tanto para os surdos quanto para os ouvintes. “Os tradutores disponíveis atualmente limitam e excluem um lado da conversa. Não existe uma troca”, explica Larissa.

“Já funciona bem em computadores. Agora estamos transportando essa tecnologia para o celular”, diz Lívia. O trio acredita que o app para celulares estará disponível em cerca de um ano.

Como funciona

Na prática, quando um surdo e um ouvinte forem conversar, eles usarão a câmera de seus celulares para captar o som e as imagens dos sinais. O aplicativo reconhece os movimentos da mão e traduz os sinais de Libras para o português. Ele também faz o caminho inverso: mostra em sinais a linguagem oral.

A tecnologia não envolve internet, mas sim as redes neurais, complexos sistemas matemáticos capazes de fazer uma máquina aprender tarefas por conta própria.

Todo o processo de criação foi feito pelas três estudantes e pela professora, com apoio do Sesi. As três ex-alunas trabalham agora na Bosch, em Campinas, que as contratou no programa de desenvolvimento de aprendizes de software. “Estamos proporcionando a elas o ambiente para a aplicação de um piloto internamente”, diz Henrique Doná, chefe de treinamento técnico da Bosch. “Além disso, apoiamos com mentorias e acesso às nossas áreas de tecnologia e inovação para consolidar esta solução.”

O app já ganhou quatro prêmios em feiras brasileiras de ciências e engenharia e participa do London International Youth Science Forum (LIYSF), neste fim de semana.

“Conheço algumas iniciativas nesse sentido, mas nenhuma se propõe a fazer a tradução em tempo real para facilitar a comunicação entre surdos e ouvintes como essa”, diz a consultora em diversidade e inclusão Flavia Cortinovis.

Atualizamos nossa política de cookies

Ao utilizar nossos serviços, você aceita a política de monitoramento de cookies.