Por André Ramiro e Pedro Amaral
Na primeira semana de agosto, a Apple anunciou um conjunto de medidas para combater a circulação de material relacionado a abuso sexual infantil (em inglês, child sexual abuse material, ou “CSAM”) em seus serviços. Resumidamente, as três mudanças anunciadas incluem:
i) no iMessage, haverá avisos sobre a sensibilidade do material recebido ou enviado, assim como avisos aos pais sobre o envio ou visualização desses materiais por jovens menores de 13 anos. A análise de fotos será feita por machine learning nos próprios dispositivos;
ii) um processo automatizado de detecção de CSAM enviados para o iCloud, sistema de armazenamento na nuvem da Apple. A análise é feita nos dispositivos, no ato de envio, pela comparação das “impressões digitais” de fotos do usuário com aquelas de CSAM conhecidas por organizações e autoridades que combatem a exploração sexual infantil, e;
iii) novas adições à Siri e ao sistema de busca para informar pais e crianças sobre situações de insegurança, assim como alertar usuários quando buscando informações relativos a materiais CSAM e oferecer ajuda.
As novas funcionalidades, contudo, levantam graves problemas à garantia de direitos dos usuários, em larga medida relativos à privacidade e à liberdade de expressão, uma vez que implicam na implementação de recurso de moderação de conteúdo em massa nos serviços da Apple – que possui, diga-se, uma fatia de cerca de 47% dos smartphones em uso nos Estados Unidos e mais de um bilhão de usuários em todo o mundo – como o iMessage. Até agora, diversos especialistas em criptografia e defensores de direitos humanos se opõem à medida. Elencamos alguns dos principais problemas da nova política da empresa, levando em consideração o contexto histórico-político da Apple, nos últimos anos, sobre sua relação com a privacidade dos usuários.
Contextualizando os novos recursos: vigilância nas pontas da comunicação
A ideia geral do recurso proposto não é nova. Comumente conhecida como client-side scanning (CSS), eventualmente surge como uma “solução alternativa” para a restrição de conteúdos ilícitos em aplicações de mensageria privada sem que forças de investigação recorram à backdoors – vulnerabilidade inserida propositalmente no código da aplicação para prover acesso excepcional ao conteúdo encriptado com assistência por meio do provedor.
Resumidamente, implica em criar um identificador (código hash) para conteúdos ilícitos conhecidos (como fotos). Caso um usuário tente fazer upload de determinado conteúdo, o provedor do serviço confere se o hash desse material coincide com algum outro em um banco de dados de conteúdos ilícitos previamente conhecidos. Caso houver um “positivo”, o provedor impede o envio do material e, a depender da aplicação, notifica as autoridades competentes. Mecanismo semelhante ocorre, por exemplo, quando há tentativa de upload de arquivo protegido por direito autoral em plataformas como o YouTube. Caso o material possua um identificador, o intermediário impede seu compartilhamento. No caso do CSS, o processamento ocorreria no dispositivo do usuário e não através dos servidores do intermediário – por isso o nome.
Mas o problema ganha novos contornos quando a plataforma emprega criptografia ponta-a-ponta, uma vez que, por definição, o sigilo oferecido por esse tipo de proteção afasta qualquer espécie de acesso ao conteúdo das comunicações para além das duas partes da conversa. Logo, como implementar um recurso de CSS em plataforma que emprega criptografia ponta-a-ponta (como o WhatsApp ou o iMessage, da Apple)? Especialistas dizem que seria impossível fazê-lo sem quebrar o modelo de criptografia.
Histórica defesa da privacidade da Apple – e o seu avesso
Dilema posto, temos a Apple no centro da proposta, uma virada em sua abordagem de longa data sobre políticas de privacidade do usuário. Isso porque, sucessivas vezes, vimos a Apple sedimentar sua reputação de “defensora da privacidade”: após consecutivas investidas do Federal Bureau of Investigation (FBI), entre 2015 e 2016, negou-se a desenvolver função para desbloquear o iPhone de um dos atiradores no atentado de San Bernardino (ver carta aos usuários assinada por Tim Cook em defesa da criptografia), tendo em vista a privacidade dos seus clientes; caso semelhante ocorreu mais recentemente, em 2019, quando Apple se negou a recuperar dados de suspeitos em iPhones bloqueados; em 2018 implementou o “USB restricted mode” como forma de reduzir a margem de tempo para que agências de investigação tenham acesso a conteúdos armazenados via ferramentas de extração de dados – mais uma vez, em nome da segurança e privacidade – entre outros episódios. Uma “linha do tempo” mais abrangente pode ser encontrada aqui.
Em paralelo, agências de investigação norte-americanas seguiram, historicamente, pressionando para que provedores implementassem meios de acessar conteúdos encriptados. Mais notoriamente, desde a virada para a década de noventa, com programas de vigilância em massa em comunicações encriptadas (como o Clipper Chip), tentativas de regular o desenvolvimento e implementação de produtos com criptografia forte (como o sistema de custódia de chaves), passando pela primeira década do século XXI, até chegar nos anos 20, com a campanha “going dark”, articulações geopolíticas pelo enfraquecimento da criptografia, leis nacionais anti-criptografia que efetivamente entraram em vigor e vários projetos de lei que ameaçam o pleno funcionamento de plataformas com criptografia forte em vários países. A lista é extensa.
No entanto, dado o histórico de posicionamentos públicos, não era de se esperar que a Apple seria a empresa que cederia à pressão, uma vez que as propostas de CSS são amplamente debatidas tendo em vista os riscos que colocam à privacidade e à segurança dos usuários, como vêm apontando, desde o anúncio, organizações da sociedade civil e especialistas em criptografia.
A amplitude dos riscos do client-side scanning
Também não é exatamente recente o surgimento de propostas de CSS em agendas de políticas públicas de segurança. Ainda em 2020, foi publicado documento construído no âmbito da Comissão Europeia onde propostas de CSS já eram mapeadas enquanto “soluções” para o combate ao abuso sexual infantil. No contexto estadunidense, a necessidade de filtrar conteúdos relacionados ao abuso sexual infantil era justamente um dos pilares da resistência política, capitaneada por procuradores do Department of Justice e pelo National Center for Missing and Exploited Children (NCEMC) à implementação de criptografia ponta-a-ponta no Messenger, do Facebook, sendo o CSS seu melhor exemplo – entre outras aparições da tecnologia.
(Campanha contra a criptografia ponta-a-ponta do NCMEC. Tradução livre: “criptografia ponta-a-ponta: ignorar o abuso não irá resolvê-lo)
A inserção de novos recursos na arquitetura de segurança de uma aplicação aumenta a complexidade do sistema – concordam pesquisadores em cibersegurança. A inserção de CSS aumenta, portanto, a ‘superfície de ataque’, isto é, novas possibilidades de exploração de vulnerabilidades para fins maliciosos, como, por exemplo, a inserção de hashes relativos a outros tipos de conteúdos para impedir seu envio, o que configuraria um ataque de integridade sobre a segurança das comunicações – um dos recursos-chave da criptografia. O caso da Apple se apresenta, justamente, quando o mundo foi abalado por recentes revelações sobre a ampla inserção do Pegasus em diversas localidades, com cerca de 50 mil números de celular potencialmente afetados, incluindo jornalistas, dissidentes políticos e defensores de direitos humanos. Novos recursos, nesse caso, significam novas chances de que vulnerabilidades sejam exploradas por mecanismos de alto risco, como os de hacking governamental simbolizados pelo Pegasus.
Do ponto de vista político, também é percebida a abertura de possibilidade de mission creep, situação quando uma funcionalidade é sequestrada para outras finalidades, como também apontam organizações como a Internet Society e a Electronic Frontier Foundation. Havendo a abertura técnica para o enforcement de políticas públicas que queiram expandir o leque de tipo penais passíveis de monitoramento, seria seguro afirmar que a Apple estará, em curto espaço de tempo, enfrentando pedidos governamentais para que conteúdos adicionais passem a ser filtrados em sua ferramenta. Em outras palavras, o argumento da “impossibilidade técnica” para cumprir ordens judiciais cai por terra e qualquer material fotográfico seria passível de monitoramento e derrubada em aplicações de mensageria privada – algo preocupante, sobretudo em regimes políticos menos democráticos (é o que ocorre, por exemplo, com o WeChat, na China), mas também em qualquer outra região do mundo.
Em termos de grau de eficácia do novo recurso, é preciso questionar se os agentes maliciosos irão, de fato, manter-se em uma plataforma que, sabidamente, monitora-os e reporta suas atividades às autoridades. De acordo com suas estratégias para evitar entrar no radar de autoridades competentes e dada a ampla disponibilidade de aplicações com encriptação ponta-a-ponta disponíveis, inclusive clandestinas, fabricadas com intencionalidade criminosa, a medida não só é questionável quanto a sua eficácia, como pode provocar uma evasão de suspeitos de plataformas que, atualmente cooperam com autoridades investigativas através do compartilhamento de metadados.
Por fim, o mecanismo constitui, por natureza, uma tecnologia de inteligência artificial para fins de vigilância. Necessita, portanto, passar pelo escrutínio atinente à governança de algoritmos, considerando processos transparentes de explicação e revisão em casos de falsos positivos e questionamento dos usuários, de decisões automatizadas, auditoria e integridade dos dados utilizados para treinar tais algoritmos, além de contar com instâncias de oversight multissetoriais que deveriam fiscalizar e acompanhar a execução da política. No entanto, pelo contrário, está sendo relatada a total falta de consulta da Apple a entidades de defesa dos direitos humanos que poderiam mensurar os riscos do novo recurso.
O cenário no Brasil
A nova tecnologia nos serviços da Apple terá um impacto direto em usuários brasileiros (podem não enconotrar fronteiras em jurisdições internacionais no futuro próximo), que conta com cerca de 14% dos usuários de dispositivos móveis em território nacional. No campo de políticas públicas, recursos semelhantes já foram propostos no Brasil com o objetivo de monitorar e filtrar “comunicações suspeitas”. O Projeto de Lei nº 2.418/2019, por exemplo, propunha alterar o Marco Civil da Internet para obrigar que os provedores de aplicações monitorem atividades terroristas e crimes hediondos, colocando-os em risco de responsabilização em caso de negativa.
No caso de uma possível – e provável – expansão dos tipos penais que serão escaneados por CSS, a possibilidade encontra terreno fértil no Brasil: a desinformação já é um problema social e político sobre o qual gravita algumas das mais arriscadas propostas que poderão afetar o sigilo das comunicações e, consequentemente, a criptografia, como as propostas de rastreabilidade constantes no Projeto de Lei nº 2630/2020 (o “PL das Fake News”), recurso em voga também na Índia. Havendo o caminho técnico para a restrição mandatória de outros conteúdos, é possível esperar pressão de representações governamentais – judiciárias e legislativas – para que o recurso também alcance materiais relacionados à desinformação, afinal, uma ferramenta de vigilância no escopo proposto “poderia servir” a diversos outros fins além do combate à exploração sexual infantil (ainda que a Apple não acredite que isso irá acontecer).
Vale notar o já avançado entendimento, no Supremo Tribunal Federal, sobre a quebra de sigilo de comunicações encriptadas ponta-a-ponta em território nacional. No contexto dos bloqueios do WhatsApp no Brasil, a Corte vem firmando entendimento pela inconstitucionalidade de medidas que obriguem provedores a inserirem recursos adicionais, em seus serviços, que potencialmente reduzirão os níveis de segurança e privacidade dos usuários – aqui incluídos mecanismos que afetem a criptografia. É interessante pensar em como a jurisprudência em construção irá de encontro à nova política da Apple – uma judicialização que ressoa, por exemplo, nas ações movida pelo WhatsApp e pelo Facebook perante a Corte Superior de Delhi para barrar a obrigatoriedade de que a plataforma empregue recurso de rastreabilidade de mensagens.
Importante reconhecer que a Apple já havia sinalizado o afastamento da criptografia face a exigências governamentais (e para entrar no mercado chinês), mas também por pressão do FBI. Nesse sentido, não seria irrazoável prever que os recursos de machine learning introduzidos para identificação de imagens de abuso sexual infantil podem, eventualmente, evoluir para abordar quaisquer comunicações e dados encriptados em sesus serviços. Se a Apple, que sempre se lançou rumo à liberdade e à privacidade enquanto identidade da marca, faz concessões do gênero, de alto impacto nos recursos criptográficos, não será tão cedo que veremos uma trégua nas Crypto Wars.
