Você sabia que pesquisadores de cibersegurança descobriram modelos de machine learning perigosos? Esses modelos estavam escondidos no Hugging Face e usaram um truque esperto para não serem detectados. Eles usaram arquivos Pickle “corrompidos” para evitar as verificações de segurança. Neste artigo, você vai entender como esses modelos funcionam, o que torna o formato Pickle vulnerável e os riscos que isso pode trazer para o futuro da segurança de software. Fique ligado!
- Modelos de machine learning maliciosos foram encontrados no Hugging Face.
- Os modelos usaram arquivos Pickle “corrompidos” para evitar detecção.
- Um código malicioso ativava um shell reverso e se conectava a um IP fixo.
- O formato de serialização Pickle tem vulnerabilidades conhecidas.
- Modelos usaram compressão 7z para driblar ferramentas de segurança.
Um Olhar Novo sobre Modelos de Machine Learning Maliciosos
O Que Está Acontecendo?
Pesquisadores de cibersegurança descobriram algo preocupante no mundo do machine learning: dois modelos maliciosos foram encontrados na plataforma Hugging Face, utilizando uma técnica diferente para escapar das detecções. Isso pode parecer ficção científica, mas é a realidade que estamos enfrentando.
Como Funciona a Técnica Maliciosa?
Esses modelos usaram arquivos Pickle “corrompidos” para enganar as verificações de segurança e executar códigos perigosos sem serem percebidos. O pesquisador Karlo Zanki mencionou que os arquivos Pickle, retirados de arquivos PyTorch, já continham código malicioso desde o início. Imagine isso: um código que ativa um shell reverso e se conecta a um IP fixo. É como abrir um presente e encontrar uma armadilha!
O Que É o nullifAI?
Agora, vamos falar sobre uma técnica chamada nullifAI, criada para driblar as proteções que identificam modelos comprometidos. Embora esses modelos não tenham sido usados em ataques em larga escala, eles são considerados provas de conceito, mostrando que essa técnica pode ser utilizada no futuro para atacar a cadeia de suprimentos de software. Isso é bastante sério.
A Vulnerabilidade dos Arquivos Pickle
A questão central é o formato de serialização Pickle, amplamente utilizado para distribuir modelos de machine learning. Esse formato permite a execução de códigos arbitrários quando é carregado, sendo apontado como uma vulnerabilidade de segurança há bastante tempo. Você consegue imaginar o quão arriscado isso é?
O Que Tornou Esses Modelos Especiais?
Os modelos descobertos estavam armazenados no formato PyTorch, que normalmente utiliza compressão ZIP. Porém, neste caso, foram comprimidos com 7z, uma jogada inteligente que permitiu que os modelos passassem despercebidos por uma ferramenta chamada Picklescan, usada pelo Hugging Face para identificar arquivos suspeitos.
A Armadilha da Desserialização
O arquivo Pickle era interrompido logo após a execução do código malicioso, causando uma falha na desserialização do restante dos dados. A desserialização do Pickle ocorre de forma sequencial, ou seja, os opcodes são executados na ordem em que aparecem. A falha acontece somente após a ativação do código malicioso, permitindo que os modelos fossem carregados sem serem marcados como perigosos pela ferramenta de segurança da plataforma.
O Que Isso Significa Para Você?
Agora, você pode estar se perguntando: “E eu com isso?” Isso deve preocupar a todos nós. Esses tipos de ataques podem afetar não apenas empresas, mas também usuários comuns que utilizam modelos de machine learning em suas aplicações. A segurança deve ser uma prioridade, e essa descoberta mostra que precisamos estar sempre atentos.
O Futuro da Segurança em Machine Learning
Você pode estar pensando sobre o que pode ser feito para evitar que isso aconteça novamente. Aqui estão algumas sugestões:
- Educação: Aprender sobre os riscos associados ao uso de formatos de serialização como o Pickle.
- Monitoramento: Implementar ferramentas de segurança mais robustas que possam detectar esse tipo de comportamento malicioso.
- Atualizações: Manter sempre os sistemas e bibliotecas atualizados para evitar vulnerabilidades conhecidas.
Se você deseja aprender mais sobre Segurança e Investigação, recomendamos conferir o cursos disponiveis da Foco em SEC.
Conclusão
A descoberta de modelos de machine learning maliciosos no Hugging Face é um alerta para todos nós. A utilização de arquivos Pickle corrompidos e técnicas como o nullifAI mostram que a cibersegurança deve ser uma prioridade constante. Esses ataques não são apenas uma preocupação para empresas, mas para qualquer um que utilize tecnologia no dia a dia.
É fundamental que você fique atento e busque sempre se informar sobre as melhores práticas de segurança. O futuro da segurança em software depende de ações proativas e de um olhar crítico sobre as ferramentas que usamos.
Se você quer se aprofundar mais nesse assunto e em outros temas relevantes, não deixe de conferir mais artigos no blog Foco em Sec.