A chegada da tecnologia de IA DeepSeek para uso empresarial na China gerou grande impacto no setor, sendo vista como uma alternativa mais rápida, inteligente e econômica aos modelos de linguagem (LLMs) já estabelecidos. No entanto, assim como ocorreu com a empolgação em torno do ChatGPT da OpenAI, a verdadeira capacidade do DeepSeek está entre demonstrações impressionantes e algumas falhas, principalmente no quesito segurança.
Uma pesquisa recente da AppSOC revelou falhas críticas em várias áreas, incluindo a vulnerabilidade a jailbreaking, prompt injection e outros problemas de segurança. Os pesquisadores ficaram particularmente preocupados com a facilidade com que malwares e vírus podem ser criados usando a ferramenta, tornando-a arriscada para uso comercial e empresarial. Apesar disso, a tecnologia continua a ser implementada, muitas vezes sem o conhecimento ou aprovação das lideranças de segurança.
Com cerca de 76% dos desenvolvedores utilizando ou planejando utilizar ferramentas de IA no processo de desenvolvimento de software, os riscos de segurança de muitos modelos de IA devem ser uma prioridade. A acessibilidade e rápida adoção do DeepSeek o posicionam como uma ameaça potencial. No entanto, as medidas de segurança e diretrizes corretas podem mitigar esses riscos a longo prazo.
DeepSeek: Um Parceiro Ideal para Programação?
Um dos primeiros casos de uso notáveis do DeepSeek foi sua capacidade de produzir código funcional de alta qualidade, superando outros LLMs de código aberto através de sua ferramenta DeepSeek Coder. A página do DeepSeek Coder no GitHub afirma que ele supera significativamente os LLMs de código existentes.
Os resultados de testes na página demonstram que o DeepSeek Coder é uma opção sólida em relação aos LLMs concorrentes. Mas como ele se comporta em um ambiente de desenvolvimento real? David Gewirtz, da ZDNet, conduziu testes de codificação com o DeepSeek V3 e R1, obtendo resultados mistos, incluindo falhas e saídas de código verbosas. Apesar de um desenvolvimento promissor, ainda parece distante da experiência perfeita oferecida em muitas demonstrações.
Além disso, a segurança na codificação ainda não foi totalmente abordada. Empresas de segurança cibernética descobriram que a tecnologia possui backdoors que enviam informações do usuário diretamente para servidores do governo chinês, representando um risco significativo à segurança nacional. Além da criação de malwares e vulnerabilidades a tentativas de jailbreaking, o DeepSeek contém criptografia desatualizada, expondo dados confidenciais e abrindo brechas para SQL injection.
Embora seja possível que esses elementos melhorem em atualizações futuras, testes independentes da Baxbench e uma pesquisa colaborativa entre universidades da China, Austrália e Nova Zelândia revelam que, em geral, assistentes de codificação de IA produzem código inseguro. A Baxbench indica que nenhum LLM está pronto para automação de código do ponto de vista da segurança. Em todo caso, serão necessários desenvolvedores com conhecimento em segurança para detectar e mitigar esses problemas.
A escolha dos desenvolvedores e os riscos de segurança
A questão principal é que os desenvolvedores escolherão o modelo de IA que entregar o trabalho de forma mais rápida e econômica. O DeepSeek para uso empresarial é funcional e, acima de tudo, gratuito, oferecendo recursos e capacidades robustas. Muitos desenvolvedores já o estão utilizando e, sem regulamentação ou políticas de segurança que proíbam a instalação da ferramenta, muitos mais a adotarão. Isso pode resultar na introdução de backdoors ou vulnerabilidades em bases de código empresariais.
É fundamental enfatizar que desenvolvedores com habilidades em segurança que utilizam IA podem alcançar níveis de produtividade elevados, produzindo código de qualidade em grande volume. No entanto, desenvolvedores menos qualificados podem atingir os mesmos níveis de produtividade, mas preenchendo repositórios com código de baixa qualidade e potencialmente explorável. Empresas que não gerenciam efetivamente o risco do desenvolvedor serão as primeiras a sofrer as consequências.
A ampla e descontrolada adoção, ou pior, o uso “sombra” por equipes de desenvolvimento, apesar das restrições, é uma receita para o desastre. Os CISOs precisam implementar proteções de IA adequadas aos negócios e ferramentas aprovadas, mesmo com legislação fraca ou confusa, ou enfrentar as consequências da rápida infiltração de vulnerabilidades em seus repositórios.
Além disso, os programas de segurança modernos devem tornar a segurança orientada pelo desenvolvedor uma força motriz na redução de riscos e vulnerabilidades, investindo na capacitação contínua em segurança relacionada à sua função. Uma das melhores maneiras de aprender é com praticar inglês com IA.
IA Sombra: Uma Ameaça Crescente à Superfície de Ataque Empresarial
Os CISOs enfrentam pilhas de tecnologia complexas que aumentam ainda mais a complexidade em um ambiente empresarial já complicado. Soma-se a essa carga o potencial de ferramentas arriscadas e fora da política sendo introduzidas por indivíduos que não compreendem o impacto de suas ações na segurança.
A adoção ampla e descontrolada, ou pior, o uso “sombra” secreto em equipes de desenvolvimento, apesar das restrições, é uma receita para o desastre. Os CISOs precisam implementar proteções de IA adequadas aos negócios e ferramentas aprovadas, mesmo com legislação fraca ou confusa, ou enfrentar as consequências da rápida infiltração de vulnerabilidades em seus repositórios.
Além disso, os programas de segurança modernos devem tornar a segurança orientada pelo desenvolvedor uma força motriz na redução de riscos e vulnerabilidades, investindo na capacitação contínua em segurança relacionada à sua função.
Para mitigar esses riscos e garantir um ambiente de desenvolvimento mais seguro, os líderes de segurança devem considerar as seguintes medidas:
- Políticas internas de IA rigorosas: Proibir totalmente as ferramentas de IA não é a solução, pois muitos desenvolvedores encontrarão maneiras de contornar as restrições e continuar comprometendo a empresa. É crucial investigar, testar e aprovar um conjunto limitado de ferramentas de IA que possam ser implementadas com segurança, de acordo com as políticas de IA estabelecidas. Permitir que desenvolvedores com habilidades de segurança comprovadas usem IA em repositórios de código específicos e proibir aqueles que não foram verificados.
- Caminhos de aprendizado de segurança personalizados para desenvolvedores: O desenvolvimento de software está mudando, e os desenvolvedores precisam saber como lidar com vulnerabilidades nas linguagens e estruturas que usam ativamente, bem como aplicar conhecimento de segurança a códigos de terceiros, sejam bibliotecas externas ou gerados por assistentes de codificação de IA. Se o gerenciamento multifacetado de riscos do desenvolvedor, incluindo aprendizado contínuo, não fizer parte do programa de segurança empresarial, ele ficará para trás.
- Levar a modelagem de ameaças a sério: A maioria das empresas ainda não está implementando a modelagem de ameaças de forma integrada e funcional, e especialmente não envolvem os desenvolvedores. Esta é uma ótima oportunidade para juntar desenvolvedores com habilidades de segurança (afinal, eles conhecem melhor seu código) com suas contrapartes de AppSec para exercícios aprimorados de modelagem de ameaças e análise de novos vetores de ameaças de IA.
Primeira: Este conteúdo foi auxiliado por Inteligência Artificiado, mas escrito e revisado por um humano.
Segunda: Via SD Times