Este artigo foi trazido a você por VicOne.
Um robô móvel diminui a velocidade para alguém em um corredor. Um braço colaborativo facilita seu movimento conforme um trabalhador se aproxima. Um humanóide faz uma pausa para deixar uma pessoa passar. Cada resposta depende de informações sobre o robô ou seu entorno: uma leitura de distância, uma estimativa de posição ou um sinal de parada.
Mas o que acontece quando uma dessas entradas está errada e o robô ainda responde exatamente como foi projetado? O robô móvel lê o corredor com clareza enquanto alguém ainda está lá. O braço estima que o trabalhador está mais distante. O humanóide não recebe sinal de parada quando uma pessoa cruza seu caminho.
Em cada caso, uma falha pode causar essa incompatibilidade. O mesmo poderia acontecer com a manipulação deliberada.
No VicOne LAB R7, examinamos como as entradas manipuladas podem mudar o comportamento do robô — e o que isso significa para os sistemas destinados a manter as pessoas seguras.
Como uma entrada não confiável pode mudar o comportamento de um robô
Um robô faz mais do que medir o que está ao seu redor. Pode interpretar o que vê e ouve para decidir o que fazer a seguir. As informações colocadas em seu ambiente podem, portanto, influenciar suas ações.
Pesquisas publicadas mostram como isso pode acontecer. Em um estudo de modelos de visão-linguagem-ação (VLA), um patch na visão de uma câmera reduziu o sucesso de tarefas em testes simulados de robôs. O FreezeVLA descobriu que uma imagem adversária poderia fazer com que os modelos testados ignorassem instruções posteriores. Embora os estudos tenham utilizado métodos diferentes, ambos demonstram como a entrada visual pode interferir na tarefa pretendida de um robô.
Em um teste de cão-robô usando Gemma 4 E4B, o texto em um pôster foi tratado como uma instrução e alterou o movimento do robô.
O VicOne LAB R7 também testou como entradas não confiáveis poderiam alterar o comportamento do robô. Em um teste de cão-robô usando Gemma 4 E4B, o texto em um pôster foi tratado como uma instrução e alterou o movimento do robô. Em uma simulação separada de robô de serviço hospitalar usando Nemotron no NVIDIA Jetson AGX Orin, o áudio criado que é inaudível para as pessoas mudou o comportamento simulado do robô. As tarefas atribuídas não mudaram; as entradas sim.
Em um teste VicOne LAB R7, o texto em um pôster mudou o movimento de um cão-robô, ilustrando como uma entrada elaborada pode transformar um resultado improvável em um ataque repetível.VicOne
As decisões relacionadas à segurança também têm contribuições
Um sistema de proteção independente ainda pode interromper uma ação perigosa. Mas esse sistema também depende de informação: leituras, estimativas e mensagens que lhe dizem quando intervir. O que acontece se uma dessas entradas for manipulada?
Em um evento de caça a bugs robóticos, os pesquisadores do VicOne LAB R7 injetaram uma mensagem ROS 2/DDS em um robô que os organizadores esperavam que permanecesse sob um ambiente de controle seguro. O robô se moveu.
O controlador de equilíbrio de um humanóide oferece outro exemplo. Se depender de um giroscópio vulnerável, o som na frequência de ressonância do sensor poderá distorcer a rotação relatada. O controlador pode corrigir uma inclinação que nunca ocorreu. Os pesquisadores demonstraram o ataque acústico subjacente contra drones com giroscópios vulneráveis. A pesquisa não demonstrou a mesma cadeia de ataque causando a queda de um humanóide.
Outras proteções podem interromper qualquer uma das cadeias. A questão para as equipas de segurança é se essas proteções detectam o perigo de forma independente ou dependem das mesmas informações manipuladas.
Figura 1. VicOne mapeia como falhas acidentais e manipulação cibernética deliberada podem levar a resultados semelhantes de segurança para robôs, desde perda de controle até danos físicos.VicOne
Ataques deliberados desafiam suposições de segurança
Uma avaliação de segurança pode considerar improvável uma combinação de falhas acidentais. A manipulação deliberada muda essa suposição. Um invasor pode escolher quando introduzir uma entrada falsa e repetir o mesmo gatilho. Isto não torna os danos inevitáveis, mas pode mudar a forma como os riscos cibernéticos devem ser avaliados.
Sensores redundantes também precisam de um teste adversário. Se uma acção puder afectar ambos os factores de produção, o seu acordo poderá oferecer menos garantias do que o esperado. Na pesquisa de direção autônoma, um objeto físico criado enganou um sistema que combinava câmera e percepção LiDAR. O estudo não estabelece uma fraqueza em um robô específico, mas mostra por que as equipes deveriam testar se uma manipulação pode afetar várias verificações ao mesmo tempo.
As ameaças cibernéticas acrescentam intenção à equação de segurança, pelo que as avaliações de risco baseadas em falhas acidentais devem ser revistas para ter em conta ataques que podem ser cronometrados e repetidos.
Testes de segurança fortalecem evidências de segurança de robôs
As equipes de segurança estabelecem limites de velocidade, distâncias de proteção e áreas de operação permitidas. As evidências por trás desses limites também devem mostrar o que acontece quando a informação utilizada para aplicá-los é deliberadamente manipulada.
Essas evidências também podem apoiar avaliações em relação aos requisitos aplicáveis. O GB/T 45502-2025 da China aborda a segurança da informação para robôs de serviço. A IEC TS 63074 examina ameaças à segurança que podem afetar os sistemas de controle relacionados à segurança. O Regulamento de Máquinas da UE, que se aplica a partir de 20 de janeiro de 2027, inclui requisitos para proteger sistemas e dados relevantes para a segurança contra a corrupção. Cada um tem seu próprio escopo e as equipes ainda precisam de evidências sobre o projeto e as condições operacionais de seus robôs.
Figura 2. A segurança cibernética fortalece as evidências de segurança dos robôs ao longo de todo o ciclo de vida. VicOne ajuda as equipes a testar os limites de segurança contra manipulação antes da implantação e monitorar as condições por trás do comportamento seguro na operação.VicOne
Antes da implantação, os engenheiros de segurança podem comparar cenários normais e adversários com os mesmos limites de segurança. Durante a operação, eles podem monitorar alterações em software, modelos, sinais de sensores ou comportamento que possam questionar resultados anteriores. Qualquer resposta a comportamentos suspeitos deve seguir políticas aprovadas pela equipe de segurança.
VicOne oferece suporte a esse trabalho durante todo o ciclo de vida do robô. Através da Robotic Hacking Community, o VicOne LAB R7 trabalha com pesquisadores para investigar como as ameaças cibernéticas podem alterar o comportamento dos robôs. O Radeis da VicOne ajuda as equipes a validar os efeitos potenciais antes da implantação, enquanto o Rthena fornece visibilidade dos riscos e do comportamento durante a operação.
Cinco perguntas que as equipes de segurança e proteção devem responder juntas
O teste central é se as salvaguardas de um robô ainda protegem as pessoas quando a informação em que confiam é manipulada. As equipes de segurança e proteção podem começar rastreando as informações por trás de cada decisão de proteção, desafiando-as e revisitando as evidências à medida que o robô muda. Eles podem começar com estas cinco perguntas:
1. O que cada função de proteção lê? Mapeie as leituras, estimativas, mensagens e confirmações. Identifique quais proteções operam independentemente das decisões de IA do robô.
2. Como essa informação chega? Verifique como as entradas são produzidas, transmitidas, autenticadas quando apropriado e tratadas quando faltam ou são implausíveis.
3. O que acontece se uma entrada for manipulada? Teste distâncias falsas, estimativas de posição flutuante e outros cenários relevantes em relação aos limites de segurança do robô.
4. Uma ação pode enganar vários inputs? Verifique se a fusão de sensores ou as salvaguardas aparentemente independentes compartilham um ponto de falha.
5. Quando as evidências devem ser revisadas? Reavalie após alterações no software, modelos, sensores ou condições operacionais. Combine previamente com a equipe de segurança respostas limitadas a comportamentos suspeitos.
O objetivo não é apenas mostrar que uma função protetora funciona. As equipas também precisam de provas de que permanecem protetoras quando a informação por detrás da sua decisão está errada ou deliberadamente manipulada – e que outra salvaguarda pode detectar o perigo resultante quando necessário. À medida que os robôs mudam, essas evidências precisam mudar com eles.
Para uma visão mais aprofundada de como a segurança cibernética pode afetar a segurança dos robôs, baixe nosso white paper “Por que a segurança dos robôs depende da segurança cibernética: protegendo as informações nas quais as decisões de segurança dependem”.
