When robots fail: Fault and error tolerance of robots and humans

Se os humanos cometem falhas e erros, o que esperar de suas criações, como os robôs.
O problema é que nem sempre as falhas e os erros dos robôs são tão evidentes ou fáceis de identificar, como muitas falhas e erros dos humanos, uma vez que o automatismo e autonomia, muitas vezes em alta frequência, nem sempre apresenta uma visibilidade suficiente para isso. E não podemos, em tese, considerar a falta dessas informações como um erro de projeto em si, embora no caso de robôs com aplicações que envolvam segurança, a meu ver, assim deveria ser.
Seja como for, uma grande vantagem dos robôs é que podemos programar a visibilidade de falhas e erros – e as nossas máquinas irão executar essa programação de forma sistemática, aberta e clara, pelo menos enquanto não existir uma consciência autônoma ou real nelas que deseje esconder esses dados e informações –, enquanto os humanos, com consciência para escolher o que é de seu interesse informar, muitas vezes decidem por esconder suas falhas e erros.
Por outro lado, uma grande desvantagem dos robôs é que, com o avanço rápido de suas tecnologias, está cada vez mais difícil visualizar exatamente todo o processo de análise e tomada de decisões, muitas vezes dentro de complexas redes neurais artificiais profundas.
Por exemplo, digamos que para a tomada de uma decisão relevante, seja necessário o robô identificar determinado objeto em uma foto. Em uma rede neural artificial, isso poderá ocorrer após várias análises, em diversas camadas, copiando muito o processo humano, mas sem uma autoconsciência que identifique o que seria natural ou absurdo. Na prática, o robô poderá falhar nessa análise tomando uma decisão ainda mais falha, que, conforme o nível de segurança que estiver atuando, poderá causar sérios danos para os humanos, que provavelmente serão seus clientes. Ou seja, uma cadeia de falhas e erros pode levar a decisões automáticas e autônomas completamente imprevisíveis. Se esse robô é simplesmente uma máquina por traz de um site de comércio eletrônico, oferecendo produtos para consumidores, talvez o impacto não seja tão grave. Mas, por outro lado, se esse robô estiver no comando de um automóvel, evidentemente que tudo que desejamos é que ele nunca tenha falhas ou erros de análise de imagens ou de avaliação da qualidade delas, seja a complexidade que for que a tecnologia terá que enfrentar.
Dessa forma, certamente podemos esperar que, no mundo real, seremos cada vez mais impactados pelas falhas e erros de robôs e humanos, tanto por seus criadores e operadores, como pelos próprios usuários.
E estudar suas causas e efeitos, assim como formas de evitar ou se adaptar a eles, tolerando de forma discricionária ou automática as falhas e erros que impactam os robôs, será cada vez mais fundamental para sua viabilidade de mercado.
É o que veremos e estudaremos nesse livro.