A Inteligência Artificial faz parte de nosso cotidiano e continua avançando de forma incrivelmente veloz. Por meio dela, algoritmos estudam nosso histórico de escolhas, comportamentos, ações, e criam modelos que lhes permitem fazer sugestões.
Enquanto escrevo este texto, por exemplo, o corretor ortográfico ajusta o caractere errado que acabei de digitar (anos atrás, ele apenas sublinhava a palavra incorreta com um tracejado vermelho, incômodo de se ver em meio à pagina em branco e preto); o aplicativo de GPS traça a melhor rota entre minha casa e o escritório, e a destaca entre os vários caminhos possíveis; o e-commerce exibe uma lista de livros que eu provavelmente gostaria de ler; o app do supermercado indica produtos de marcas que geralmente consumo que estão com desconto; minha agenda virtual alerta sobre o aniversário de uma amiga e, pouco depois, todo site que visito parece conter sugestões de presente.
No mundo digital, nada disso é por acaso. Cada ação que tomamos gera pegadas que são coletadas, armazenadas, organizadas e, eventualmente, traduzidas em estratégias digitais. Dessa forma, e com base em um crescendo de acertos e conveniência, acabamos adotando novas tecnologias e confiando cada vez mais em seus resultados.
Mas será que delegar escolhas ao algoritmo é sempre o melhor caminho?
Durante nosso processo evolutivo, o cérebro adotou padrões que lhe permitiam tomar decisões rápidas (uma questão de sobrevivência), além de economizar energia. Esses padrões constituíram aquilo que hoje chamamos de vieses cognitivos. Vieses são interpretações da realidade utilizadas na tomada de decisão, nem sempre em nosso melhor benefício. Eles quase sempre ocorrem de forma inconsciente, pois estão associados a reações mais límbicas de nossa natureza – Dan Ariely, um dos grandes nomes das Ciências Comportamentais, questiona em sua TED Talk de 2008: temos controle sobre nossas decisões?
Neste cenário de decisões influenciadas por elementos sutis do contexto e algoritmos encurtando o processo de escolha por meio de sugestões, acabamos nos acostumando a esses resultados e, a partir daí, acatando mais e mais indicações feitas pela inteligência artificial.
Esse comportamento caracteriza o viés da automação, isto é, nossa tendência a acreditar que resultados oriundos de sistemas tecnológicos são mais confiáveis do que aqueles provenientes de nossa própria deliberação ou experiência. Segundo James Bridle:
“(…) Dada a aglutinação de sistemas complexos nas aplicações contemporâneas em rede, não há uma só pessoa que enxergue o panorama total. A fé na máquina é um pré-requisito para sua utilização, e isso embasa outros vieses cognitivos que entendem reações automatizadas como inerentemente mais confiáveis do que as não automatizadas.”
Nossa crença na infalibilidade da máquina, porém, persiste mesmo quando há sinais claros e repetidos de que a máquina, e não nosso julgamento do contexto, está errada. E isso ocorre tanto em situações (aparentemente) mais simples, quanto em casos complexos:
– em um estudo de simuladores de voo da NASA, o software transmitia alertas de incêndio contraditórios à tripulação durante o preparo para a decolagem, a fim de testar sua resposta em situações de emergência. O resultado mostrou que 75% das equipes que confiavam cegamente na informação eletrônica desligavam o motor errado (versus 25% das que seguiam um checklist tradicional, em papel), embora ambas tivessem acesso a informações extras, inclusive visuais, que poderiam conduzi-las à decisão correta;
– em 2012, um grupo de turistas japoneses viajando pela costa australiana teve de abandonar seu Hyundai alugado em meio às águas do Pacífico. A rota do GPS indicava um caminho de terra de cerca de 14,5km ligando o continente a uma ilha. Contudo, e apesar da evidência visual de que não seria possível atravessar a região por conta do excesso de lama no trajeto (que sequer era uma pista oficial), decidiram confiar nas orientações do aparelho e seguir em frente. Encalhados, não tiveram outra escolha senão deixar o veículo e retornar a pé, na medida em que a maré avançava;
– durante a Guerra no Iraque (2003-11), o “fogo amigo” disparado pela Força Aérea americana resultou na morte de diversos combatentes de suas próprias tropas.
Por que confiamos tanto nas máquinas, mesmo quando a evidência nos sugere o contrário?
Segundo estudos de Raja Parasuraman & Dietrich Manzey (2010), existem algumas razões que acentuam nossa sujeição a este viés. Dentre elas:
– propriedades sistêmicas: o aumento do nível de automação (LOA, na sigla em inglês) e da confiabilidade dos resultados providos pelos algoritmos, somados a sugestões que encurtam o processo decisório, tornam a conformidade o status quo a ser seguido. E como já discutimos em outras oportunidades: nós temos um carinho especial por permanecer no status quo;
– accountability: experimentos realizados por Mosier et al. (1998) apontam que quando a responsabilidade (ou percepção de responsabilidade) sobre as consequências de uma determinada tarefa são pequenas, a busca por informações adicionais e validação dos resultados apresentados por um sistema automatizado diminuem.
Ademais, os resultados apontam que o viés de automação afeta tanto pessoas com pouca experiência quanto especialistas, e pode ocorrer em situações em que um indivíduo decide sozinho, bem como quando há duplas ou times envolvidos – neste caso, ele pode até ser potencializado por outros atalhos cognitivos, como o viés da autoridade e o da confirmação.
Faça como os japoneses
Por mais meticulosos e consistentes que possam ser, treinamentos por si só não garantem imunidade ao viés da automação. E visto que não é possível “desenviesar” o ser humano, nossa única alternativa é trabalhar sobre o processo de tomada de decisão, criando pontos que facilitem e/ou reforcem as etapas importantes.
Na aviação moderna, por exemplo, toda decolagem é precedida de um extenso checklist comunicado e conferido em voz alta pela equipe de cabine, garantindo inclusive que elementos visuais foram verificados. Duas vezes.
No Japão, país que possui um dos sistemas de transporte mais pontuais do mundo – e que causou certa estranheza ao mundo em maio de 2018, quando uma empresa pediu desculpas oficialmente por um de seus trens ter partido 25 segundos (!) antes do previsto – as equipes de cabine e plataforma utilizam amplamente um sistema chamado Shisa Kanko – aponte e fale. Ao avistar uma placa de segurança, executar um comando ou fazer uma conferência, o funcionário aponta para o objeto alvo da ação e diz em voz alta o que este significa ou o que está sendo feito. Essa prática tem por objetivo tirar as pessoas do “piloto automático”, condicionando o cérebro a realmente dedicar atenção à ação sendo executada, e garantir assim que os procedimentos de segurança necessários foram cumpridos. Segundo experimentos realizados pela Railway Technical Research Institute, uma empresa de pesquisas do sistema ferroviário japonês, a técnica foi responsável pela redução de até 85% dos erros cometidos em tarefas simples.
As lições do cockpit e do metrô japonês trazem algumas dicas sobre o que podemos fazer no dia a dia, a fim de melhorar nosso processo decisório – especialmente em situações de risco ou que trazem consigo grandes consequências.
Saiba mais em:
– ARIELY, Dan. TED Talk (2008) Temos controle sobre nossas decisões? Disponível com legendas em: https://www.ted.com/talks/dan_ariely_are_we_in_control
– BRIDLE, James. A nova idade das trevas: a tecnologia e o fim do futuro. São Paulo: Editora Todavia, 2019.
– CUMMINGS, Mary L. (2004) Automation bias in intelligent time critical decision support systems. Paper apresentado ao American Institute for Aeronautics and Astronautics. Disponível em: http://citeseerx.ist.psu.edu/viewdoc/summary.
– FUJITA, Akiko. (2012) GPS tracking disaster: Japanese tourists drive straight to the Pacific. Reportagem publicada no portal ABC News, em 16 de março, e disponível em: https://abcnews.go.com/blogs/headlines/2012/03.
– MOSIER, Kathleen L., PALMER, Everett A., DEGANI, Asaf. Electronic checklists: implications for decision making. Proceedings of the Human Factors Society Annual Meeting, 36(1), 7–11. https://doi.org/10.1177/154193129203600104.
– MOSIER, Kathleen L., SKITKA, Linda J., HEERS, Susan & BURDICK, Mark. (1998) Automation bias: Decision-making and performance in high-tech cockpits. International Journal of Aviation Psychology, 8, 47–63, 1998. Disponível em: https://doi.org/10.1207.
– PARASURAMAN, Raja, MANZEY, Dietrich. (2010) Complacency and bias in human use of automation: an attentional integration. The Journal of the Human Factors and Ergonomics Society 52(3):381-410. Disponível em: https://www.researchgate.net/publication.
– YANG, Lucy. (2018) A Japanese railway company apologized for making a ‘truly inexcusable’ mistake after a train left 25 seconds earlier. Reportagem publicada no portal Fox News, em 16 de maio, e disponível em: https://www.insider.com/train-departs-early.
