¿Cuál es la Historia?

¿A alguien le suena el nombre de Lisanne Bainbridge? Inútil que lo busquen en Google, si lo que quieren es saber algo sobre su vida personal. No obstante, todas las referencias llevarán a un artículo de gran interés que esta psicóloga británica escribió durante los años 80 del siglo pasado, y gracias al cual su autora está destinada a figurar como pionera en el ańalisis de problemas derivados de la difícil relación entre máquina y ser humano. En un tiempo en que Queen cosechaba sus primeros triunfos en la lista de los 40 Principales, cuando la tecnología digital apenas estaba despegando y la mayor parte de las cosas se hacían todavía a mano, “Ironías de la Automatización” expone tres situaciones paradójicas en el despliegue de los modernos sistemas de control que hoy gobiernan nuestra economía, las administraciones públicas, el transporte e incluso nuestra vida cotidiana y nuestras formas de entretenimiento. La primera de estas paradojas o “ironías” es que el diseñador del sistema parte del supuesto de que los operadores humanos no son fiables, y por ello deben ser reemplazados por máquinas. La segunda ironía de la automatización consiste en darse cuenta de que el mismo diseñador que antes había quitado de en medio al operador humano, sigue manteniéndolo para finalidades de supervisión de tareas que el diseñador no sabe bien cómo automatizar.

La tercera ironía, más grave que las anteriores, exige de un apático y desentrenado operador humano la capacidad de intervenir heroicamente en caso de que el sistema automático falle, tras haberse pasado horas de brazos cruzados observando un funcionamiento complejo que nadie entiende bien, y que puede empezar a manifestarse en forma de acciones anómalas o peligrosas como resultado de la misma ejecución del programa. Ello conduciría a una situación compleja y difícil de analizar. Si el problema tiene lugar en una cadena de montaje, se producirán pérdidas económicas por parada de máquina, pero los ingenieros tendrán tiempo para solucionar el problema a base de meter horas extra. ¿Pero qué sucede cuando el sistema empieza a hacer cosas raras en la sala de control de una central nuclear o en la cabina de un avión, donde la respuesta en tiempo real es siempre imperativa y el resultado de cualquier disrupción puede traducirse en la pérdida de vidas humanas?

Durante casi 40 años el tema no ha pasado de ser un supuesto exótico, como de novela de ciencia ficción. De pronto, en la segunda década del siglo XXI, con una sucesión de accidentes aéreos catastróficos, todavía no del todo bien explicados, con aparatos Airbus A320, Boeing 737 MAX y otros modelos similares provistos de sofisticados sistemas informáticos, hete aquí que se convierte en un problema real que muchos no quieren ver, ya que afecta a la seguridad de las personas y compromete sumas billonarias en contratos aeronáuticos y la capitalización bursátil de algunas empresas clave para la economía. Como respuesta a la crisis, los gobiernos organizan comisiones de investigación burocratizadas que no llegan a ningún lado, declaran locos o suicidas a los pilotos o prohíben la entrada de las aeronaves en sus espacios aéreos. Poco a poco se va imponiendo la realidad. Y la realidad es que Lisanne Bainbridge estaba en lo cierto: existe un problema de fondo entre operador y humano y sistema automático, directamente derivado de los propios fallos conceptuales cometidos por el diseñador de los años 70 y 80 del siglo pasado.

Lo más paradójico, que podría añadirse al conjunto de ironías enumeradas por Lisanne Bainbridge en su ensayo de culto, es que en última instancia ni siquiera se trata de errores de diseño. El ordenador siempre funciona bien. Lo único que hace es generar salidas a partir de inputs, sin detenerse a considerar si el resultado es aceptable o no para el ser humano. El sistema no entiende de eso. Si no está bien programado, inútil pedirle que funcione a satisfacción del operador. O que no arroje una salida catastrófica si hay sensores que no funcionan bien o alguna otra cosa se tuerce durante el proceso: garbage in, garbage out. Cada vez resulta más evidente que esos vuelos no se perdieron debido al error humano, a fenómenos climatológicas o al mal diseño de las aeronaves, sino a complejas interacciones dentro de sistemas informáticos que no podían prever todas las contingencias, y que pillaron por sorpresa a unos pilotos habituados a volar en automático que se vieron obligados a actuar en márgenes de muy pocos segundos antes de la tragedia final.

No hace falta demasiada imaginación para trazar perspectivas de futuro: la red eléctrica inteligente o smart grid, sistemas de inteligencia artificial regulando el tráfico y haciendo diagnósticos médicos y, sobre todo, el coche autónomo -que según dicen, también ha debido atropellar hace poco a su primera víctima humana-. ¿Quiere todo esto decir que nos vemos abocados a un futuro inquietante, o que deberíamos renunciar a la tecnología para volver a poner al timón de nuestros modernos buques portacontenedores a viejos lobos de mar con chubasquero y fumando en pipa? Nada de eso. Lo que realmente implica es que tendremos que ocuparnos de los problemas de la automatización, en vez de ignorarlos augustamente por conveniencias económicas o de prestigio nacional. Llega una época en la que habremos de conocer un tipo novedoso de errores catastróficos que no se producen por causas humanas ni defectos de calidad en las estructuras, sino como resultado de estados impredecibles en las variables procesadas por el software. Por muy bien que funcione todo, tarde o temprano el sistema hará una división por cero o insistirá en que el avión está ganando altura cuando en realidad ha entrado en pérdida. Y para ese tipo de situaciones hay que estar preparados.

El despliegue de la Inteligencia Artificial, la Internet de las Cosas, Industria 4.0 y otos frutos del progreso tecnológico requieren la formación de un ejército de especialistas en el factor humano de la automatización. El planteamiento originario de los años 70 está desfasado, y hay que buscar alternativas que sean compatibles con el escenario actual. Visto en clave positiva, es posible que ahí tengamos también un campo prometedor para el emprendimiento y el desarrollo de nuevas profesiones… que por supuesto no deberían ser automatizables.