Fatigue and drowsiness detection using inertial sensors and electrocardiogram

Abstract

The interest in monitoring a driver’s performance has increased in the past years in order to make the roads safer both for drivers and pedestrians. With this thinking in mind, it arises the idea of developing a system to monitor driver’s fatigue and drowsiness to alert him, if needed, about his psychological and physical states. This dissertation is based on the CardioWheel system, developed by CardioID, and consists in monitoring the person’s ECG signal and to record the motion of the steering wheel during the journey. The ECG signal is extracted with dry-electrodes placed in a conductive leather covering the steering wheel that can sense the electrical signal caused by the heartbeat of the person while having the hands on the wheel. The steering wheel movement monitoring is performed with the help of a three-axis accelerometer placed in the middle of the steering wheel that records the proper acceleration variations while moving the steering wheel. With those accelerations it is possible to calculate the steering wheel rotation angle during all the journey. The amount of data acquired with this system undergoes a compression stage for transmission with the goal of reducing the necessary bandwidth. From the evaluated techniques for data compression, it was possible to conclude that the hybrid method using Linear Predictive Coding and Lempel-Ziv-Welch is the lossless technique with the highest Compression Ratio. However, the hybrid technique using amplitude scaling e DWT is the lossy method with the highest Compression Ratio and a reduced RMSE. The transmission of the compressed data is done via Bluetooth® Low Energy, available in the CardioWheel system, with an exclusive profile developed for this dissertation. This profile has the ability to transmit the ECG and accelerometer data in real time. To detect if the driver is becoming drowsy, were evaluated machine learning algorithms to detect fatigue and drowsiness patterns according to the received ECG and accelerometer data from the steering wheel. Many features were extracted to describe the main characteristics from both signals and, from all the tested techniques, the Support Vector Machine technique proved to be the best classification method with the higher accuracy in classification. With these tested results, it could be possible to implement an alarmistic system, to warn the driver about his psychological and physical states, increasing the safety in the roads.

O interesse em monitorizar os condutores dos veículos durante a sua condução tem vindo a aumentar ao longo dos anos, com o objectivo de tornar as estradas mais seguras para condutores e peões. Com este pensamento, surgiu a ideia de desenvolver um sistema capaz de monitorizar a fadiga e a sonolência do condutor e, se necessário, alertá-lo sobre o seu estado físico e psicológico. O ADAS, conhecido como sendo um sistema de assistência avançada para os condutores, é um sistema que monitoriza o desempenho e o comportamento do automóvel, bem como as condições físicas e psicológicas do condutor. Este sistema pode ter um comportamento passivo, alertando os condutores para situações de perigo eminente para que o condutor consiga evitar esses perigos. O LDW, ou aviso de mudança de faixa, é capaz de alertar o condutor de uma saída involuntária de faixa e o FCW, ou aviso de colisão frontal, consegue alertar o condutor de uma colisão eminente, tendo em conta o veículo frontal. Por outro lado, o ADAS consegue concretizar acções de forma assegurar a segurança dos passageiros e dos peões. O AEB, ou travagem de emergência automática, identifica uma colisão eminente e trava sem intervenção do conduto e o LKA, ou assistente de manutenção de faixa, que movimenta o veículo para que este não saia da faixa de rodagem. Esta dissertação é baseada no projecto CardioWheel, desenvolvido pela empresa CardioID, e consiste na monitorização do sinal cardíaco do condutor e na gravação dos movimentos realizados pelo volante do veículo durante a condução. O sinal cardíaco, conhecido como ECG, é extraído através de eléctrodos secos fixados numa capa em pele colocada no volante, que conseguem captar o sinal eléctrico provocado pelo batimento cardíaco enquanto o condutor estiver com as mãos no volante. O controlo dos movimentos do volante, ou SWA, é conseguido através de um acelerómetro de 3 eixos colocado no centro do volante que grava as variações da aceleração instantânea enquanto o condutor movimenta o volante. Através dessas acelerações é possível calcular-se o ângulo de rotação do volante durante todo o percurso. Os dados adquiridos de ECG e SWA geram uma enorme quantidade de informação que tem que ser codificada de forma a reduzir a largura de banda necessária à transmissão. Técnicas no domínio do tempo, como o AZTEC, TP e o CORTES, estão bem documentadas como boas técnicas para compressão de sinal ECG onde o principal objectivo é a obtenção da pulsação cardíaca. Dadas as exigências do projecto, concluiu-se que estes métodos não seriam os melhores para preservar as características principais do sinal de forma a obter-se padrões de fadiga e sonolência. Outros métodos de codificação com e sem perdas foram testados tanto para compressão de sinal ECG como para SWA e pode-se concluir que o método híbrido de Codificação Linear Preditiva com a técnica Lempel-Ziv-Welch é o método sem perdas em que se obteve maior rácio de compressão. Por outro lado, outro método hibrido utilizando escalamento de amplitude com DWT, provou ser o método com perdas com maior rácio de compressão onde o erro quadrático médio é reduzido. A transmissão da informação comprimida é assegurada através de um módulo BLE, presente no CardioWheel, no entanto, foi possível concluir que outras tecnologias como ZigBee ou ANT seriam igualmente compatíveis com o propósito do projecto. Foi desenvolvido especificamente para este projecto um perfil BLE com a capacidade de transmitir a informação do sinal ECG e do acelerómetro em tempo real. Para detectar se o condutor está a apresentar sinais de fadiga ou sonolência, foram testados vários algoritmos de aprendizagem automática que, de acordo com a informação ECG e do acelerómetro enviada pelo volante, conseguem detectar esses padrões. A escala KSS, é uma escala subjectiva que identifica o nível de sonolência de uma pessoa e que permite a classificação do nível de sonolência do condutor. Para construir um algoritmo de inteligência artificial é necessário extrair-se características dos sinais a interpretar. Essas características têm que descrever o sinal de forma precisa para que os algoritmos de aprendizagem automática consigam interpretar e classificar cada sinal da forma adequada. Características como ritmo cardíaco ou amplitude da onda R são exemplos de características utilizadas para descrever o sinal ECG. Características como tempo com o volante estático e aceleração média são exemplos de características utilizadas para descrever o sinal de SWA. Para além das características, um algoritmo de aprendizagem automática necessita de uma base de dados que consiga cobrir todas as situações possíveis para que o algoritmo, olhando para os dados inseridos, consiga detectar os padrões nas características para cada resultado final possível. Métodos de regressão foram implementados de forma e testar o seu desempenho para um problema de classificação, no entanto, não provaram ser os melhores métodos para essa abordagem. De todas as técnicas de classificação testadas, o método de SVM, ou máquina de vectores de suporte, provou ser o que obtém melhores resultados de classificação. Com os resultados obtidos será possível implementar-se um sistema de alarmística que consiga avisar o condutor sobre o seu estado físico e psicológico, aumentando assim a segurança rodoviária.