Unconstrained Sleep Monitoring and Modulation using Deep Neural Networks and Closed-Loop Stimulation

Abstract

수면은 우리의 건강을 유지하고 기억력을 향상시키는데 필수적인 역할을 하는 우리 몸과 마음의 자연스러운 상태이다. 수면을 모니터링하고 수면의 질을 향상시키는 효과적인 접근법은 우리의 건강과 행복을 향상 시킬 것이다. 비록 이전의 연구들에서 이를 달성하기 위한 몇 가지 방법들을 제안하였지만, 그 방법들은 구속적이고 실제 환경에서 실용적이지 않으며 장기간 사용하기에는 부적절하다. 따라서, 새로운 접근 방식이 필요하다. 본 학위 논문은 무구속적 심탄도 신호를 이용한 심층 신경망 기반 수면 단계 분류 모델을 제안한다. 또한, 본 학위 논문은 새로운 무구속적 수면 자극 시스템을 제안하고 수면 및 기억력에 미치는 영향을 평가한다. 수면 단계 스코어링은 수면 모니터링의 첫 단계이다. 수면다원검사는 수면을 평가하는 표준 방법이지만, 구속적이고 장기간 수면 모니터링에 사용하기 어렵다. 이러한 한계를 극복하기 위해, 무구속적 방법으로 측정된 심탄도 신호를 이용한 자동 수면 단계 스코어링 장단기 기억 네트워크를 제안한다. 60명 피험자의 심탄도 신호는 PVDF 센서를 사용하여 수면다원검사 동안 기록되었다. 60개의 데이터 중, 30개는 학습용, 10개는 검증용, 20개는 테스트용으로 사용되었다. 심탄도 신호에서 움직임, 호흡, 그리고 심박변이율을 포함한 16개의 파라미터를 추출한 후 정규화하였다. 장단기 기억 신경망 구조에서, 테스트 데이터 세트에 대해 수면 4단계 분류 성능을 평가하였고, 그 결과를 기존 기계 학습 결과와 비교하였다. 수면 4단계 에포크 단위 (30초) 분석은 평균 정확도는 0.74 그리고 평균 코헨의 카파 계수는 0.55를 보였다. 다른 기계 학습 방법 및 이전 연구와 비교했을 때, 제안한 장단기 기억 신경망 모델은 최고 분류 성능을 달성하였다. 심탄도 신호와 함께 장단기 기억 신경망을 사용하면 자동으로 수면 단계를 스코어링 할 수 있으며 가정에서 장기간 수면 모니터링에 사용할 수 있다. 수면의 질을 높이고 수면을 통한 건강 증진을 위해서는 수동적인 수면 모니터링을 넘어서는 수면 조절 방법이 필요하다. 수면 증진을 위한 다양한 자극 시스템이 있지만, 장기간 사용에는 구속적이고 비실용적이다. 본 학위 논문은 새로운 자극 시스템을 제안하고 심장 리듬과 수면에 미치는 영향을 조사함으로써 다른 방법들의 한계를 극복한다. 수면 중 개방-루프 진동 자극의 효과는 수면 마크로구조 및 심박변이율 분석에 의해 평가되었다. 수면 시작 잠복기 파라미터가 유의미하게 감소했지만, 자율신경계 안정화에는 영향을 미치지 않았다. 심장 리듬과 진동 자극 사이의 상호작용을 증가시키기 위해, 새로운 폐-루프형 자극 시스템을 개발하였으며 수면에 적용 가능성을 확인하였다. 10명의 지원자가 약 90분간 낮잠을 자는 평가 실험에 참여하였다. 실험은 하나의 기준 조건과 세 가지 자극 조건으로 구성하였다. 심박변이율과 심박 밀도 분석에서 폐-루프형 자극 방법은 심장 리듬에 영향을 미치고 자율신경계를 안정화시켰다. 작은 디튜닝 퍼센트는 심장 리듬을 더 효과적으로 조절하였다. 청각, 전류, 진동과 같은 수면 자극 방법의 효과를 비교했을 때, 제안한 폐-루프형 자극 시스템이 심장 리듬 조절에 가장 효과적이었다. 심박변이율 분석에서 폐-루프형 자극 방법만이 자율신경계를 안정화시켰다. 따라서 이 시스템은 수면 중에 외부 자극을 적용하는 획기적인 방법이 될 수 있다. 주기적인 외부 자극이 수면과 기억력에 미치는 영향을 조사하기 위해, 밤 수면 동안 폐-루프 진동 자극을 유도하였다. 12명의 지원자가 실험에 참여했으며, 각각 1회의 적응 검사와 자극 조건 및 자극 없음 조건과 같은 두 가지 실험 조건을 수행하였다. 개발된 시스템이 기억력에 미치는 영향은 단어 쌍 학습 과제를 이용하여 평가되었다. 심박변이율 분석 결과 N3 수면 단계 동안 자극 조건에서 부교감 신경 활성도는 유의미하게 증가하였고, 교감 미주 신경 밸런스는 유의미하게 감소하였다. N3 단계의 자극 조건에서 심박수와 자극 사이의 동기화 비율은 유의미하게 증가하였다. 뇌파 스펙트럼 분석은 N3 단계의 자극 조건 동안 저속파 활동 및 세타 주파수 대역에서 향상된 뇌파 스펙트럼 파워를 보였다. 자극 없음 조건과 비교하여 자극 조건에서 기억력 보존이 유의미하게 증가하였다. 이러한 결과는 폐-루프형 자극이 N3 단계의 질과 기억력을 향상 시킨 다는 것을 시사한다. 이 방법은 수면 중 자율신경계 및 신경 기능에 긍정적인 효과가 있다. 제안된 무구속적 수면 단계 분류 방법은 장기간 수면 모니터링에 기여한다. 또한, 제안된 새로운 자극 방법은 수면의 질을 향상시키고 수면 조절을 통해 건강을 향상시킬 수 있는 잠재력을 가지고 있다. 이러한 접근법은 편리하고 안전한 방법으로 수면 모니터링과 향상을 위한 새로운 전략을 열 것으로 기대된다.

Sleep is a natural state of our mind and body that plays an essential role in maintaining our health and enhancing our memory. An effective approach to monitor sleep and promote sleep quality would improve our health and well-being. Though previous studies proposed several methods to achieve this, they are obtrusive and impractical in the real world and are inadequate for long-term use; hence, a new approach is essential. This thesis proposes deep neural networks based sleep stage classification model utilizing an unconstrained ballistocardiography (BCG) waveform. In addition, it suggests a novel unobtrusive sleep stimulation system and evaluates its effects on sleep and memory. Sleep stage scoring is the first step in sleep monitoring. Polysomnography (PSG) is the gold standard method for assessing sleep; however, it is obtrusive and difficult to use for long-term sleep monitoring. To overcome these limitations, a LSTM model, for automatic sleep stage scoring using BCG signals measured without constraints is proposed. The BCG signals of 60 participants were recorded using a polyvinylidene fluoride sensor during PSG. Of the 60 recordings, 30 were used for training, 10 for validation, and 20 for testing. Sixteen parameters including movement, respiration and heart rate variability (HRV) were extracted from the BCG signals and then normalized. From the LSTM architecture, four sleep stage classification performances were evaluated for a test dataset, and the results were compared with conventional machine learning results. An epoch-by-epoch (30 s) analysis of the four sleep stages showed an average accuracy of 0.74 and a Cohens kappa coefficient of 0.55. When compared with other machine learning methods and previous studies, the proposed LSTM model achieved the highest classification performance. The use of LSTM networks with BCG signals has the potential to enable automatic sleep stage scoring and can be used for long-term sleep monitoring at home. To enhance sleep quality and promote health through sleep, a sleep modulation method that extends beyond passive sleep monitoring is required. Although various stimulation systems for enhancing sleep exist, they are constrained and impractical for long-term use. This thesis overcomes the limitations of other methods by suggesting a new stimulation method and examining the effects of stimulation on the heart rhythm and sleep. The effects of open-loop vibration stimulation during sleep were assessed by the sleep macrostructure and HRV analysis. Although the sleep onset latency parameter decreased significantly during night sleep, had no effect on the autonomic nervous system (ANS) stabilization. To increase the interaction between the heart rhythm and the vibration stimulus, a novel closed-loop stimulation system was developed and confirmed its feasibility of application for sleep. Ten volunteers participated in the evaluation experiment, in which they took a nap for approximately 90 min. The experiment comprised one baseline and three stimulation conditions. From the HRV and heart rate density analysis, the closed-loop stimulation method influenced the heart rhythm and stabilized the ANS. A small detuning percent modulated the heart rhythm more effectively. When comparing the effects of sleep stimulation methods such as auditory, current, and vibration, the proposed closed-loop stimulation system was most effective in modulating the heart rhythm. In HRV analysis, only the closed-loop stimulation method stabilized the ANS. Therefore, this system could be an innovative method for applying external stimulation during sleep. To examine the effects of an external periodic stimulus on sleep and memory, closed-loop vibration stimulation was induced for the whole nights sleep. Twelve volunteers participated in the experiment and each underwent one adaptation night and two experimental conditions such as a stimulation condition (STIM) and a no stimulation condition (SHAM). The effect of the developed system on memory was assessed using a word pair associated learning task. The HRV analysis showed a significant increase in the parasympathetic activity, and the sympathovagal balance significantly decreased under the STIM condition during the N3 sleep stage. The synchronization ratio between the heartbeat and the stimulus significantly increased under the STIM condition in the N3 stage. The electroencephalogram (EEG) spectral analysis showed an enhanced EEG spectral power of slow-wave activity and theta frequency bands, during the STIM condition in the N3 stage. Memory retention significantly increased under the STIM condition compared with the SHAM condition. These findings suggest that closed-loop stimulation improves the N3 stages quality and memory retention. This method has a positive effect on the ANS and neural function during sleep. The proposed unconstrained sleep stage classification method would contribute to monitoring sleep long-term. Furthermore, the proposed new stimulation method would enhance sleep quality and has the potential to enhance health through sleep modulation. The approaches are expected to open a new strategy for monitoring and enhancing sleep in a convenient and safe manner.