🤖딥러닝 (17) 썸네일형 리스트형 비용함수(Loss function/cost function)와 경사하강법(Gradient Descent)이란 00. 모델링(Modeling) 머신러닝과 딥러닝의 기본적 컨셉은 대용량의 데이터를 가지고 모델을 만들고, 이 모델에 새로운 데이터를 적용시켰을 때 예측을 잘하도록 하는 것이다. (결국 과거의 데이터에서 어떠한 패턴을 파악하고 그것을 이용해 미래를 예측하고 싶은것.) 예를 들어, 아이스크림 가게를 운영하는 사장이 다음 달은 어느 정도의 물량을 미리 확보해놔야하는지 예측하고 싶을 수 있다. (실제 판매량 보다 너무 적거나 많게 물건을 준비해놓으면 그에 따른 손해가 발생하기 때문에 조금이라도 손실을 줄이고 싶은것.) 이때 최근 몇년동안의 데이터(날씨, 기온, 월, 강수량, 판매수량 등)를 이용하여 패턴을 파악하면 다음달에 어느정도의 아이스크림을 미리 확보해야 하는지 예측할 수 있을 것이다. 이처럼 데이터 내.. Sleep-EDF dataset (python에서 EDF 포맷 읽기) 01. Sleep-EDF dataset Sleep-EDF dataset은 EEG(Fpz-Cz 및 Pz-Oz), EOG, EMG 및 이벤트 마커가 포함된 197개의 수면다원검사(Polysomnographic) 기록이 포함되어있는 오픈 데이터셋이다. Sleep-EDF dataset을 다운로드하면 크게 두 가지 종류의 폴더가 있다. 1) Sleep-cassette 2) Sleep - telemetry 1) Sleep-cassette는 시간순으로 PSG의 각 센서 데이터의 기록이고, 2)Sleep-telemetry는 테마제팜(temazepam)이라는 불면증 치료제 효과를 확인하기 위해 만든 데이터 셋이다. 이 중, 1)sleep-cassette dataset을 활용하여 edf파일을 읽어오는 방법을 정리해보고자 .. [논문 리뷰] An Attention-Based Deep Learning Approach for Sleep Stage Classification With Single-Channel EEG 1. Introduction sleep stage는 인간의 면역체계, 기억력, 대사작용 등과 관련하여 중요한 요소이기 때문에 수면을 모니터링하고, sleep stage를 분류, 분석하여 sleep quality를 높이는 것이 필요하다. 현재 sleep stage를 측정하는 기본적인 방법으로는 수면 다원검사(PSG : polysomnography)가 있으며, 이는 EEG(Electroencephalogram), EOG(Electrooculogram), EMG(Electromyogram), ECG(Electrocardiogram)을 측정하여 수면에 대한 전반적인것들을 검사한다. 하지만 수면 다원검사는 비용적인 부담과 검사 방법의 불편함 등 여러 문제점이 있기 때문에, 보다 쉽고 간편하며 저렴한 방법으로 수면.. loss값이 nan인 이유와 해결 방법 00. loss값이 nan??? 딥러닝 모델을 학습시키는데, 그 결과가 loss:nan / sparse_categorical_accuracy:0.000e+00이 나왔다. 이건 정말이지 듣도 보도 못한 결과!?!?!?!?!? 띠용....💁🏻♀️❓혹시나 다음에도 이러한 상황이 발생할 수 있기 때문에 기록해두는 loss값이 nan이 나온 이유와 해결방법!! 01. 원인 추정 loss가 어떻게 nan이 나오지??? 이를 해결하기 위해 그 이유를 검색해본 결과, 다음과 같은것들이 원인 & 해결방법이 될 수 있다. 1️⃣ input data에 nan이 껴있다. -> df.isnull( ).any( )로 확인해보자 2️⃣ 데이터 타입을 float로 변경해보자 3️⃣ learningrate가 너무 높아서 그럴 수 있.. Attention Mechanism (어텐션 메커니즘)의 거의 모든것(1) 01. seq2seq의 문제점 이전 게시글에서는 입력 시퀀스에 대한 모든 정보를 하나의 고정된 크기의 벡터(context vector)로 인코딩한다음, 이를 디코더로 전달하여 다른 도메인의 시퀀스를 출력하는 seq2seq에 대해 정리하였다. seq2seq는 vanilla RNN보다 시퀀스 데이터를 더욱 잘 처리할 수 있지만, 여전히 한계가 존재한다. 1️⃣입력 시퀀스의 길이에 상관없이, 항상 고정된 크기의 벡터에 모든 정보를 압축하기 때문에 이 과정에서 정보 손실이 발생한다. (bottleneck으로 작용) 2️⃣입력 시퀀스의 길이가 길어지면 RNN에서 발생된 기울기 소실(vanising gradient) 문제가 여전히 존재한다. -> 위와 같은 seq2seq의 문제점을 보완하기 위해 Attention .. 이전 1 2 3 4 다음
