DeepASMR 😴

Generative Model

• Variational AutoEncoder (VAE)

Variational AutoEncoder
• VAE는 Training data와 같은 분포를 가지는 sample 분포에서 sampling을 하여 새로운 것을 생성하는 모델이다.
• 주어진 Training data의 분포를 p_data(x)라 할 때 sample 모델 p_model(x) 역시 같은 분포를 가진다고 가정한다.
• p_model(x)를 통해 inference하면 새로운 x가 생성된다.
• Encoder 함수의 output은 latent variable의 분포의 𝜇 와 𝜎 를 내고, 이 output값을 표현하는 확률밀도함수를 생각해볼 수 있다.
• Sampling한 값들을 backpropagation 하기 위해 reparmeterization trick을 사용한다.
• Decoder는 Sampling된 z값을 입력으로 받아 Encoder의 Input의 shape으로 reconstruction 하는 layer이다.
More Detail
• VAE Animation


VAE Latent Space

---

VAE Result


Originals Rain ASMR

Generated Rain ASMR

---

• Vector-Quantized Variational Autoencoders (VQ-VAE)



VQ-VAE Structure

• VAE와 Discrete Representation을 결합한 새로운 생성모델(VQ-VAE)을 제안한다
• Encoder의 output을 Discrete Representation Space로 Mapping하는 Vector Quantization Layer를 도입하였다.
• Vector Quantisation(VQ)를 사용하여 너무 큰 분산으로 생기는 어려움을 피하면서 학습하기 편하고 Posterior Collapse 문제를 회피할 수 있다.
• 연속표현을 사용하는 모델과 비등하면서도 이산표현의 유연함을 제공한다.
• VQ 방법을 사용하면 모델이 강력한 autoregressive decoder와 짝을 이룰 때 latent들이 무시되는 “Posterior Collapse” 문제를 피할 수 있다.
• 이어서 나올 Wavenet 모델이 decoder로 활용될 수 있다.

More Detail

---

Vector Quantization



Discrete Spaces



Two-Dimensional Vector Quantization Animation

---

Wavenet


Wavenet
The model predicts the distribution of potential signal values for each timestep, given past signal values.
• Wavenet은 Audio waveform을 Generate 하는 Auto regressive Model이다.
• waveform을 결합확률분포로 표현하고, 이를 Convolution layer를 쌓아서 모델링한다.
• 1D convolution으로 Time-series data를 causal하게 Mapping하여 waveform을 생성하는 알고리즘
• waveform의 경우 이전 상태의 정보가 중요하므로 dilated convolution으로 Receptive Field를 넓히는 방법을 사용한다.
• 내부적으로 Residual block 및 skip connection을 사용한다
• TTS, 음악, voice conversion 등에 활용


---

VQ-VQE With Wavenet


Reconstruction
이 샘플들은 VQ-VAE 모델로 입력되는 음원을 이산적 잠재 코드로 64배 압축한 결과물이다. VQ-VAE는 prior 없이도 파형 그 자체로부터 처음부터 끝까지 학습이 진행된다. 비록 reconstruction된 파형이 원본의 모양과 많이 다른 모습을 띠지만 그래도 꽤 유사하다.
Originals and reconstructions

Samples from Prior
이산 잠재공간은 매우 압축된 상징적 표현 속에 말의 내용과 같은 중요한 특징을 음원으로부터 캐치한다. 이러한 특성 덕분에, 이 잠재 공간의 시작 부분에 또 다른 Wavenet 모델을 학습시킬 수 있으며 Long term dependency를 효과적으로 이해할 수 있다. 만약 데이터가 충분하면 하나의 모델이 심지어 전처리되지 않은 음원으로부터 직접 언어 모델을 학습할 수 있게 된다.
Sample Audio

---

VQ-VAE Result


Originals Fire ASMR

Generated Fire ASMR

---

Melnet



Melnet

Autoregressive model은 간단한 분포를 모델링하여 복잡한 고차원 분포를 설명하는 방법이다. 모델이 한 번에 하나의 요소를 예측하도록 훈련되는 이 접근법은 Image, Text 및 Waveform을 포함한 다양한 데이터 양식에 성공적으로 적용되었다. 멜넷은 스펙트로그램의 모델링에 이와 같은 접근법을 적용한다. PixelCNN과 같은 Autoregressive 이미지 모델이 이미지의 공간 치수에 대한 분포를 픽셀 단위로 추정하는 것과 마찬가지로, MelNet은 스펙트로그램의 시간과 빈도 치수에 따른 분포 요소를 추정한다.

Melnet은 두 가지 다른 자기 회귀 순서를 실험하였다. 첫 번째는 각 스펙트로그램 프레임을 저주파에서 고주파까지 거쳐 다음 프레임으로 진행하는 Time major ordering 이다. 두 번째는 Multiscale ordering이다.



Time major ordering



Upsampling



Multiscale Modelling

자기 회귀 모델의 한 가지 단점은 Global Structure보다 Local Structure를 훨씬 잘 학습하는 경향이 있다는 것이다. standard row-major ordering 순서로 이미지를 모델링할 때, 이는 현실적인 질감을 가지지만 객체 레벨에서 일관성 있는 높은 수준의 구조와 더 높은 수준의 장면 구성이 부족한 샘플을 생성한다. 이 문제는 고차원 분포를 모델링할 때 특히 두드러진다. 우리는 수십만 차원으로 스펙트로그램을 모델링하는 것을 목표로 하고 있기 때문에, 이러한 효과에 대응하기 위한 대책을 도입하는 것이 필수적이다. 이를 위해 대략적인 순서에 따라 스펙트로그램을 생성하는 멀티스케일 모델을 사용한다. 높은 수준의 구조를 캡처하는 저해상도 하위 샘플링된 스펙트로그램이 처음에 생성된 다음 고해상도 세부 정보를 추가하는 반복적인 업샘플링 절차가 이어진다. 이러한 방식으로 스펙트로그램을 생성함으로써 로컬 구조와 글로벌 구조를 학습하는 작업을 분리할 수 있다.

---

Melnet result



ASMR Rain Upsampling