Commit 51b956a9 authored by Claudio Kozický's avatar Claudio Kozický

Add presentation

parent 4f9c45e2
notebook/.ipynb_checkpoints/
presentation/presentation.aux
presentation/presentation.log
presentation/presentation.nav
presentation/presentation.out
presentation/presentation.pdf
presentation/presentation.snm
presentation/presentation.toc
report/report.aux
report/report.log
report/report.out
......
\documentclass[hyperref=unicode]{beamer}
% \documentclass[aspectratio=169, hyperref=unicode]{beamer}
\usepackage[UKenglish, czech]{babel}
\usepackage{booktabs} % table rules
\usepackage[shortcuts]{extdash} % \-/ and \=/
\usepackage{fontspec}
\defaultfontfeatures{Ligatures=TeX}
\usepackage{lmodern} % use Latin Modern instead of Computer Modern Super
\usepackage[version=4]{mhchem} % used to typeset CO_2
\usepackage[babel]{microtype}
\usepackage{pgfplotstable}
\pgfplotsset{compat=1.16}
% British English convenience macro
\newcommand{\be}[1]{\foreignlanguage{UKenglish}{\emph{#1}}}
\overfullrule=1mm % highlight overfull hboxes
\usetheme[secheader]{Boadilla}
\usecolortheme{dolphin}
\beamertemplatenavigationsymbolsempty % remove navigation symbols
% \usefonttheme[onlymath]{serif}
% \let\Tiny=\tiny % Beamer base font doesn't provide \Tiny
\pgfplotstableset{
col sep=comma,
text settings/.style={
display columns/#1/.append style={
column name=vstupní data,
column type=l,
string type,
}
},
number settings/.style={
display columns/#1/.append style={
column type=r,
fixed,
precision=2,
zerofill,
}
},
columns/naive1/.append style={column name=naivní 1},
columns/naive2/.append style={column name=naivní 2},
columns/rnn/.append style={column name=RNN},
columns/rnn-lstm/.append style={column name=LSTM},
columns/rnn-gru/.append style={column name=GRU},
columns/cnn/.append style={column name=CNN},
every head row/.style={before row=\toprule,after row=\midrule},
every last row/.style={after row=\bottomrule},
use comma, 1000 sep={\,},
}
\title[Časové řady, RNN a~CNN]{Modelování časových řad pomocí rekurentní
a konvoluční neuronové sítě}
\author{Claudio Kozický}
\institute[FIT ČVUT]{Fakulta informačních technologií ČVUT}
\date[ZS 2018/2019]{Zimní semestr 2018/2019}
\begin{document}
\begin{frame}[plain]
\titlepage
\end{frame}
\section{Úvod}
\begin{frame}
\frametitle{Úvod}
Tématem je modelování časových řad pomocí:
\begin{itemize}
\item jednoduché rekurentní neuronové sítě (RNN),
\item RNN s~LSTM (\be{long short\-/term memory}),
\item RNN s~GRU (\be{gated recurrent unit}),
\item konvoluční neuronové sítě (CNN).
\end{itemize}
\end{frame}
\section{Vstupní data}
\subsection{Zvolená vstupní data}
\newcommand{\I}{\url{https://datamarket.com/data/list/?q=provider:tsdl}}
\newcommand{\II}{\url{https://datamarket.com/data/set/22v1/}}
\newcommand{\III}{\url{https://datamarket.com/data/set/22pw/}}
\newcommand{\IV}{\url{https://datamarket.com/data/set/22wh/}}
\begin{frame}
\frametitle{Zvolená vstupní data}
\begin{itemize}
\item zadání doporučilo použít \be{Time Series Data Library}\footnote{\I}
\item vstupní data musí mít dostatečnou délku
\item musí vykazovat určitou pravidelnou strukturu, jinak není co předpovídat
\item zvolené časové řady:
\begin{itemize}
\item vývoj podílu \ce{CO2} ve vzduchu\footnote{\II}
\item vývoj úrovně hladiny jezera\footnote{\III}
\item vývoj počtu slunečních skvrn\footnote{\IV}
\end{itemize}
\end{itemize}
\end{frame}
% TODO: visualise input data
\subsection{Předzpracování vstupních dat}
\begin{frame}
\frametitle{Předzpracování vstupních dat}
Byla provedena:
\begin{itemize}
\item stacionarizace časových řad,
\item rozdělení na trénovací (\(60\,\%\)), validační (\(20\,\%\)) a~testovací
data (\(20\,\%\)),
\begin{itemize}
\item mělo by platit, že trénovací a~validační data časově předcházejí
testovacím
\end{itemize}
\item normalizace časových řad podle vlastností trénovací časové řady
\item vytvoření polí příslušných rozměrů
\end{itemize}
\end{frame}
\section{Měření}
\subsection{Metody}
\begin{frame}
\frametitle{Metody}
\begin{itemize}
\item vstup modelů: pět hodnot časové řady
\item výstup modelů: předpovídaná hodnota
\item pro porovnání byly vytvořeny naivní modely
\item pro neuronové sítě bylo použito supervizované učení
\item učení modelů využívá metodu \be{early stopping}
\item výpočet ztrátové funkce jako MSE
\item minimalizace ztrátové funkce pomocí optimalizátoru \emph{Adam}
\end{itemize}
\end{frame}
\begin{frame}
\frametitle{Metody}
Použitá jednoduchá rekurentní neuronová síť:
\begin{itemize}
\item má nastavitelný počet rekurentních vrstev,
\item před každou vrstvou se nachází \be{dropout} vrstva,
\item aktivační funkcí je \(\tanh\),
\item výstupní vrstva je plně propojená s~lineární aktivační funkcí.
\end{itemize}
RNN s~LSTM a~GRU mají obdobnout stavbu.
\end{frame}
\begin{frame}
\frametitle{Metody}
Stavba konvoluční neuronové sítě:
\begin{itemize}
\item jednorozměrná konvoluční vrstva s~aktivační funkcí \be{rectifier},
\item \be{max pooling} vrstva,
\item plně propojená vrstva s~aktivační funkcí \be{rectifier},
\item \be{dropout} vrstva,
\item plně propojená výstupní vrstva s~lineární aktivační funkcí.
\end{itemize}
\end{frame}
\subsection{Výsledky}
\begin{frame}
\frametitle{Hodnoty ztrátových funkcí nad testovacími daty}
\centering
\pgfplotstabletypeset[
text settings/.list={0},
number settings/.list={1,...,6},
]{../data/loss-function.csv}
\bigskip
\begin{itemize}
\item všechny neuronové sítě překonaly naivní modely
\item ukázalo se, že laděním hyperparametrů lze u~všech sítí dosáhnout
podobných výsledků
\end{itemize}
\end{frame}
\begin{frame}
\frametitle{Zhodnocení}
\begin{itemize}
\item ladění parametrů jednoduché RNN bylo poměrně náročné
\item ladění parametrů CNN bylo nejsnažší
\item u~jednoduché RNN byl největší rozdíl mezi hodnotou ztrátové funkce na
testovacích a~validačních datech
\item u~RNN s~LSTM a~GRU byl zmíněný rozdíl nejmenší
\item učení RNN s~LSTM trvalo nejdéle, RNN s~GRU bylo mírně rychlejší
\item učení CNN trvalo nejméně času
\end{itemize}
\end{frame}
\section{Závěr}
\begin{frame}
\frametitle{Závěr}
\begin{itemize}
\item všechny neuronové sítě překonaly naivní modely
\item laděním hyperparametrů bylo dosaženo u~všech sítí podobné úspěšnosti
\item ladění hyperparametrů konvoluční sítě bylo nejsnažší
\item učení konvoluční sítě trvalo nejméně času
\end{itemize}
\end{frame}
\end{document}
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment