Skip to content
Snippets Groups Projects
Code owners
Assign users and groups as approvers for specific file changes. Learn more.
Name Last commit Last update
..
CD
README.md

EN below

Čištění dat pomocí pravděpodobnostního programování

Vedoucí - Mgr. Vojtěch Rybář

Oponent - Ing. Daniel Vašata, Ph.D.

Typ práce - Bakalářská práce

Jazyk práce - Čeština

Abstrakt

Práce zahrnuje rešerši z oblasti čištění a doplňování datových sad a zaměřuje se na konkrétní přístup s využitím pravděpodobnostního programování. Pro praktickou část práce je využíván pravděpodobnostní programovací jazyk PClean naprogramovaný v jazyce Julia. Jsou vysvětleny principy, na kterých funguje, a popsány konkrétní části nutné pro sepsání programu. Následně je v PClean napsán program pro doplnění a opravu hodnot v datové sadě se záznamy automobilů (cena, výkon, palivo, atd.)

S touto opravenou sadou dat se provádí odhad ceny za pomocí regrese a kvalita výsledku se porovnává s výsledky při použití neupravených dat se sjednocenou doplňovanou hodnotou pro každý sloupec, anebo doplněných na základě odborných znalostí. Model naučený daty doplněných s PClean nedosahuje kvalit modelu založeného na odborných znalostech. Ale na druhou stranu PClean nabízí rychlý způsob doplnění chybějících kategorických hodnot s kvalitou přesahující dnes běžně používané triviální doplnění.

Klíčová slova

PClean, Julia, pravděpodobnostní programování, příprava dat, čištění datových sad, doplňování chybějících dat

Zadání

Čištění dat je důležitou, ale často opomíjenou součástí správného pracovního postupu v oblasti datových věd. V případě aplikací umělé inteligence ve vysoce rizikových prostředích, jako jsou zdravotnictví a finance, by předpovědi provedené modely trénovanými na problematických datech mohly v reálných aplikacích způsobit značné škody.

PClean je pravděpodobnostní programovací nástroj, který umožňuje využívat znalosti specifické pro danou oblast k čištění a normalizaci problematických datových sad.

V této práci bude podán přehled současných přístupů k čištění dat, vysvětleny principy nástroje PClean, tento nástroj aplikován na datovou sadu z reálného světa a porovnána výkonnost modelů strojového učení natrénovaných na původní datové sadě a datové sadě vyčištěné pomocí PClean.

Data cleaning with probabilistic programming

Supervisor - Mgr. Vojtěch Rybář

Reviewer - Ing. Daniel Vašata, Ph.D.

Thesis type - Bachelor thesis

Thesis language - Czech

Abstract

This paper includes research in the field of cleaning and filling in datasets and focuses on a specific approach using probabilistic programming. The practical part of the work operates with the probabilistic programming language PClean, programmed in Julia. The principles on which it operates are explained and the specific parts required to write the program are laid out. Subsequently, PClean is used to write a program for filling and correcting values in a data set with car records (price, power, fuel, etc.)

Once this dataset is corrected, regression is used to estimate the price and the quality of the result is compared with the results based on uncorrected data with standardised added values for each column or added based on expert knowledge. The model learned the data via PClean does not achieve the qualities of the model based on expert knowledge. However, PClean does offer a fast way to fill in missing categorical values with a quality exceeding the trivial fill-in mechanism commonly used today.

Keywords

PClean, Julia, probabilistic programming, data preprocessing, data cleaning, filling missing data