Vaex: ๋ฐ์ดํฐ ํ๋ ์์ ์ํ ๋น ๋ฅด๊ณ ์ ์ฐํ ํ์ด์ฌ ๋๊ตฌ


Intro
๋ฐ์ดํฐ ๊ณผํ์ด ๋ ๋ก ๋ฐ์ ํ๋ฉด์, ๋๊ท๋ชจ ๋ฐ์ดํฐ๋ฅผ ๋ค๋ฃจ๋ ๋๊ตฌ์ ํ์์ฑ์ด ๋์ฑ ๋ถ๊ฐ๋๊ณ ์๋ค. ๋ค์ํ ๋๊ตฌ ์ค์์๋ Vaex๋ ํนํ ๋ฉ๋ชจ๋ฆฌ ์ต์ ํ ๋ฐ ๊ณ์ฐ ์๋ ๋ฉด์์ ํ์ํ ์ฑ๋ฅ์ ๋ณด์ฌ์ค๋ค. ์ด ๊ธ์์๋ Vaex์ ๊ธฐ๋ณธ ๊ฐ๋ ๋ถํฐ ์ค์น ๋ฐฉ๋ฒ, ์ฃผ์ ๊ธฐ๋ฅ๊ณผ ํ์ฉ ์ฌ๋ก๊น์ง ์ฌ์ธต์ ์ผ๋ก ํ๊ตฌํด ๋ณด๊ณ ์ ํ๋ค. Vaex์ ๋ ํนํ ํน์ง๊ณผ ๊ทธ ์ ์ฉ์ฑ์ ์ดํดํ๋ฉด, ๋ฐ์ดํฐ ๋ถ์ ๋ฐ ๋จธ์ ๋ฌ๋ ํ๋ก์ ํธ๋ฅผ ์งํํ๋ ๋ฐ ํฐ ๋์์ด ๋ ๊ฒ์ด๋ค.
Vaex์ ๊ธฐ๋ณธ ๊ฐ๋
Vaex๋ ๋๋์ ๋ฐ์ดํฐ๋ฅผ ์ฝ๊ณ ๋น ๋ฅด๊ฒ ์ฒ๋ฆฌํ ์ ์๋๋ก ๊ณ ์๋ ํ์ด์ฌ ๋ผ์ด๋ธ๋ฌ๋ฆฌ์ด๋ค. ์ฌ์ฉ์๋ค์ด ๋ฐ์ดํฐ์ ์ ๋ฉ๋ชจ๋ฆฌ์ ์ฌ๋ฆฌ์ง ์๊ณ ๋ ์ฆ๊ฐ์ ์ธ ๊ณ์ฐ์ ๊ฐ๋ฅํ๊ฒ ํด์ฃผ๋ฉฐ, ์ด๋ ํนํ ๊ธฐ๊ณ ํ์ต ๋ฐ ๋ฐ์ดํฐ ๋ถ์์ ์์ด์ ํฐ ์ฅ์ ์ผ๋ก ์์ฉํ๋ค. ์๋ฅผ ๋ค์ด, Vaex๋ CSV ๊ฐ์ ํฌ๋งท์ ๋์ฉ๋ ํ์ผ์ ์ฝ์ด๋ค์ด๋ฉด์๋, ์ค์ ๋ฉ๋ชจ๋ฆฌ ์ฌ์ฉ๋์ ์ต์ํํ๋ค.
Vaex์ ์ฃผ๋ ํน์ง
- ์ง์ฐ ํ๊ฐ (Lazy Evaluation): Vaex๋ ์ฌ์ฉ์๊ฐ ๋ช ๋ น์ด๋ฅผ ์ ๋ ฅํ ๋, ๊ณ์ฐ์ ์ฆ์ ์คํํ์ง ์๊ณ , ๋์ค์ ํ์ํ ๋ ๊ณ์ฐํ๋๋ก ํ๋ค. ์ด๋ ํจ์จ์ ์ธ ๋ฉ๋ชจ๋ฆฌ ์ฌ์ฉ์ ๋์์ด ๋๋ค.
- ์ง๊ด์ ์ธ API: Vaex๋ ๊ธฐ์กด์ Pandas์ ์ ์ฌํ API๋ฅผ ์ ๊ณตํ์ฌ, ์ฌ์ฉ์๋ค์ด ์์ฝ๊ฒ ์ฌ์ฉํ ์ ์๋๋ก ๋๋๋ค.
- ์๊ฐํ ๊ธฐ๋ฅ: Vaex๋ ๋ฐ์ดํฐ๋ฅผ ์ฆ์ ์๊ฐํํ ์ ์๋ ๋ค์ํ ๋๊ตฌ๋ฅผ ์ ๊ณตํ๋ค. ์ด ๊ธฐ๋ฅ์ ํตํด ๋ฐ์ดํฐ์ ๋ถํฌ๋ ๊ฒฝํฅ์ ๋น ๋ฅด๊ฒ ํ์ ํ ์ ์๋ค.
์ค์น ๋ฐฉ๋ฒ
Vaex ์ค์น๋ ๊ฐ๋จํ๋ค. ๋ค์์ ๋ช ๋ น์ด๋ฅผ ํตํด pip๋ก ์ค์นํ ์ ์๋ค:
pip install vaex
์ด์ ๋๋์ ๋ฐ์ดํฐ์ ์ ๋ค๋ฃจ๊ธฐ ์ํ ์ค๋น๊ฐ ๋๋ฌ๋ค.
์ฃผ์ ๊ธฐ๋ฅ
Vaex์ ๊ธฐ๋ฅ์ ๋งค์ฐ ๋ค์ํ๋ค. ๊ฐ๊ฐ์ ๊ธฐ๋ฅ์ ๋ฐ์ดํฐ ๋ถ์ ๊ณผ์ ์ ๊ฐ์ํํ๊ณ , ๋์ฑ ํจ์จ์ ์ผ๋ก ๋ง๋ค์ด์ค๋ค. ๋ช ๊ฐ์ง ํต์ฌ ๊ธฐ๋ฅ์ ์๊ฐํ์๋ฉด:
- ๋ฐ์ดํฐ ํํฐ๋ง: ํน์ ์กฐ๊ฑด์ ๋ง๋ ๋ฐ์ดํฐ๋ฅผ ์์ฝ๊ฒ ํํฐ๋งํ ์ ์๋ค.
- ๊ทธ๋ฃนํ: ๋ฐ์ดํฐ๋ฅผ ๊ทธ๋ฃนํํ์ฌ ๊ณ์ฐ์ ์ํํ ์ ์๋ค.
- ํต๊ณ ํจ์: ํ๊ท , ์ค์๊ฐ ๋ฑ ๋ค์ํ ํต๊ณ ํ ์ด๋ธ์ ์ฝ๊ฒ ์์ฑํ ์ ์๋ค.
- ํ์คํ ๊ทธ๋จ: ๋ฐ์ดํฐ ๋ถํฌ๋ฅผ ์๊ฐ์ ์ผ๋ก ๋ํ๋ผ ์ ์๋ ํ์คํ ๊ทธ๋จ ์์ฑ ๋๊ตฌ๊ฐ ๋ด์ฅ๋์ด ์๋ค.
Vaex๋ ๋๊ท๋ชจ ๋ฐ์ดํฐ์ ์ ๋ค๋ฃจ๋ ๋ฐ ์์ด ์ค์ง์ ์ธ ํด๊ฒฐ์ฑ ์ ์ ๊ณตํ๋ค. ์ด ๋๊ตฌ๋ฅผ ํตํด ๋ง์ ์์ ๋ฐ์ดํฐ๋ฅผ ์์ํ๊ฒ ์ฒ๋ฆฌํ ์ ์๋ค.
์ค์ ํ์ฉ ์ฌ๋ก
์ฌ๋ฌ ์ฐ์ ์์ Vaex๋ฅผ ํ์ฉํ ์ฌ๋ก๋ค์ด ๋์ด๋๊ณ ์๋ค. ์๋ฅผ ๋ค์ด, ๊ธ์ต ๋ถ์ผ์์๋ ๊ณ ๊ฐ ๋ฐ์ดํฐ๋ฅผ ๋ถ์ํ์ฌ ๋ง์ถคํ ์๋น์ค๋ฅผ ์ ๊ณตํ๋ ๋ฐ ์ฌ์ฉ๋๋ค. ๋ํ, ์ฐ๊ตฌ์๋ค์ ๋๊ท๋ชจ ์คํ ๋ฐ์ดํฐ๋ฅผ Vaex๋ก ๋ถ์ํ์ฌ ์ ์ํ๊ฒ ๊ฒฐ๊ณผ๋ฅผ ๋์ถํ๋ค. ์ด๋ฌํ ๋ค์ํ ํ์ฉ์ ํตํด ๋ฐ์ดํฐ ๊ธฐ๋ฐ ์์ฌ๊ฒฐ์ ์ ์ค์์ฑ์ ๋์ฑ ๋๋ผ๊ฒ ๋๋ค.
Vaex ๊ฐ์
Vaex๋ ๋๊ท๋ชจ ๋ฐ์ดํฐ์ ์ ๊ด๋ฆฌํ๋ ๋ฐ ์ต์ ํ๋ ํ์ด์ฌ ๋ผ์ด๋ธ๋ฌ๋ฆฌ์ ๋๋ค. ๋ฐ์ดํฐ ๊ณผํ, ๋จธ์ ๋ฌ๋ ๋ฑ ๋ค์ํ ๋ถ์ผ์์ ์๊ตฌ๋๋ ๋์ฉ๋ ๋ฐ์ดํฐ์ ๋น ๋ฅธ ์ฒ๋ฆฌ์ ๋ถ์์ด ํ์ํด์ง์ ๋ฐ๋ผ, Vaex๋ ๊ทธ ์ญํ ์ ์ํํ๊ธฐ ์ํด ํ์ด๋ฌ์ต๋๋ค. ๊ธฐ๋ณธ์ ์ผ๋ก Vaex๋ ๋ฉ๋ชจ๋ฆฌ์ ๋ชจ๋ ๋ฐ์ดํฐ๋ฅผ ๋ถ๋ฌ์ค์ง ์๊ณ ๋ ํจ์จ์ ์ผ๋ก ์์ ํ ์ ์๋๋ก ์ค๊ณ๋์๊ธฐ ๋๋ฌธ์, ์์์ ์๋ผ๋ฉด์๋ ๊ฐ๋ ฅํ ๋ถ์ ๊ธฐ๋ฅ์ ์ ๊ณตํฉ๋๋ค.
Vaex์ ์ ์์ ๋ชฉ์
Vaex๋ ๋ฐ์ดํฐ๋ฅผ ๋ถ์ํ๋ ๋ฐ ์์ด ๋งค์ฐ ์ ์ฐํ ์ ๊ทผ ๋ฐฉ์์ ์ ๊ณตํ๋ ๋๊ตฌ์ ๋๋ค. ๋๋์ ๋ฐ์ดํฐ๋ฅผ ๋ค๋ฃฐ ๋ ์ผ๋ฐ์ ์ธ ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ ํ๋ ์์ํฌ๊ฐ ๋ฉ๋ชจ๋ฆฌ ํ๊ณ์ ๊ฑธ๋ฆฌ๋ ๋ฌธ์ ๋ฅผ ํผํ ์ ์๊ฒ ํฉ๋๋ค. ์ด ๋๊ตฌ๋ ๋์น ๋ฐ์ดํฐํ๋ ์(Dataframe) ๊ฐ๋ ์ ๊ธฐ๋ฐ์ผ๋ก ํ๋ฉฐ, Pandas์ ๋น์ทํ API๋ฅผ ์ ๊ณตํ์ง๋ง, ์ค์ ๋ก๋ ๋ฐ์ดํฐ๋ฅผ ๋ฉ๋ชจ๋ฆฌ์ ๋ก๋ํ๋ ๋์ , ํ์ํ ์์ ์๋ง ๊ณ์ฐํ๋ ๊ธฐ๋ฅ์ ํตํด ์์์ ๋ญ๋น๋ฅผ ์ค์ ๋๋ค.
Vaex์ ์ฃผ์ ๋ชฉ์ ์ ๋ฐ์ดํฐ ๋ถ์์ ์๋๋ฅผ ๋์ด๋ ๊ฒ์ ๋๋ค. ๋ค์๊ณผ ๊ฐ์ ์ฌ๋ฌ ์ด์ ์ ์ ๊ณตํฉ๋๋ค:
- ๋ฉ๋ชจ๋ฆฌ ํจ์จ์ฑ: Vaex๋ ๋ฐ์ดํฐ๋ฅผ ์ค์ ๋ก ๋ก๋ํ์ง ์๊ณ ๋ ์ํ๋ ํต๊ณ๋ ์๊ฐํ๋ฅผ ์ํํ ์ ์์ต๋๋ค.
- ์ง์ฐ ํ๊ฐ: ๊ณ์ฐ์ ํ์ํ ๋๋ง ์ด๋ฃจ์ด์ง๋ฏ๋ก, ๋์ฉ๋ ๋ฐ์ดํฐ์ ์ ๋ค๋ฃจ๊ธฐ๊ฐ ๋์ฑ ์์ํฉ๋๋ค.
- ์ค์๊ฐ ์๊ฐํ: ๋ฐ์ดํฐ๋ฅผ ์ฆ์ ์๊ฐํํ์ฌ ๋ถ์ ๊ฒฐ๊ณผ๋ฅผ ์ ์ํ๊ฒ ํ์ธํ ์ ์์ต๋๋ค.
์ด๋ฌํ ํน์ฑ๋ค์ ๋ฐ์ดํฐ ๊ณผํ์๋ ๊ฐ๋ฐ์๋ค์ด ํจ์จ์ ์ผ๋ก ์์ ํ ์ ์๊ฒ ํฉ๋๋ค.
Vaex์ ์ญ์ฌ


Vaex๋ ์๋นํ ์ ์ ๋ผ์ด๋ธ๋ฌ๋ฆฌ์
๋๋ค. ๊ทธ ์ถ๋ฐ์ ๋๊ท๋ชจ ๋ฐ์ดํฐ์
์ ๋ถ์ํ๋ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํ ์ฐ๊ตฌ์์ ๋น๋กฏ๋์์ต๋๋ค. Vaex์ ๊ธฐ์์ 2015๋
์ผ๋ก ๊ฑฐ์ฌ๋ฌ ์ฌ๋ผ๊ฐ๋ฉฐ, ๋น์ ์ฒ๋ฌธํ ๋ฐ์ดํฐ์ ์ฒ๋ฆฌ๋ฅผ ์ํ ํ์์์ ์์๋์์ต๋๋ค.
Vaex์ ํต์ฌ ๊ฐ๋ฐ์๊ฐ ๋ฐํํ ๋
ผ๋ฌธ์ ๊ธฐ๋ฐ์ผ๋ก ํ์ฌ, ์ด๊ธฐ ๋ฒ์ ์ด ํ์ํ๊ฒ ๋์์ต๋๋ค. ์ดํ ์๊ฐ์ด ์ง๋จ์ ๋ฐ๋ผ ๊ธฐ๋ฅ์ด ํ์ฅ๋๊ณ , ๋ง์ ์ฌ์ฉ์๋ค๋ก๋ถํฐ ํผ๋๋ฐฑ์ ๋ฐ์ ํ์ฌ์ ํํ๋ก ๋ฐ์ ํ์ต๋๋ค.
Vaex๋ ์คํ์์ค์ด๊ธฐ ๋๋ฌธ์, ๋ง์ ๊ฐ๋ฐ์๋ค์ด ์ฐธ์ฌํ์ฌ ์ง์์ ์ผ๋ก ๊ฐ์ ํ๊ณ ์์ต๋๋ค. ์ด๋ฌํ ์ปค๋ฎค๋ํฐ ์ง์์ Vaex์ ์ฑ์ฅ์ ํฐ ๊ธฐ์ฌ๋ฅผ ํ์์ผ๋ฉฐ, ์ด์ ๋ ๋ฐ์ดํฐ ๊ณผํ ๋ถ์ผ์์ ํ์ด์ฌ ๋ผ์ด๋ธ๋ฌ๋ฆฌ ์ค ํ๋๋ก ์๋ฆฌ์ก๊ฒ ๋์์ต๋๋ค.
Vaex์ ์ญ์ฌ์ ๋งฅ๋ฝ์ ๊ทธ ์์ฒด๋ก๋ ํฅ๋ฏธ๋กญ์ง๋ง, ๋ฐ์ดํฐ ๋ถ์์ด๋ผ๋ ์ ์ฒด ์ฃผ์ ์์๋ ๋งค์ฐ ์ค์ํ ์์น๋ฅผ ์ฐจ์งํฉ๋๋ค.
Vaex ์ค์น
Vaex์ ์ค์น๋ ์ฌ์ฉ์๊ฐ ์ด ํ์ด์ฌ ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ํตํด ๋๊ท๋ชจ ๋ฐ์ดํฐ๋ฅผ ํจ๊ณผ์ ์ผ๋ก ๋ค๋ฃฐ ์ ์๋๋ก ํ๋ ์ค์ํ ์ฒซ ๋จ๊ณ์ ๋๋ค. ํ์์ ๋ฐ๋ผ ์ ์ ํ ์ค์น ๋ฐฉ์์ด ์ ํ๋๋ค๋ฉด, Vaex์ ์ฑ๋ฅ์ ๊ทน๋ํํ ์ ์์ต๋๋ค. ์ด๋ฅผ ํตํด ์ฌ์ฉ์๋ค์ ๋ฉ๋ชจ๋ฆฌ ์๋น๋ฅผ ์ต์ํํ๋ฉด์๋ ๊ณ ์์ ๋ฐ์ดํฐ ์ฒ๋ฆฌ ๋ฅ๋ ฅ์ ๊ธฐ๋ฐ์ผ๋ก ์ ์ตํ ๋ถ์๊ณผ ์๊ฐํ๋ฅผ ์ํํ ์ ์์ต ๋๋ค. ์ฆ, Vaex๋ฅผ ์ฌ๋ฐ๋ฅด๊ฒ ์ค์นํจ์ผ๋ก์จ ์ด ๋๊ตฌ์ ์ค์์ฑ๊ณผ ์ ์ฌ๋ ฅ์ ์ต๋ํ ํ์ฉํ ์ ์๋ ๊ธฐ๋ฐ์ ๋ง๋ จํ๊ฒ ๋๋ ๊ฒ์ ๋๋ค.
์์คํ ์๊ตฌ ์ฌํญ
Vaex๋ฅผ ์ค์นํ๊ธฐ ์ํด์๋ ๋ช ๊ฐ์ง ์ต์ํ์ ์์คํ ์๊ตฌ ์ฌํญ์ ์ถฉ์กฑํด์ผ ํฉ๋๋ค. ๊ธฐ๋ณธ์ ์ผ๋ก, ์ฌ์ฉ์์ ์์คํ ์ Python 3.6 ์ด์์ด ํ์ํ๋ฉฐ, Pandas ๋ผ์ด๋ธ๋ฌ๋ฆฌ๊ฐ ์ค์น๋์ด ์์ผ๋ฉด ๋์ฑ ์ํํ ํธํ์ฑ์ ๊ธฐ๋ํ ์ ์์ต๋๋ค. ๋ํ ๋ฐ์ดํฐ์ ์ ํฌ๊ธฐ์ ๋ณต์ก์ฑ์ ๊ณ ๋ คํ์ ๋, ์ถฉ๋ถํ RAM ์ฉ๋์ด ํ์ํฉ๋๋ค. ์ผ๋ฐ์ ์ผ๋ก 8GB ์ด์์ RAM์ด ์ถ์ฒ๋ฉ๋๋ค. ๋ํ Vaex๋ฅผ ์คํํ ์ด์์ฒด์ ๋ Linux, Windows, macOS ์ค ํ๋์ฌ์ผ ํ๋ฉฐ, ์ฒ์ ์ค์นํ ๋๋ ์ธํฐ๋ท ์ฐ๊ฒฐ์ด ๋ฐ๋์ ํ์ํฉ๋๋ค.
์ค์น ๋ฐฉ๋ฒ
Vaex๋ฅผ ์ค์นํ๋ ๋ฐฉ๋ฒ์ ์ฌ๋ฌ ๊ฐ์ง๊ฐ ์๋๋ฐ, ์ฌ์ฉ์์ ํ๊ฒฝ์ ๋ฐ๋ผ ์ ํฉํ ๋ฐฉ๋ฒ์ ์ ํํ ํ์๊ฐ ์์ต๋๋ค. ์ด์ ๋ํ ๊ตฌ์ฒด์ ์ธ ๋ฐฉ๋ฒ์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค:
pip ์ค์น
๋ ํ์ด์ฌ์์ ๊ฐ์ฅ ๋๋ฆฌ ์ฐ์ด๋ ํจํค์ง ๊ด๋ฆฌ์์ ๋๋ค. Vaex๋ฅผ ์ค์นํ๊ธฐ ์ํด ๊ฐ๋จํ๊ฒ ๋ช ๋ น์ด๋ฅผ ์คํํ๋ฉด ๋ฉ๋๋ค. ์ด ๋ฐฉ๋ฒ์ ๊ฐ๋จํ๊ณ ๋น ๋ฅด๋ฉฐ, ์ฌ์ฉ์๊ฐ ์ํ๋ ๋ฒ์ ์ Vaex๋ฅผ ์ฝ๊ฒ ์ค์นํ ์ ์๊ฒ ํฉ๋๋ค. ๋ํ, ์ด๋ฏธ ์ค์น๋ ํจํค์ง์์ ํธํ์ฑ ํ์ธ์ด ์ฉ์ดํ์ฌ ๋น๊ต์ ์์ ํ ์ค์น ๋ฐฉ์์ ๋๋ค. ๋จ, ์ฌ์ฉ์ ์ปดํจํฐ์ Python ํ๊ฒฝ์ ๋ฐ๋ผ ๋ฐฐํฌ๋ Vaex ๋ฒ์ ์ด ๋ค๋ฅผ ์ ์๋ ์ ์ ๊ฐ์ํด์ผ ํฉ๋๋ค.
conda ์ค์น
๋ ๋ํ ์ธ๊ธฐ ์๋ ํจํค์ง ๊ด๋ฆฌ์์ ๋๋ค. Vaex๋ฅผ ๋ก ์ค์นํ ๊ฒฝ์ฐ ๋ช ๋ น์ด๋ฅผ ์ฌ์ฉํ ์ ์์ต๋๋ค. ์ด ๋ฐฉ๋ฒ์ ์ฌ๋ฌ ๋ผ์ด๋ธ๋ฌ๋ฆฌ์ ์ข ์์ฑ ๋ฌธ์ ๋ฅผ ์๋์ผ๋ก ํด๊ฒฐํด ์ฃผ๊ธฐ ๋๋ฌธ์, ๋ณต์กํ ํ๊ฒฝ์ ๊ฐ์ง ์ฌ์ฉ์์๊ฒ๋ ์ ํฉํ ์ ์์ต๋๋ค. ๋ํ, ๋ ๊ฐ์ ํ๊ฒฝ์ ์ฝ๊ฒ ๊ด๋ฆฌํ ์ ์์ด ๋ค์์ ํ๋ก์ ํธ์ ๊ฑธ์ณ ์๋ก ๋ค๋ฅธ ํจํค์ง๋ฅผ ์ฌ์ฉํ๋ ๋ฐ ๋งค์ฐ ์ ์ฉํฉ๋๋ค. ํ์ง๋ง ์ด ์ค์น ๋ฐฉ์์๋ ์๋์ ์ผ๋ก ๋ฐฐํฌ์ ์๊ฐ์ด ๋ ๊ฑธ๋ฆด ์ ์๋ค๋ ๋จ์ ์ด ์์ต๋๋ค.
์์ค์์ ๋น๋
์์ค์์ Vaex๋ฅผ ์ง์ ๋น๋ํ์ฌ ์ค์นํ๋ ๋ฐฉ๋ฒ๋ ์์ต๋๋ค. ์ด ๋ฐฉ๋ฒ์ ์ฌ์ฉ์๊ฐ ์ต์ ํ๋ ์ปค์คํฐ๋ง์ด์ง์ ํ์๋ก ํ๊ฑฐ๋ ํน์ ๊ธฐ๋ฅ์ ์ถ๊ฐํ๊ณ ์ ํ ๋ ์ ์ฉํฉ๋๋ค. ์์ค ์ฝ๋๋ GitHub์์ ์ ๊ณต๋๋ฉฐ, Git ํด๋ก ํ ๋ก์ปฌ์์ ๋น๋๋ฅผ ํ๋ฉด ๋ฉ๋๋ค. ์ด๋ ๊ฒ ์ค์นํ๋ ๊ฒฝ์ฐ, ์ฌ์ฉ์๋ ์์ ์ ์์คํ ์ ๊ฐ์ฅ ์ ํฉํ ์ค์ ์ผ๋ก Vaex๋ฅผ ์ฌ์ฉํ ์ ์๋ค๋ ์ฅ์ ์ด ์์ง๋ง, ์ด๋ณด์์๊ฒ๋ ์๋์ ์ผ๋ก ์ด๋ ค์ธ ์ ์์ต๋๋ค. ๋น๋ ๊ณผ์ ์์ ๋ฐ์ํ ์ ์๋ ๋ค์ํ ์ค๋ฅ๋ฅผ ํด๊ฒฐํด์ผ ํ ์๋ ์์ต๋๋ค.
์ด์ฒ๋ผ Vaex ์ค์น ๋จ๊ณ๋ ์ด ๋๊ตฌ์ ๋ชจ๋ ๊ธฐ๋ฅ์ ํ์ฉํ๋ ๋ฐ ์์ด ๊ธฐ๋ณธ์ ์ด๋ฏ๋ก, ์ค์น ์ฌ๋ถ๋ฅผ ์ ์คํ ๊ฒฐ์ ํ ํ์๊ฐ ์์ต๋๋ค. ์ ์ ํ ์ค์น ๋ฐฉ์์ ๋ฐ๋ผ ํ์ฐํ ์ฑ๋ฅ ์ฐจ์ด๋ฅผ ๊ฒฝํํ๊ฒ ๋ ๊ฒ์ ๋๋ค.
Vaex์ ์ฃผ์ ๊ธฐ๋ฅ
Vaex๋ ๋ฐ์ดํฐ ๊ณผํ ๋ฐ ๋จธ์ ๋ฌ๋ ํ๋ก์ ํธ์์ ํจ์จ์ฑ์ ๋ณด์ฅํ๋ ์ฌ๋ฌ ๊ธฐ๋ฅ์ ์ ๊ณตํฉ๋๋ค. ์ด๋ฌํ ๊ธฐ๋ฅ๋ค์ ํนํ ๋๊ท๋ชจ ๋ฐ์ดํฐ์ ์ ๋ค๋ฃจ๋ ๋ฐ ๋งค์ฐ ์ ์ฉํฉ๋๋ค. ์ด๋ฒ ์น์ ์์๋ Vaex์ ๊ฐ์ฅ ์ค์ํ ๊ธฐ๋ฅ๋ค์ ๋ค๋ฃจ์ด๋ณด๊ณ , ์ด๋ค์ด ๋ฐ์ดํฐ ๋ถ์์์ ์ด๋ป๊ฒ ๊ธฐ์ฌํ๋์ง๋ฅผ ์ดํด๋ณด๊ฒ ์ต๋๋ค.
๋์ฉ๋ ๋ฐ์ดํฐ ์ฒ๋ฆฌ
๋ฉ๋ชจ๋ฆฌ ํจ์จ
๋ฉ๋ชจ๋ฆฌ ํจ์จ์ Vaex์ ๊ฐ์ฅ ๋๋๋ฌ์ง ํน์ฑ ์ค ํ๋์ ๋๋ค. ์ ํต์ ์ธ ๋ฐ์ดํฐ ์ฒ๋ฆฌ ๋๊ตฌ๋ค์ ๋ชจ๋ ๋ฐ์ดํฐ๋ฅผ ๋ฉ๋ชจ๋ฆฌ์ ๋ก๋ํด์ผ ํ๋ ๋ฐ๋ฉด, Vaex๋ ํ์ํ ๋๋ง ๋ฐ์ดํฐ๋ฅผ ๋ก๋ํฉ๋๋ค. ์ด๋ฅผ ํตํด ๋ฉ๋ชจ๋ฆฌ ์ฌ์ฉ์ ์ต์ํํ๋ฉด์๋ ๋น ๋ฅธ ๋ฐ์ดํฐ ์์ ์ด ๊ฐ๋ฅํฉ๋๋ค. ํนํ, ๋ฐ์ดํฐ์ ์ด ์ ๊ธฐ๊ฐ๋ฐ์ดํธ ๋๋ ํ ๋ผ๋ฐ์ดํธ์ ๋ฌํ๋ ๊ฒฝ์ฐ, Vaex์ ๋ฉ๋ชจ๋ฆฌ ํจ์จ์ ํฐ ์ฅ์ ์ผ๋ก ์์ฉํฉ๋๋ค. ์ด๋ฌํ ํน์ง ๋๋ถ์ ๊ฐ๋ฐ์๋ค์ ๋ณต์กํ ๋ฐ์ดํฐ ์ฒ๋ฆฌ ์์ ์ ์ํํ ๋ ๋ฉ๋ชจ๋ฆฌ ๋ฌธ์ ๋ก ์ธํ ๋ถํ์ํ ๊ฑฑ์ ์ ๋ ์ ์์ต๋๋ค.
์ง์ฐ ํ๊ฐ
์ง์ฐ ํ๊ฐ๋ Vaex์ ๋ ๋ค๋ฅธ ์ฃผ์ ๊ธฐ๋ฅ์ ๋๋ค. ์ด ๊ธฐ๋ฅ์ ๊ณ์ฐ์ ์ฆ์ ์คํํ์ง ์๊ณ , ์ค์ ๋ก ํ์ํ ์๊ฐ์๋ง ๊ณ์ฐ์ ์ํํฉ๋๋ค. ์๋ฅผ ๋ค์ด, ์ฌ๋ฌ ํํฐ๋ฅผ ์ ์ฉํ ๋ฐ์ดํฐ์ ์์ ์์ฝ ํต๊ณ๋ฅผ ์๊ตฌํ ๋, Vaex๋ ์ ์ฒด ๋ฐ์ดํฐ์ ์ ์กฐํํ์ง ์๊ณ ๋ ๊ฒฐ๊ณผ๋ฅผ ๋น ๋ฅด๊ฒ ์ ๊ณตํ์ฃ . ์ด๋ก ์ธํด ๋ถํ์ํ ๊ณ์ฐ์ ํผํ ์ ์์ด ์ ์ฒด์ ์ธ ์ฑ๋ฅ์ด ํฅ์๋ฉ๋๋ค. ์ง์ฐ ํ๊ฐ๋ฅผ ํตํด ํ ๋ฒ์ ๋ง์ ๋ฐ์ดํฐ์ ๋ํ ๋ถ์์ด ๊ฐ๋ฅํด์ง๋ ์ด์ ์ด ์์ต๋๋ค.
ํต๊ณ์ ๋ถ์
๊ธฐ์ด ํต๊ณ


๊ธฐ์ด ํต๊ณ ๊ธฐ๋ฅ์ Vaex์์ ๋ฐ์ดํฐ์ ์ ๊ธฐ๋ณธ์ ์ธ ํต๊ณ ์งํ๋ฅผ ๊ณ์ฐํ๋ ๋ฐ ๋์์ ์ค๋๋ค. ํ๊ท , ์ค์์, ํ์คํธ์ฐจ ๋ฑ์ ์งํ๋ฅผ ๋น ๋ฅด๊ฒ ๊ณ์ฐํ ์ ์์ด ๋ฐ์ดํฐ ํ์์ด ์ฉ์ดํด์ง๋๋ค. ํนํ, ๋ฐฉ๋ํ ๋ฐ์ดํฐ์ ์์ ๊ธฐ์ด ํต๊ณ๋ฅผ ํ ๋ฒ์ ์ฒ๋ฆฌํ ์ ์์ด ๋น ๋ฐ์ดํฐ ํ๊ฒฝ์์๋ ์ ์ฉํ๊ฒ ์ฌ์ฉ๋ฉ๋๋ค. ์ด ๊ธฐ๋ฅ์ ๋ ์ ๊ตํ ๋ถ์์ ์ํ ์ฒซ ๋ฐ๊ฑธ์์ด ๋์ด ์ฃผ๊ธฐ๋ ํฉ๋๋ค.
์๊ด๊ด๊ณ ๋ถ์
์๊ด๊ด๊ณ ๋ถ์์ ์ฃผ์ด์ง ๋ฐ์ดํฐ์ ๋ด์์ ๋ณ์ ๊ฐ์ ๊ด๊ณ๋ฅผ ํ์ ํ๋ ๋ฐ ์ ์ฉํฉ๋๋ค. Vaex๋ ํน์ ๋ณ์๋ค ๊ฐ์ ์๊ด์ฑ์ ์๊ฐ์ ์ผ๋ก ํํํ ์ ์๋ ๋๊ตฌ๋ฅผ ์ ๊ณตํฉ๋๋ค. ์ด๋ฅผ ํตํด ๋ฐ์ดํฐ ๋ถ์๊ฐ๋ ์ด๋ค ๋ณ์๋ค์ด ์๋ก ์ํฅ์ ๋ฏธ์น๋์ง๋ฅผ ์์ฝ๊ฒ ํ์ ํ ์ ์์ต๋๋ค. ๊ฒฝ์ฐ์ ๋ฐ๋ผ์๋ ๋ฐ์ดํฐ ์ ์ฒ๋ฆฌ์ ํ์ํ ์ธ์ฌ์ดํธ๋ฅผ ์ ๊ณตํด ์ค ์๋ ์์ต๋๋ค.
๋ฐ์ดํฐ ์๊ฐํ
ํ์คํ ๊ทธ๋จ
ํ์คํ ๊ทธ๋จ์ Vaex์์ ๋ฐ์ดํฐ ๋ถํฌ๋ฅผ ์๊ฐ์ ์ผ๋ก ๋ํ๋ผ ์ ์๋ ๊ฐ๋ ฅํ ๋๊ตฌ์ ๋๋ค. ํ์คํ ๊ทธ๋จ์ ํตํด ๋ฐ์ดํฐ์ ๋ถํฌ ์์, ์ฆ ์ ๊ท๋ถํฌ์ธ์ง, ์๋์ง๋ฅผ ์ฆ์ ํ์ธํ ์ ์์ต๋๋ค. ์ด๋ ๋ฐ์ดํฐ ์ ์ฒ๋ฆฌ ๋จ๊ณ์์ ์ด์์น๋ฅผ ๋ฐ๊ฒฌํ๋ ๋ฐ ํฐ ๋์์ด ๋ฉ๋๋ค. ์ฌ์ฉ์๊ฐ ์ง์ ์๊ฐํ ์ต์ ์ ์กฐ์ ํ ์ ์์ด ๋งค์ฐ ์ ์ฐํ๊ฒ ํ์ฉํ ์ ์์ต๋๋ค.
์ฐ์ ๋
์ฐ์ ๋๋ ๋ ๋ณ์ ๊ฐ์ ๊ด๊ณ๋ฅผ ์๊ฐ์ ์ผ๋ก ๋ํ๋ด๋ ๋ฐ ํจ๊ณผ์ ์ ๋๋ค. Vaex์ ์ฐ์ ๋ ๊ธฐ๋ฅ์ ๋ฐ์ง๋ ๋ฐ์ดํฐ๋ก ์ธํด ๋ฐ์ํ ์ ์๋ ํผ์ก์ ํํผํ ์ ์๋ ์ฌ๋ฌ ๊ทธ๋ํฝ ์ต์ ์ ์ ๊ณตํฉ๋๋ค. ์ด๋ฅผ ํตํด ๋ถ์๊ฐ๋ ๋ณ์ ๊ฐ์ ์๊ด๊ด๊ณ๋ฅผ ๋ช ํํ๊ฒ ์๊ฐํํ ์ ์์ต๋๋ค. ๋ํ, ๋๋์ ๋ฐ์ดํฐ๋ฅผ ์๊ฐํํ๋ ๊ณผ์ ์์ ๋ฐ์ํ ์ ์๋ ํผํฌ๋จผ์ค ๋ฌธ์ ๋ ํด๊ฒฐํ ์ ์์ต๋๋ค.
> Vaex์ ์ฃผ์ ๊ธฐ๋ฅ๋ค์ ๋๊ท๋ชจ ๋ฐ์ดํฐ ์ฒ๋ฆฌ๋ฅผ ์ํด ์ค๊ณ๋์์ผ๋ฉฐ, ์ด๋ฅผ ํตํด ์ฌ์ฉ์๋ ๋ฉ๋ชจ๋ฆฌ ํจ์จ, ์ง์ฐ ํ๊ฐ, ํต๊ณ ๋ถ์, ๋ฐ์ดํฐ ์๊ฐํ ๋ฑ ๋ค์ํ ์์ ์ ํจ๊ณผ์ ์ผ๋ก ์ํํ ์ ์์ต๋๋ค.
Vaex ํ์ฉ ์ฌ๋ก
Vaex๋ ๋ฐ์ดํฐ ๊ณผํ์์ ๊ฐ๊ด๋ฐ๋ ๋๊ตฌ ์ค ํ๋์ ๋๋ค. ์ด ๋๊ตฌ๋ฅผ ํ์ฉํ๋ฉด ๋๋์ ๋ฐ์ดํฐ๋ฅผ ์์ฝ๊ฒ ๋ถ์ํ๊ณ ์๊ฐํํ ์ ์์ต๋๋ค. ํนํ, Vaex๋ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ํจ์จ์ ์ผ๋ก ์ฌ์ฉํ๋๋ก ์ค๊ณ๋์ด ์์ด, ๋๊ท๋ชจ ๋ฐ์ดํฐ์ ์ ๋ค๋ฃจ๋ ํ๋ก์ ํธ์ ์ ํฉํฉ๋๋ค. ์๋์ ๋ ๊ฐ์ง ์ฃผ์ ํ์ฉ ์ฌ๋ก๋ฅผ ์ดํด๋ณด๊ฒ ์ต๋๋ค.
๋ฐ์ดํฐ ๋ถ์ ํ๋ก์ ํธ
๋ฐ์ดํฐ ๋ถ์ ํ๋ก์ ํธ์์ Vaex๋ ์ฌ๋ฌ ๋ฉด์์ ๋๋ณด์ ๋๋ค. ์๋ฅผ ๋ค์ด, ๊ณ ๊ฐ ํ๋ ๋ถ์์ด๋ ์์ฅ ์กฐ์ฌ์ ๊ฐ์ ๋น์ฆ๋์ค ๋ฐ์ดํฐ ๋ถ์์์ ์์ฃผ ์ฐ์ ๋๋ค. ์์ญ๋ง ๊ฑด์ ๊ฑฐ๋ ๊ธฐ๋ก์ ๋ถ์ํ ๋, Vaex์ ๋ฉ๋ชจ๋ฆฌ ์ต์ ํ ๊ธฐ๋ฅ์ ํฐ ์ฅ์ ์ด ๋ ์ ์์ต๋๋ค.
- ๋น๊ต์ ์ ์ ๋ฉ๋ชจ๋ฆฌ ์ฌ์ฉ: Vaex๋ ๋ฐ์ดํฐ๋ฅผ ๋ฉ๋ชจ๋ฆฌ์ ์ ๋ถ ๋ก๋ํ์ง ์๊ณ ๋ ํ์ํ ๋๋ง๋ค ๋ถ๋ถ์ ์ผ๋ก ๋ก๋ํ๋ ๋ฐฉ์์ผ๋ก ์์ ํฉ๋๋ค. ์ด๋ ๋ฉ๋ชจ๋ฆฌ ์ฌ์ฉ๋์ ์ค์ฌ์ฃผ๊ณ , PC์ ์ฑ๋ฅ ์ ํ๋ฅผ ๋ฐฉ์งํฉ๋๋ค.
- ๋น ๋ฅธ ํํฐ๋ง๊ณผ ์ง๊ณ: ์ฌ์ฉ์๊ฐ ์ํ๋ ์กฐ๊ฑด์ ๋ง์ถฐ ๋ฐ์ดํฐ๋ฅผ ์ฝ๊ฒ ํํฐ๋งํ ์ ์๊ณ , ๊ทธ๋ฃนํํ์ฌ ์ง๊ณํ๋ ์์ ๋ ์ ์ํ๊ฒ ์ํ๋ฉ๋๋ค. ์ด๊ฒ์ด ๊ฐ๋ฅํ๊ฒ ๋์์ฃผ๋ ๊ธฐ๋ฅ์ ๋๋์ ๋ฐ์ดํฐ์์ ์ ์ฉํฉ๋๋ค.
์ด๋ฌํ ๊ธฐ๋ฅ ๋๋ถ์ Vaex๋ ์์ฅ์์ ์๊ตฌ๋๋ ๋ฐ์ดํฐ ์ธ์ฌ์ดํธ๋ฅผ ํ๋ณดํ๋ ๋ฐ์ ํนํ ์ ๋ฆฌํฉ๋๋ค. ๋ค์ํ ํ๋ณธ ๋ฐ์ดํฐ๋ฅผ ํตํด ์คํํ ์ ์๋ ๋ถ์ ๋ฟ๋ง ์๋๋ผ, ์๊ฐ ์๋ชจ๋ฅผ ํฌ๊ฒ ์ค์ฌ์ค ์ ์์ต๋๋ค.
๋จธ์ ๋ฌ๋ ๋ชจ๋ธ ์ค๋น
Vaex๋ ๋จธ์ ๋ฌ๋ ์๋ ํ๋ก์ธ์ค ์ ๋ฐ์ ๊ฑธ์ณ ์ฌ์ฉ๋ ์ ์์ต๋๋ค. ๋ฐ์ดํฐ ์ค๋น ๋จ๊ณ์์ ํจ์จ์ฑ์ ๊ฐํํ์ฌ ๋ ๋์ ๋ชจ๋ธ ์์ธก ๊ฒฐ๊ณผ๋ฅผ ์ด๋์ด๋ผ ์ ์์ต๋๋ค.
- ํน์ง ๊ณตํ: Vaex์ ๋ค์ํ ํต๊ณ์ ํจ์๋ ๋ฐ์ดํฐ๋ฅผ ๋ณํํ๊ณ ์๋ก์ด ํน์ง์ ์์ฑํ๋ ๋ฐ ํฐ ๋์์ด ๋ฉ๋๋ค. ์ด๋ฅผ ํตํด ๋จธ์ ๋ฌ๋ ์๊ณ ๋ฆฌ์ฆ์ด ๋ ์ฝ๊ฒ ํ์ตํ ์ ์๋ ๊ตฌ์กฐ๋ฅผ ๋ง๋ค์ด ์ค๋๋ค.
- ๋์์ค๊ณ ๋ฐ ์ํ๋ง: ๋ชจ๋ธ์ ํ๋ จ ๋ฐ ํ ์คํธ ๊ณผ์ ์์ Vaex๋ฅผ ์ด์ฉํ๋ฉด, ์ค์๊ฐ์ผ๋ก ๋์ฉ๋ ๋ฐ์ดํฐ๋ฅผ ์ํ๋งํ ์ ์์ต๋๋ค. ์ด๋ ์ค๋ฒํผํ ์ ํผํ๊ณ , ๋ชจ๋ธ์ ์ผ๋ฐํ ๋ฅ๋ ฅ์ ํฅ์์ํค๋ ๋ฐ ๊ธฐ์ฌํฉ๋๋ค.
"Vaex๋ ๋ณต์กํ ๋ฐ์ดํฐ ๊ณผํ ํ๋ก์ ํธ์์ ๊ด๊ฑด์ ์ธ ์ญํ ์ ํ ์ ์๋ ๊ฐ๋ฅ์ฑ์ด ๋ฌด๊ถ๋ฌด์งํ๋ค."
๊ฒฐ๊ตญ, Vaex์ ์ง๊ธฐํ ๊ธฐ๋ฅ์ ๋ฐ์ดํฐ ๋ถ์๊ณผ ๋จธ์ ๋ฌ๋ ์ค๋น ๊ณผ์ ์์ ์ด์ฒ๋ผ ๋ค์ํ ๋ฉด์์ ํจ์ฉ์ ๊ฐ์ง ์ ์์ต๋๋ค. ๋ง์ ๊ธฐ์ ๋ค์ด ์ด๋ฐ ์ด์ ๋ก Vaex๋ฅผ ์ฑํํ๊ณ ์์ผ๋ฉฐ, ์์ผ๋ก๋ ๊ณ์ํด์ ๊ทธ ํจ์ฉ์ฑ์ ๋ํ๊ฐ ๊ฒ์ ๋๋ค.
Vaex์ ๊ฒฝ์ ๋๊ตฌ ๋น๊ต
Vaex๋ ํนํ ๋๋์ ๋ฐ์ดํฐ๋ฅผ ๋ค๋ฃจ๋ ๋ฐ ์์ด ๊ฐ๋ ฅํ ์ฑ๋ฅ์ ์๋ํ๋ ๋๊ตฌ์ ๋๋ค. ๊ทธ๋ฌ๋ ๋ฐ์ดํฐ ๊ณผํ ์ปค๋ฎค๋ํฐ์์๋ Vaex ์ด์ธ์๋ ์ฌ๋ฌ ๊ฐ์ง ํด์ด ์ฌ์ฉ๋๊ณ ์์ผ๋ฉฐ, ๊ฐ๊ธฐ ๋ค๋ฅธ ์ํฉ์์ ์ฅ๋จ์ ์ด ์์ต๋๋ค. ๋ณธ ์น์ ์์๋ Vaex์ Pandas, Dask๋ผ๋ ๋ ๊ฐ์ง ์ฃผ์ ๋๊ตฌ๋ฅผ ๋น๊ตํ์ฌ ัะพะณะพ, ๊ฐ๊ฐ์ ๊ณ ์ ํ ํน์ฑ๊ณผ ํ์ฉ ๊ฐ๋ฅ์ฑ์ ์ดํด๋ณผ ๊ฒ์ ๋๋ค.
Pandas
Pandas๋ ๋ฐ์ดํฐ ์กฐ์ ๋ฐ ๋ถ์์ ์์ด ์๋ง๋ ๊ฐ์ฅ ๋๋ฆฌ ์๋ ค์ง ํ์ด์ฌ ๋ผ์ด๋ธ๋ฌ๋ฆฌ์ผ ๊ฒ์ ๋๋ค. ์ด๋ ์ฌ์ฉ์ ์นํ์ ์ธ ๋ฐ์ดํฐ ๊ตฌ์กฐ๋ฅผ ์ ๊ณตํ์ฌ ๋ฐ์ดํฐํ๋ ์ ํํ๋ก ๋ฐ์ดํฐ๋ฅผ ๋ค๋ฃจ๋ ๋ฐ ์ต์ ํ๋์ด ์์ต๋๋ค. Pandas์ ์ฃผ์ ํน์ง๊ณผ ์ฅ์ ์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค:
- ์ฌ์ฉ์ ์ฉ์ด์ฑ: Pandas๋ ๋ฐฐ์ฐ๊ธฐ ์ฝ๊ณ ์ฝ๋๊ฐ ๊ฐ๊ฒฐํ์ฌ ์ด๋ณด์์๊ฒ๋ ์ ๊ทผ์ด ์ฉ์ดํฉ๋๋ค. ์๋ฅผ ๋ค์ด, CSV ํ์ผ์ ๋ก๋ํ๊ณ ๊ฐ๋จํ ๋ฐ์ดํฐ ๋ณํ์ ์ํํ๋ ๊ฒ์ด ์์ฌ์ด ์์ ์ ๋๋ค.
- ์ปค๋ฎค๋ํฐ ์ง์: Pandas์ ํฌ๊ด์ ์ธ ๋ฌธ์์ ํ๋ฐํ ์ฌ์ฉ์ ์ปค๋ฎค๋ํฐ๋ ์ฌ์ฉ์๊ฐ ๋ฌธ์ ํด๊ฒฐ์ ํ ๋ ํฐ ๋์์ด ๋ฉ๋๋ค. ๋๋ฃ ์ฐ๊ตฌ์๋ ๊ฐ๋ฐ์์์ ๊ต๋ฅ๋ฅผ ํตํด ํจ์จ์ ์ธ ๋ฌธ์ ํด๊ฒฐ์ด ๊ฐ๋ฅํฉ๋๋ค.
- ๋ค์ํ ๊ธฐ๋ฅ: ์๊ฐ ์๊ณ์ด ๋ฐ์ดํฐ ์ฒ๋ฆฌ, ๊ฒฐ์ธก๊ฐ ์ฒ๋ฆฌ, ๊ทธ๋ฃนํ ๋ฑ ๋ค์ํ ๊ธฐ๋ฅ์ด ๋ด์ฅ๋์ด ์์ด ๋ฐ์ดํฐ ๋ถ์์ ํญ์ ๋ํ๋๋ค.


๊ทธ๋ฌ๋ Pandas๋ ๋จ์ ์ด ์์ต๋๋ค. ์๋ฅผ ๋ค์ด, ๋์ฉ๋ ๋ฐ์ดํฐ์ ์ ๋ฉ๋ชจ๋ฆฌ์ ๋ชจ๋ ๋ก๋ํ๋ ค๊ณ ํ ๋ ์๋นํ ๋ฉ๋ชจ๋ฆฌ ์ฌ์ฉ์ด ์๊ตฌ๋ฉ๋๋ค. ์ด๋ ์์์ด ์ ํ๋ ํ๊ฒฝ์์๋ ๊ฐ์ฅ ํฐ ์ฅ์ ๋ฌผ์ด ๋ ์ ์์ต๋๋ค.
Dask
Dask๋ ๋ณ๋ ฌ ์ฒ๋ฆฌ๋ฅผ ํ์ฉํ์ฌ ๋๋์ ๋ฐ์ดํฐ๋ฅผ ์ฒ๋ฆฌํ ์ ์๋ ๋ ๋ค๋ฅธ ๊ฐ๋ ฅํ ๋๊ตฌ์ ๋๋ค. Dask๋ Pandas์ ์ ์ฌํ API๋ฅผ ์ ๊ณตํ์ฌ ํ์ต ๊ณก์ ์ด ๋ฎ๊ณ , ๋ค์๊ณผ ๊ฐ์ ์ฅ์ ๋ค์ด ์์ต๋๋ค:
- ์ค์ผ์ผ ์์: Dask๋ ํด๋ฌ์คํฐ ํ๊ฒฝ์์ ์๋ํจ์ผ๋ก์จ ๋ฐ์ดํฐ๋ฅผ ์ฌ๋ฌ ํ๋ก์ธ์์ ๋ถ์ฐ์์ผ ๋๋์ ๋ฐ์ดํฐ๋ ํจ๊ณผ์ ์ผ๋ก ์ฒ๋ฆฌํ ์ ์์ต๋๋ค. ์ด๋ฅผ ํตํด ์ฑ๋ฅ์ ํ๊ธฐ์ ์ผ๋ก ํฅ์์ํฌ ์ ์์ต๋๋ค.
- ์ง์ฐ ํ๊ฐ: Dask๋ ์์ ์ ์ฆ์ ์คํํ์ง ์๊ณ ํ์ํ ๋ ์ค์ ๋ก ์คํํ๋ ์ง์ฐ ํ๊ฐ ๋ฉ์ปค๋์ฆ์ ๊ฐ์ง๊ณ ์์ต๋๋ค. ์ด๋ ๋ณต์กํ ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ์ ๊ตฌ์ฑํ๋ ๋ฐ ์ ๋ฆฌํฉ๋๋ค.
- Pandas ํธํ์ฑ: Dask๋ Pandas์ ๊ธฐ๋ณธ์ ์ธ ๊ตฌ์กฐ๋ฅผ ๋ฐ๋ฅด๊ธฐ ๋๋ฌธ์, ๋ง์ Pandas๋ฅผ ์ฌ์ฉํ๋ ๋ฉ์ผ ๋ฌธ์ ๋ฅผ ์ฝ๊ฒ Dask๋ก ์ด์ ํ ์ ์๋ ์ด์ ์ ์ ๊ณตํฉ๋๋ค.
ํ์ง๋ง Dask๋ ๋ช ๊ฐ์ง ๋จ์ ์ด ์์ ์ ์์ต๋๋ค. ์ด๊ธฐ ์ค์ ์ด ์ข ๋ ๋ณต์กํ๊ณ , ์คํ ์๋๊ฐ ํญ์ ์ผ๊ด๋์ง ์์ ์ ์์ต๋๋ค. ๋ํ, ๋ชจ๋ Pandas ๊ธฐ๋ฅ์ด Dask์ ํธํ๋์ง๋ ์๊ธฐ ๋๋ฌธ์, ์ฌ์ฉ์๋ ์ผ๋ถ ๊ธฐ๋ฅ์ ์ ์ฝ์ ๊ฒฝํํ ์ ์์ต๋๋ค.
"๊ฐ ๋๊ตฌ๋ ํน์ ์ฌ์ฉ ์ฌ๋ก์์ ์ต์์ ์ฑ๋ฅ์ ๋ฐํํฉ๋๋ค. ์ฌ์ฉ์์ ํ์์ ๋ง๋ ์ ์ ํ ๋๊ตฌ ์ ํ์ด ๊ด๊ฑด์ ๋๋ค."
์ด์ฒ๋ผ Vaex, Pandas, Dask๋ ๊ฐ๊ฐ ๊ณ ์ ํ ํน์ฑ์ ๊ฐ์ง๊ณ ์์ด ๋ฐ์ดํฐ ๋ถ์ ๋ฐ ์ฒ๋ฆฌ์์ ๊ฐ์ธ์ ์๊ตฌ์ ํ๊ฒฝ์ ๋ฐ๋ผ ์ ํํ๋ ๊ฒ์ด ๋งค์ฐ ์ค์ํฉ๋๋ค. Vaex๋ ๋๋ ๋ฐ์ดํฐ์ ์ ์ฒ๋ฆฌํ๋ ๋ฐ ์ ์น ์ต์ ํ๋ ๋๊ตฌ๋ก์, ๋ค๋ฅธ ๋๊ตฌ๋ค๊ณผ์ ๋น๊ต๋ฅผ ํตํด ์์ ์ ๋ฐ์ดํฐ ๋ถ์ ๋ชฉํ๋ฅผ ๋ฌ์ฑํ๋ ๋ฐ ์ ๋ฆฌํ ์ ์์ต๋๋ค.
Vaex์ ํ๊ณ
๋ง์ ์ด์ ์ด ์๋ Vaex์ง๋ง, ์ด๋ค ๋๊ตฌ์๋ ๊ฐ๊ฐ์ ํ๊ณ๊ฐ ์์ต๋๋ค. ์ด ์น์ ์์๋ Vaex๊ฐ ์ ๊ณตํ๋ ์๋ฃจ์ ์ ๋ฒ์๋ฅผ ์ดํดํ๊ณ , ์ฌ์ฉ์๊ฐ ์ง๋ฉดํ ์ ์๋ ๋ช ๊ฐ์ง ํ๊ณ๋ค์ ๋ํด ๋ ผ์ํ ๊ฒ์ ๋๋ค. ์ด๋ฌํ ํ๊ณ๋ฅผ ์ดํดํ๋ ๊ฒ์ Vaex์ ํจ๊ณผ์ ์ธ ํ์ฉ๊ณผ ํจ๊ป ๋ค๋ฅธ ๋ฐ์ดํฐ ์ฒ๋ฆฌ ๋๊ตฌ์์ ๋น๊ต์๋ ๋์์ด ๋ฉ๋๋ค. ๋ฐ๋ผ์ Vaex๊ฐ ๋ชจ๋ ์ํฉ์ ๋ง๋ ๋ง๋ฅ ์๋ฃจ์ ์ ์๋๋ฉฐ, ๊ทธ ํ๊ณ๋ ๊ณ ๋ คํด์ผ ํฉ๋๋ค.
์ ํ๋ ๊ธฐ๋ฅ
Vaex๋ ๋๊ท๋ชจ ๋ฐ์ดํฐ์ ์ ์ฒ๋ฆฌํ๋ ๋ฐ ๊ฐ์ ์ ๊ฐ์ง๊ณ ์์ง๋ง, ๋ค๋ฃจ๋ ๊ธฐ๋ฅ์ ๋ค๋ฅธ ๋๊ตฌ๋ค๊ณผ ๋น๊ตํด ๋ณผ ๋ ๊ฝค ์ ํ์ ์ ๋๋ค. ์๋ฅผ ๋ค์ด, Vaex๋ ์ผ๋ฐ์ ์ผ๋ก ๋ฉ๋ชจ๋ฆฌ ์นํ์ ์ธ ๋ถ๋ฌ์ค๊ธฐ์ ์ฒ๋ฆฌ๋ฅผ ์ ๊ณตํ์ง๋ง, ๋ณต์กํ ๋ฐ์ดํฐ ๋ณํ์ด๋ ์ปค์คํ ํ ๋ถ์ ๊ณผ์ ์์๋ ๋ค๋ฅธ ๋ผ์ด๋ธ๋ฌ๋ฆฌ, ์๋ฅผ ๋ค์ด Pandas์ ๋นํด ์ ์ฐ์ฑ์ด ๋จ์ด์ง ์ ์์ต๋๋ค.
- ๊ธฐ๋ณธ์ ์ธ ๋ฐ์ดํฐ ์กฐ์: Vaex๋ ๊ธฐ๋ณธ์ ์ธ ๋ฐ์ดํฐ ์กฐ์ ๊ธฐ๋ฅ์ ์ ๊ณตํ์ง๋ง, ์ฌ๋ฌ ๋จ๊ณ์ ๋ณต์กํ ๋ณํ์ด๋ ์ง๊ณ๋ ์ํํ๊ธฐ ์ด๋ ค์ธ ์ ์์ต๋๋ค.
- ์ ํ๋ ์๊ฐํ ๊ธฐ๋ฅ: Vaex๋ ๊ธฐ๋ณธ์ ์ธ ์๊ฐํ ๋๊ตฌ๋ฅผ ์ ๊ณตํ๊ธด ํ์ง๋ง, ๋ค์ฑ๋กญ๊ณ ๋ณต์กํ ์๊ฐํ๋ฅผ ์ํ๋ค๋ฉด ์ถ๊ฐ ์์ ์ด ํ์ํ ์ ์์ต๋๋ค. ๋ง์ฝ ๋ณต์กํ ๋์๋ณด๋๋ฅผ ๋ง๋ค๊ณ ์ถ๋ค๋ฉด ๋ค๋ฅธ ์๊ฐํ ๋๊ตฌ์ ์ฐ๊ณํด์ผ ํ ๊ฒ์ ๋๋ค.
"Vaex๋ ๋จ์ํ๊ณ ๋น ๋ฅธ ์์ ์ ์ํด ์ค๊ณ๋์ด ์์ผ๋ฉฐ, ์ด๋ก ์ธํด ๋ณต์กํ ํ๋ฆ์ ๋ค๋ค์ผ ํ๋ ๊ฒฝ์ฐ์๋ ์๋ํ ๋งํผ ํจ์จ์ ์ด์ง ์์ ์ ์์ต๋๋ค."
์ปค๋ฎค๋ํฐ ์ง์
Vaex์ ์ปค๋ฎค๋ํฐ ์ง์์ ๋ค๋ฅธ ์คํ ์์ค ๋๊ตฌ์ ๋นํด ์๋ ์ ์ผ๋ก ์์ ํธ์ ๋๋ค. ์ด๋ ์ฌ์ฉ์๊ฐ ์ง๋ฉดํ ์ ์๋ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํด ํ์ํ ์์์ ์ฐพ๊ธฐ๊ฐ ์ด๋ ค์ธ ์ ์์์ ์๋ฏธํฉ๋๋ค. ์๋ฅผ ๋ค์ด, ์ข ์ข ์ฌ์ฉ์๋ ๋ค์ํ ์จ๋ผ์ธ ํฌ๋ผ์ด๋ GitHub์ ๋ฌธ์ ์ถ์ ๊ธฐ ๋ฑ์ ํตํด ๋์์ ์์ฒญํ์ง๋ง, Vaex์ ๋ํ ์ ๋ณด๋ ๋ค๋ฅธ ํด์ ๋นํด ๋ ํ๋ถํ ์ ์์ต๋๋ค.
- ๋ฌธ์ํ: ๋ฌธ์ํ๋ ํ์์ ์ด์ง๋ง, Vaex์ ๊ฒฝ์ฐ ์ผ๋ถ ๋ฌธ์๊ฐ ๊น๋ํ์ง ์๊ฑฐ๋ ๋ถ์กฑํ ์ธ๋ถ์ ๋ณด๋ก ์ธํด ์ด๋ณด์์๊ฒ ์ด๋ ค์์ ์ค ์ ์์ต๋๋ค.
- ์ ๋ฌธ๊ฐ ์ ๊ทผ: ์๋ก์ด ์ฌ์ฉ์๋ ๋น์ ๋ฌธ๊ฐ์๊ฒ๋ ๋์์ ๋ฐ๊ธฐ๊ฐ ํ๋ ๊ฒฝ์ฐ๊ฐ ๋ง์ต๋๋ค. ๋ ๋ง์ ์ฌ์ฉ์์ ๊ฐ๋ฐ์๋ค์ด ํฉ๋ฅํ์ฌ ์ํ๊ณ๊ฐ ์ฑ์ฅํจ์ ๋ฐ๋ผ ์ด์ ๋ํ ๊ฐ์ ์ด ์ด๋ฃจ์ด์ง ์ ์๊ธฐ๋ฅผ ๋ฐ๋๋๋ค.
์ด๋ ๊ฒ Vaex์ ์ ํ๋ ๊ธฐ๋ฅ๊ณผ ๋น๊ต์ ์์ ์ปค๋ฎค๋ํฐ๋ ์ฌ์ฉ์์ ํจ์จ์ ์ธ ๋ฐ์ดํฐ ์ฒ๋ฆฌ์ ๋ถ์์ ์ฅ์ ๊ฐ ๋ ์ ์์ต๋๋ค. ๋ฐ๋ผ์ Vaex ์ฌ์ฉ์ ๊ณ ๋ คํ ๋ ์ด๋ฌํ ํ๊ณ๋ค์ ์ผ๋ํด ๋๋ ๊ฒ์ด ์ค์ํฉ๋๋ค.
๋ฏธ๋์ Vaex
Vaex๋ผ๋ ๋ฐ์ดํฐ ์ฒ๋ฆฌ ๋ฐ ๋ถ์ ๋๊ตฌ๋ ์ต๊ทผ ๋ช ๋ ๋์ ๋น ๋ฅด๊ฒ ์ฑ์ฅํ๊ณ ์์ต๋๋ค. ๋ฐ์ดํฐ ๊ณผํ์ ํ์์ฑ์ด ์ฆ๊ฐํ๋ฉด์, Vaex๋ ๋ ๋ง์ ๊ธฐ๋ฅ๊ณผ ๊ฐ์ ์ฌํญ์ผ๋ก ๋ฏธ๋์ ๋ฐ์ดํฐ ์ฒ๋ฆฌ ๋๊ตฌ๋ก ์๋ฆฌ์ก์ ๊ฐ๋ฅ์ฑ์ด ํฝ๋๋ค. ๋ฐ์ดํฐ์ ์์ด ๊ธฐํ๊ธ์์ ์ผ๋ก ์ฆ๊ฐํจ์ ๋ฐ๋ผ, ํจ์จ์ ์ด๊ณ ์ ์ฐํ ๋ฐ์ดํฐ ๊ด๋ฆฌ๊ฐ ์ค์ํด์ก์ต๋๋ค. Vaex์ ๋ฏธ๋๋ ์ด๋ฌํ ์ธก๋ฉด์ ์ค์ฌ์ผ๋ก ์ค๋ช ๋ ์ ์์ต๋๋ค.
๋ก๋๋งต
Vaex์ ๊ฐ๋ฐํ์ ์ฌ์ฉ์์ ์๊ตฌ์ ๋ถ์ํ๊ธฐ ์ํด ์ง์์ ์ผ๋ก ๋ก๋๋งต์ ์ ๋ฐ์ดํธํ๊ณ ์์ต๋๋ค. ํฅํ ๋ช ๋ ๊ฐ ๊ธฐ๋๋๋ ์ฃผ์ ๊ฐ๋ฐ ๋ฐฉํฅ์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค:
- ๊ธฐ๋ฅ ํ์ฅ: Vaex๋ ๋ ๋ง์ ๋ฐ์ดํฐ ์ฒ๋ฆฌ ๊ธฐ๋ฅ๊ณผ ๋จธ์ ๋ฌ๋ ํตํฉ์ ๋ชฉํ๋ก ํ๊ณ ์์ต๋๋ค. ์๋ฅผ ๋ค์ด, ๋ฅ๋ฌ๋ ๋ชจ๋ธ์ ์ํ ํ ์ํ๋ก์ฐ์์ ํตํฉ์ ์ฌ์ฉ์์๊ฒ ํฐ ํํ์ด ๋ ๊ฒ์ ๋๋ค.
- API ๊ฐ์ : ์ฌ์ฉ์ ์นํ์ ์ธ API ๊ฐ์ ์ด ์ด๋ฃจ์ด์ง ๊ฒ์ ๋๋ค. ์ด๋ ์ฌ์ฉ์๊ฐ ๋ ํจ์จ์ ์ผ๋ก ์์ ํ ์ ์๋๋ก ๋์์ค ๊ฒ์ ๋๋ค.
- ์ฑ๋ฅ ํฅ์: ํฐ ๋ฐ์ดํฐ์ ์ ์ฒ๋ฆฌํ๋ ๋ฐ ํ์ํ ์๋์ ํจ์จ์ฑ์ ๊ณ์ํด์ ๊ฐ์ ํ ๊ณํ์ ๋๋ค. ์ด๋ ๋ถ์ ๊ฒฐ๊ณผ์ ์ ์ํ ์ ๊ณต์ ํตํด ๋ฐ์ดํฐ ๊ธฐ๋ฐ ์์ฌ๊ฒฐ์ ์ ์ด์งํ ๊ฒ์ ๋๋ค.
๊ธฐ๋๋๋ ๋ฐ์
Vaex์ ๋ฏธ๋ ๋ฐ์ ์ ๋ํด ๊ธฐ๋๋๋ ์ฌํญ์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค:
- ์ปค๋ฎค๋ํฐ์์ ํ๋ ฅ ์ฆ๊ฐ: ์ด๋ฆฐ ์์ค ํ๋ก์ ํธ๋ก์, Vaex๋ ํ๋ฐํ ์ฌ์ฉ์ ์ปค๋ฎค๋ํฐ์ ์ง์์ ๊ธฐ๋ํ ์ ์์ต๋๋ค. ์ด๋ก ์ธํด ๋ค์ํ ์ฌ๋ก์ ์ฌ์ฉ๋ฒ์ด ๊ณต์ ๋์ด ํด์ ๊ฐ์น๋ฅผ ๋์ฑ ์ฆ๋์ํฌ ๊ฒ์ ๋๋ค.
- ํด๋ผ์ฐ๋ ์ง์ ํ๋: ํด๋ผ์ฐ๋ ํ๋ซํผ๊ณผ์ ํธํ์ฑ ๊ฐํ๋ Vaex์ ์์ฉ ๋ฒ์๋ฅผ ํฌ๊ฒ ๋ํ ๊ฒ์ ๋๋ค. ์ด๋ฌํ ๊ฐ๋ฐ์ ๋๊ท๋ชจ ๋ฐ์ดํฐ ์งํฉ์ ๋ ์ฝ๊ฒ ๋ค๋ฃฐ ์ ์๋ ๊ธฐํ๋ฅผ ์ ๊ณตํ ๊ฒ์ ๋๋ค.
- ๋ฐ์ดํฐ ํตํฉ ๊ธฐ๋ฅ ๊ฐ์ : ์ฌ๋ฌ ํ์์ ๋ฐ์ดํฐ ์์ค๋ฅผ ์ฝ๊ฒ ํตํฉํ๊ณ ์ฒ๋ฆฌํ ์ ์๋ ๊ธฐ๋ฅ์ด ์ถ๊ฐ๋ ์ ๋ง์ ๋๋ค. ์ด๋ ๋ค์ํ ๋ฐ์ดํฐ์์ ํต์ฐฐ๋ ฅ์ ๋์ด๋ด๋ ๋ฐ ํฐ ๋์์ด ๋ ๊ฒ์ ๋๋ค.
Vaex์ ๋ฏธ๋๋ ๋ฐ์ดํฐ ๊ณผํ์์ ๊ธฐ์ ์๊ฒ ์ค์ํ ์ญํ ์ ๊ณ์ ํ ๊ฒ์ ๋๋ค. ์ต์ ๊ธฐ์ ์ ๋ฐํ์ผ๋ก ํ ์ง์์ ์ธ ๋ฐ์ ์ด ๊ธฐ๋๋๋ฉฐ, ํด๊ฐ ๊ฐ์๋ก ๋ ๋ง์ ์ฌ๋๋ค์๊ฒ ์ ์ฉํ ๋๊ตฌ๋ก ์๋ฆฌ ์ก์ ๊ฒ์ ๋๋ค.
"Vaex๋ ๋จ์ํ ๋๊ตฌ๊ฐ ์๋๋ค. ๋ฐ์ดํฐ ๊ณผํ์ ๋ฏธ๋๋ฅผ ํจ๊ป ๋ง๋ค์ด๊ฐ๋ ๋๋ฐ์์ด๋ค."
์ด ๋ก๋๋งต๊ณผ ๊ธฐ๋๋๋ ๋ฐ์ ์ Vaex์ ์ค์์ฑ๊ณผ ํ์ค ์ธ๊ณ์์์ ์ ์ฉ ๊ฐ๋ฅ์ฑ์ ๋์ฑ ๋ถ๊ฐ์์ผ ์ค๋๋ค. ์ด๋ ๋ฐ์ดํฐ ๋ถ์์ ๊ดํ ํ์ ์ ๊ฐ์ ธ์ค๋ ์ค์ํ ์ด์ ๊ฐ ๋ ๊ฒ์ ๋๋ค.