IT ์‚ฌ๋ฌผํ•จ ๐Ÿป ์ž์„ธํžˆ๋ณด๊ธฐ

์ „์ฒด ๊ธ€ 38

ํ…Œํฌ๋‹ˆ์ปฌ ๋ผ์ดํŒ… - ๊ฐœ๋ฐœ์ž๋ฅผ ์œ„ํ•œ ๊ธ€์“ฐ๊ธฐ(3)

์ „๋ฌธ ์šฉ์–ด๋Š” ๋…์ž์— ๋งž๊ฒŒ ์‚ฌ์šฉํ•œ๋‹ค. ๋ณดํŽธ์ ์œผ๋กœ ์“ด๋‹ค → ๋…์ž ํŽธ์—์„œ ์ƒ๊ฐํ•˜๊ณ  ์“ด๋‹ค ์šฉ์–ด์™€ ์•ฝ์–ด๋ฅผ ์“ธ ๋•Œ๋Š” ํ’€์ด๋ฅผ ์“ด๋‹ค. ์šฉ์–ด์˜ ์ •์˜ ์ผ๋ฐ˜ ๋…์ž๋ฅผ ๋Œ€์ƒ์œผ๋กœ ํ•  ๋•Œ๋Š” ๋˜๋„๋ก ์ „๋ฌธ ์šฉ์–ดX ์ƒˆ๋กœ ์šฉ์–ด๋ฅผ ์ •์˜ํ•ด ๋งŒ๋“ค์ง€ ๋ง๊ณ  ์ด๋ฏธ ์‚ฌ์šฉ ์ค‘์ธ ์šฉ์–ด๋ฅผ ์‚ฌ์šฉ ์•ฝ์–ด์™€ ์•ฝ์–ด ํ’€์ด๋ฒ• ๋‹จ์–ด์˜ ์˜๋ฏธ๋ฅผ ์›๋ž˜์˜ ์–ดํ˜•๋ณด๋‹ค ๊ฐ„๋ฝํ•˜๊ฒŒ ํ‘œ์‹œํ•œ ‘์ค€๋ง’ ์•ฝ์–ด๋Š” ๋งจ ์ฒ˜์Œ ๋‚˜์˜ฌ ๋•Œ ํ’€์ดํ•œ๋‹ค.(๊ฐ™์€ ์•ฝ์–ด๋ผ๋„ ๋ถ„์•ผ๋งˆ๋‹ค ๋‹ค๋ฅผ ์ˆ˜ ์žˆ๋‹ค) ๋„๋ฆฌ ์‚ฌ์šฉํ•˜๋Š” ์•ฝ์–ด๋ผ๋ฉด ํ’€์ด ์—†์ด ์•ฝ์–ด๋งŒ ์“ฐ๋ฉด ๋œ๋‹ค. ์šฉ์–ด๋Š” ์ผ๊ด€๋˜๊ฒŒ ์‚ฌ์šฉํ•œ๋‹ค ์šฉ์–ด๋‚˜ ํ‘œํ˜„์„ ์ผ๊ด€๋˜๊ฒŒ ์‚ฌ์šฉํ•˜๋Š” ๊ฒƒ์ด ์ค‘์š” ๊ฐ™์€ ์–ดํœ˜๋ฅผ ๋ฐ˜๋ณตํ•ด์„œ ์‚ฌ์šฉํ•˜๋Š” ๊ฒƒ์ด ์ง€๋ฃจํ•˜๊ฒŒ ๋А๊ปด์ง€์ง€ ์•Š์„๊นŒ ๊ฑฑ์ •X ๋น ๋ฅธ ์‹œ๊ฐ„ ์•ˆ์— ์ „๋‹ฌํ•˜๋Š” ๊ฒƒ์ด ๋ชฉํ‘œ → ์ตœ๋Œ€ํ•œ ๋‹จ์ˆœํ•˜๊ณ  ์ผ๊ด€๋˜๊ฒŒ ์‚ฌ์šฉ ๊ทธ๋ฆผ์˜ ํ…์ŠคํŠธ๋„ ๋ฐ˜๋“œ์‹œ ํ™•์ธ ๊ฐ™์€ ๋™์ž‘์ด๋ผ๋ฉด ๊ฐ™์€ ํ‘œํ˜„ ์‚ฌ์šฉ..

ํ…Œํฌ๋‹ˆ์ปฌ ๋ผ์ดํŒ… - ๊ฐœ๋ฐœ์ž๋ฅผ ์œ„ํ•œ ๊ธ€์“ฐ๊ธฐ(2)

๋ถ„์œ„๊ธฐ๋ฅผ ์ขŒ์šฐํ•  ์–ด์กฐ๋ฅผ ์ •ํ•œ๋‹ค ์–ด์กฐ ๋ง์˜ ๊ฐ€๋ฝ์„ ๊ฐ€๋ฆฌํ‚ค๋Š” ๋ง๋กœ, ๋”์šฑ ๋” ์ž์—ฐ์Šค๋Ÿฝ๊ณ  ํšจ๊ณผ์ ์œผ๋กœ ํ‘œํ˜„ํ•  ์ˆ˜ ์žˆ๊ฒŒ ๋„์™€์ฃผ๋ฉฐ ๋งํ•˜๋Š” ์ด์˜ ๊ฐ์ •๊ณผ ๊ธฐ๋ถ„์„ ์ „๋‹ฌํ•  ์ˆ˜ ์žˆ๊ฒŒ ํ•œ๋‹ค. ์ œํ’ˆ, ์„œ๋น„์Šค์˜ ์„ฑ๊ฒฉ, ์ฃผ์š” ์‚ฌ์šฉ์ž์ธต, ์ „๋‹ฌํ•˜๊ณ  ์‹ถ์€ ์ด๋ฏธ์ง€ ๋“ฑ์„ ๊ณ ๋ ค. ๋‹จ๋…์œผ๋กœ ์ •ํ•˜๋Š” ๊ฒƒ์ด ์•„๋‹ˆ๋ผ ํ˜‘์˜๋ฅผ ํ†ตํ•ด ์ •ํ•œ๋‹ค. ์–ด์กฐ๋ฅผ ์ •ํ•˜๋ฉด ์ผ๊ด€์„ฑ์žˆ๊ฒŒ ์ž‘์„ฑํ•œ๋‹ค. ์ฃผ์ œ๋ฅผ ๊ตฌ์ฒด์ ์œผ๋กœ ์ •ํ•œ๋‹ค ๊ด‘๋ฒ”์œ„ํ•œ ์ฃผ์ œ๋ฅผ ๊ตฌ์ฒด์ ์œผ๋กœ ์ •ํ•œ๋‹ค. ์ž‘์„ฑ์ž๊ฐ€ ๋‹ค๋ฃฐ ์ˆ˜ ์žˆ๋Š” ๋ฒ”์œ„๋กœ ์ฃผ์ œ๋ฅผ ์ •ํ•œ๋‹ค. ex) ์ž‘์„ฑํ•  ๋ฌธ์„œ์˜ ์ข…๋ฅ˜๋ฅผ ์ •ํ•œ๋‹ค. ๋ฉ”์ผ ๋…์ž : ๋ฐ›๋Š”์‚ฌ๋žŒ ์ •๋ณด๋ฅผ ๊ฐ„๋‹จํ•˜๊ฒŒ ๊ณต์œ ํ•˜๊ณ  ์—…๋ฌด๋ฅผ ์š”์ฒญํ•  ๋ชฉ์  ์˜์‚ฌ๊ฒฐ์ •์„ ๋ฐ›๊ธฐ ์œ„ํ•ด ์ž‘์„ฑ ํšŒ์˜๋ก ํ˜‘์˜ํ•œ ๋‚ด์šฉ์„ ๊ณต์œ ํ•˜๊ณ  ์˜ค๋ž˜ ๊ธฐ์–ตํ•  ์ˆ˜ ์žˆ๊ฒŒ ์ž‘์„ฑํ•˜๋Š” ๋ฌธ์„œ ํ˜•์‹ ์ฐธ์„ํ•˜์ง€ ์•Š์€ ์‚ฌ๋žŒ์ด ๋‚˜์ค‘์— ์ฝ์–ด๋„ ์ดํ•ดํ•  ์ˆ˜ ์žˆ๊ฒŒ ๋ช…ํ™•ํžˆ ์ž‘์„ฑ ๋ณด๊ณ ์„œ ..

NoSQL - MongoDB ๊ฐœ๋… ๋ฐ ํŠน์ง•

NoSQL - non-SQL, non-Relational DB ์ข…๋ฅ˜๋ฅผ ์ง€์นญํ•˜๊ธฐ ์œ„ํ•ด ์ƒ๊ธด ์šฉ์–ด. - ํ•˜์ง€๋งŒ NoSQL ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค์— ์˜คํžˆ๋ ค SQL์„ ์ง€์›ํ•˜๋Š” ๊ฒฝ์šฐ๊ฐ€ ๋งŽ์•„์ง€๊ณ  ์žˆ๋‹ค -> Not-only SQL์˜ ์˜๋ฏธ๋กœ ์“ฐ์ด๋Š” ๊ฒจ์šฐ๋„ ์žˆ์Œ. NoSQL์˜ ํŠน์ง• - RDBMS์™€ ๋น„๊ตํ•˜์—ฌ ๋ฐ์ดํ„ฐ ํ˜•์‹์ด ์ž์œ ๋กญ๋‹ค. (๋ฐ์ดํ„ฐ์˜ ํƒ€์ž…, ๊ธธ์ด, ํฌ๊ธฐ) - RDBMS์—์„œ๋Š” ๋ฐ์ดํ„ฐ์˜ ํ˜•์‹์ด ํ…Œ์ด๋ธ”๋กœ ์ •ํ•ด์ ธ ์žˆ๊ธฐ์— ํ‘œํ˜„ํ•˜๊ธฐ ํž˜๋“  ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•  ์ˆ˜ ์žˆ๋‹ค. -> Object๋ฅผ ํ‘œํ˜„ํ•  ์ˆ˜ ์žˆ๋Š” ๋ฌธ์„œ์˜ ๊ตฌ์กฐ๋ฅผ ๊ฐ€์งˆ ์ˆ˜ ์žˆ๋‹ค. - SQLํ˜•์‹์„ ๋งž์ถ”์ง€ ์•Š๋”๋ผ๋„, ์ „์šฉ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋‚˜ ํ•จ์ˆ˜๋กœ ์กฐํšŒํ•  ์ˆ˜ ์žˆ๋‹ค. - ๋น…๋ฐ์ดํ„ฐ์˜ ๊ฒฝ์šฐ์— NoSQL DB์˜ ๊ฒฝ์šฐ ๋” ๋งŽ์€ ๋ฐ์ดํ„ฐ๋ฅผ ์ €์žฅํ•˜๋ฉด์„œ ๋น ๋ฅด๊ฒŒ ์ ‘๊ทผํ•  ์ˆ˜ ์žˆ๋‹ค. - ๊ธฐ๋Šฅ์ด๋‚˜ ํ˜•์‹์˜ ํ‘œ์ค€์ด ์—†๋‹ค. ์‚ฌ..

ํ…Œํฌ๋‹ˆ์ปฌ ๋ผ์ดํŒ… - ๊ฐœ๋ฐœ์ž๋ฅผ ์œ„ํ•œ ๊ธ€์“ฐ๊ธฐ(1)

ํ…Œํฌ๋‹ˆ์ปฌ ๋ผ์ดํŒ…๊ณผ ๊ธฐ์ˆ ๋ฌธ์„œ ํ…Œํฌ๋‹ˆ์ปฌ ๋ผ์ดํŒ… : ๊ณผํ•™ ๋ถ„์•ผ์—์„œ ์ •๋ณด๋ฅผ ์ •ํ™•ํ•˜๊ฒŒ ์ „๋‹ฌํ•˜๊ธฐ ์œ„ํ•œ ๊ธ€์“ฐ๊ธฐ → ๊ธฐ์ˆ ์  ๊ธ€์“ฐ๊ธฐ, ๊ธฐ์ˆ  ๊ธ€์“ฐ๊ธฐ → ๋„“๊ฒŒ ๋ณด๋ฉด ๋ณด๋„์ž๋ฃŒ, ๋ฉ”๋ชจ, ๋ณด๊ณ ์„œ, ์ด๋ ฅ์„œ ๋“ฑ๋„ ํฌํ•จ ๊ธฐ์ˆ ๋ฌธ์„œ : ํ•ญ์ƒ ํŠน์ • ๋…์ž๋ฅผ ๋Œ€์ƒ์œผ๋กœ ์ž‘์„ฑ ํŠน์ • ๋…์ž๋ฅผ ๋Œ€์ƒ์œผ๋กœ ํŠน์ • ๋ชฉ์ ์„ ๊ฐ–๊ณ  ํŠน์ • ์ •๋ณด๋ฅผ ์ „๋‹ฌ ์‰ฝ๊ฒŒ ์ดํ•ดํ•  ์ˆ˜ ์žˆ๋„๋ก ์ •ํ™•ํ•œ ์ •๋ณด๋งŒ์„ ์ „๋‹ฌ ์–ด๋–ป๊ฒŒ ์จ์•ผ ๋ช…ํ™•ํ•˜๊ฒŒ ์ž˜ ์ „๋‹ฌํ•  ์ˆ˜ ์žˆ์„๊นŒ ๊ฐ๊ด€์  ์‚ฌ์‹ค, ์ •ํ™•ํ•œ ์ •๋ณด๋งŒ์„ ๋‹ค๋ค„์•ผ ํ•œ๋‹ค ํ…Œํฌ๋‹ˆ์ปฌ ๋ผ์ดํŒ… 5๋‹จ๊ณ„ ๊ณ„ํš ์„ธ์šฐ๊ธฐ ๋ชฉ์ ๊ณผ ๋ฌธ์„œ๋ฅผ ์ฝ๋Š” ๋…์ž๋ฅผ ๊ตฌ์ฒด์ ์œผ๋กœ ์ •ํ•จ ํ•„์š”ํ•œ ์ •๋ณด๋ฅผ ์ˆ˜์ง‘ ๊ตฌ์กฐ ์žก๊ธฐ ์ˆ˜์ง‘ํ•œ ์ •๋ณด๋ฅผ ์ž‘์—… ์ˆœ์„œ์— ๋”ฐ๋ผ ์ฐจ๋ก€๋Œ€๋กœ ๋ฐฐ์—ดํ•˜๋Š” ๋‹จ๊ณ„ ์ •๋ณด๋ฅผ ๋ฌถ์–ด์„œ ๊ตฌ์กฐํ™” ์ดˆ์•ˆ ์ž‘์„ฑ ์ „๋‹ฌํ•  ์ •๋ณด๋ฅผ ๋ชจ๋‘ ๋„ฃ๋Š” ๊ฒƒ์— ์ดˆ์  ๊ฐ€์žฅ ์ž์‹ ์žˆ๋Š” ๋ถ€๋ถ„๋ถ€ํ„ฐ ์ฑ„์›Œ ๋‚˜๊ฐ€๊ธฐ ๊ฒ€ํ† ์™€ ์žฌ์ž‘์„ฑ ๋‚ด์šฉ, ..

๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด๋ง ๊ณต๋ถ€(2) - ํ•˜๋‘ก์—์ฝ”์‹œ์Šคํ…œ, MapReduce

1.ํ•˜๋‘ก์—์ฝ”์‹œ์Šคํ…œ ํ•˜๋‘ก์€ HDFS์˜ ๋ถ„์‚ฐ ๋ฐ์ดํ„ฐ ์ €์žฅ๊ณผ ๋น…๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ ๋ฐฉ์‹์ธ MapReduce๋ฐฉ์‹์œผ๋กœ ์ด๋ฃจ์–ด์ ธ ์žˆ๋‹ค. ํ•˜๋‘ก์„ ์ข€ ๋” ํŽธํ•˜๊ณ , ๋‹จ์ ์„ ๋ณด์™„ํ•˜๊ธฐ ์œ„ํ•ด ์—ฌ๋Ÿฌ ์„œ๋ธŒ ํ”„๋กœ์ ํŠธ๋“ค์ด ์ง„ํ–‰๋˜์–ด ์™”๋‹ค. → ๊ทธ ์„œ๋ธŒ ํ”„๋กœ์ ํŠธ์˜ ๋ชจ์ž„์„ ํ•˜๋‘ก ์—์ฝ” ์‹œ์Šคํ…œ์ด๋ผ๊ณ  ํ•œ๋‹ค. 2.๋งต๋ฆฌ๋“€์Šค(MadpReduce) ํ•˜๋‘ก์˜ ๊ณ„์‚ฐ์„ ๋‹ด๋‹นํ•œ๋‹ค. ์ •๋ ฌ๋œ ๋ฐ์ดํ„ฐ๋ฅผ ๋ถ„์‚ฐ์ฒ˜๋ฆฌ - Map ํ•˜๊ณ  ์ด๋ฅผ ๋‹ค์‹œ ํ•ฉ์น˜๋Š” - Reduce ๊ณผ์ •์„ ์ˆ˜ํ–‰ํ•œ๋‹ค. Map & Reduce ๊ตฌ์„ฑ ์ด 2๊ฐœ Map, Reduce์˜ phase๋กœ ๊ตฌ์„ฑ๋˜์–ด ์žˆ๋‹ค. Map๊ณผ Reduce์‚ฌ์ด์—๋Š” shuffle๊ณผ Sort๋ผ๋Š” ์Šคํ…Œ์ด์ง€๊ฐ€ ์กด์žฌํ•œ๋‹ค. ๊ฐ Map Task๋Š” ์ „์ฒด ๋ฐ์ดํ„ฐ ์„ธํŠธ์— ๋Œ€ํ•œ ๋ณ„๊ฐœ์˜ ๋ถ€๋ถ„ ์ž‘์—…์„ ์ˆ˜ํ–‰ํ•˜๊ฒŒ ๋˜๋Š”๋ฐ, ๊ธฐ๋ณธ์ ์œผ๋กœ ํ•˜๋‚˜์˜ HDFS Block์„ ๋Œ€์ƒ์œผ..

Data 2023.05.30