Big Data 핵심 개념 완벽 정리

빅데이터의 기본 개념부터 처리 기술까지 초급 개발자를 위한 완벽 가이드입니다. 실제 코드 예제와 함께 MapReduce, Spark, 데이터 파이프라인 등 핵심 개념을 쉽게 배워보세요.

---

---

들어가며

이 글에서는 Big Data 핵심 개념 완벽 정리에 대해 상세히 알아보겠습니다. 총 8가지 주요 개념을 다루며, 각각의 개념에 대한 설명과 실제 코드 예제를 함께 제공합니다.

목차

1. MapReduce_기본_개념
2. 데이터_파티셔닝
3. Spark_기본_연산
4. 데이터_스트리밍_처리
5. 분산_파일_시스템_읽기
6. 데이터_캐싱_최적화
7. 배치_처리_파이프라인
8. 데이터_샘플링

---

1. MapReduce 기본 개념

개요

대용량 데이터를 분산 처리하는 가장 기본적인 프로그래밍 모델입니다. Map 단계에서 데이터를 변환하고, Reduce 단계에서 집계합니다.

코드 예제

from functools import reduce

# Map: 각 단어를 (단어, 1) 형태로 변환
words = ["big", "data", "big", "analytics", "data"]
mapped = list(map(lambda word: (word, 1), words))

# Reduce: 같은 단어의 개수를 합산
word_count = reduce(lambda acc, item: {**acc, item[0]: acc.get(item[0], 0) + item[1]}, mapped, {})
print(word_count)  # {'big': 2, 'data': 2, 'analytics': 1}

설명

Map 함수로 각 단어를 카운팅 가능한 형태로 변환하고, Reduce로 최종 집계를 수행합니다. 이것이 빅데이터 처리의 핵심 패턴입니다.

---

2. 데이터 파티셔닝

개요

대용량 데이터를 여러 개의 작은 조각으로 나누어 병렬 처리를 가능하게 하는 기법입니다.

코드 예제

import pandas as pd

# 큰 데이터셋을 청크 단위로 읽기
chunk_size = 1000
for chunk in pd.read_csv('big_data.csv', chunksize=chunk_size):
    # 각 청크를 독립적으로 처리
    processed = chunk[chunk['value'] > 100]
    processed.to_csv('filtered.csv', mode='a', header=False)

설명

메모리에 한 번에 올리지 못하는 큰 파일도 chunk 단위로 나눠 처리하면 효율적으로 처리할 수 있습니다.

---

3. Spark 기본 연산

개요

Apache Spark는 메모리 기반의 빠른 분산 처리 엔진입니다. RDD를 사용해 데이터를 변환하고 집계합니다.

코드 예제

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("BigDataDemo").getOrCreate()
data = [("Alice", 25), ("Bob", 30), ("Charlie", 35)]
df = spark.createDataFrame(data, ["name", "age"])

# 필터링 및 집계
result = df.filter(df.age > 25).groupBy().avg("age")
result.show()

설명

Spark는 SQL과 유사한 방식으로 대용량 데이터를 쉽게 처리할 수 있으며, 분산 환경에서 자동으로 병렬 처리됩니다.

---

4. 데이터 스트리밍 처리

개요

실시간으로 들어오는 데이터를 즉시 처리하는 스트리밍 처리 방식입니다.

코드 예제

from pyspark.sql import SparkSession
from pyspark.sql.functions import window, col

spark = SparkSession.builder.appName("Streaming").getOrCreate()
stream = spark.readStream.format("kafka").option("subscribe", "events").load()

# 5분 단위 윈도우로 이벤트 집계
windowed = stream.groupBy(
    window(col("timestamp"), "5 minutes")
).count()

설명

스트리밍 데이터를 시간 윈도우로 나눠 실시간 집계를 수행합니다. Kafka 등의 메시지 큐와 함께 사용됩니다.

---

5. 분산 파일 시스템 읽기

개요

HDFS 같은 분산 파일 시스템에서 데이터를 읽어오는 방법입니다. 여러 노드에 분산된 데이터를 투명하게 접근합니다.

코드 예제

from pyspark.sql import SparkSession

spark = SparkSession.builder.getOrCreate()

# HDFS에서 대용량 파일 읽기
df = spark.read.parquet("hdfs://namenode:9000/data/sales.parquet")

# 분산 처리로 집계
total_sales = df.groupBy("region").sum("amount")
total_sales.show()

설명

HDFS에 저장된 Parquet 파일을 읽어 자동으로 여러 노드에 분산 처리합니다. Parquet는 빅데이터에 최적화된 컬럼 기반 포맷입니다.

---

6. 데이터 캐싱 최적화

개요

반복적으로 사용되는 데이터를 메모리에 캐싱하여 처리 속도를 크게 향상시킵니다.

코드 예제

from pyspark.sql import SparkSession

spark = SparkSession.builder.getOrCreate()
df = spark.read.parquet("large_dataset.parquet")

# 자주 사용되는 데이터 캐싱
df.cache()

# 여러 작업에서 재사용
result1 = df.filter(df.age > 30).count()
result2 = df.groupBy("department").avg("salary")

설명

cache()를 사용하면 데이터가 메모리에 저장되어 디스크 I/O를 줄이고 반복 작업의 성능을 크게 개선합니다.

---

7. 배치 처리 파이프라인

개요

ETL(Extract, Transform, Load) 과정을 자동화한 데이터 처리 파이프라인입니다.

코드 예제

import pandas as pd
from datetime import datetime

def etl_pipeline(source_file, target_file):
    # Extract: 데이터 추출
    df = pd.read_csv(source_file)

    # Transform: 데이터 변환
    df['processed_date'] = datetime.now()
    df = df[df['status'] == 'active']

    # Load: 결과 저장
    df.to_parquet(target_file, compression='snappy')

etl_pipeline('raw_data.csv', 'processed_data.parquet')

설명

원본 데이터를 읽고, 필요한 변환을 수행한 후, 최적화된 포맷으로 저장하는 전체 과정을 자동화합니다.

---

8. 데이터 샘플링

개요

전체 데이터가 너무 클 때 일부만 추출하여 빠르게 분석하거나 테스트하는 기법입니다.

코드 예제

from pyspark.sql import SparkSession

spark = SparkSession.builder.getOrCreate()
full_data = spark.read.parquet("huge_dataset.parquet")

# 전체 데이터의 10% 무작위 샘플링
sample = full_data.sample(fraction=0.1, seed=42)

# 샘플로 빠른 분석 수행
sample.describe().show()

설명

수억 건의 데이터를 모두 처리하기 전에 샘플로 빠르게 테스트하고 검증할 수 있습니다. seed를 사용하면 재현 가능한 샘플링이 됩니다.

---

마치며

이번 글에서는 Big Data 핵심 개념 완벽 정리에 대해 알아보았습니다. 총 8가지 개념을 다루었으며, 각각의 사용법과 예제를 살펴보았습니다.

관련 태그

#Python #BigData #MapReduce #Spark #DataPipeline