머신러닝 알고리즘 실전 구현 가이드

실무에서 자주 사용되는 머신러닝 알고리즘들을 Python으로 직접 구현하며 학습합니다. 선형회귀부터 신경망까지 핵심 개념과 최적화 기법을 다룹니다.

---

---

들어가며

이 글에서는 머신러닝 알고리즘 실전 구현 가이드에 대해 상세히 알아보겠습니다. 총 12가지 주요 개념을 다루며, 각각의 개념에 대한 설명과 실제 코드 예제를 함께 제공합니다.

목차

1. 선형회귀_경사하강법
2. 로지스틱회귀_시그모이드
3. K-평균_클러스터링
4. 결정트리_엔트로피
5. 배치정규화_구현
6. Adam_옵티마이저
7. 드롭아웃_정규화
8. 합성곱_연산
9. 소프트맥스_크로스엔트로피
10. L1_L2_정규화
11. RNN_순방향_전파
12. 그래디언트_클리핑

---

1. 선형회귀 경사하강법

개요

경사하강법을 사용한 선형회귀 모델 구현. 손실 함수의 기울기를 계산하여 가중치를 최적화합니다.

코드 예제

import numpy as np

def gradient_descent(X, y, lr=0.01, epochs=1000):
    m, n = X.shape
    theta = np.zeros(n)
    for _ in range(epochs):
        gradient = (1/m) * X.T.dot(X.dot(theta) - y)
        theta -= lr * gradient
    return theta

설명

평균제곱오차(MSE)의 기울기를 계산하고, 학습률을 곱한 값만큼 가중치를 업데이트하여 최적의 파라미터를 찾습니다.

---

2. 로지스틱회귀 시그모이드

개요

이진 분류를 위한 로지스틱 회귀 구현. 시그모이드 함수로 확률값을 출력합니다.

코드 예제

import numpy as np

def sigmoid(z):
    return 1 / (1 + np.exp(-z))

def logistic_regression(X, y, lr=0.01, epochs=1000):
    theta = np.zeros(X.shape[1])
    for _ in range(epochs):
        h = sigmoid(X.dot(theta))
        gradient = X.T.dot(h - y) / len(y)
        theta -= lr * gradient
    return theta

설명

시그모이드 함수를 통해 선형 조합을 0과 1 사이의 확률로 변환하고, 크로스 엔트로피 손실의 기울기로 가중치를 업데이트합니다.

---

3. K-평균 클러스터링

개요

비지도 학습의 대표적인 알고리즘인 K-평균 클러스터링. 데이터를 K개의 그룹으로 분류합니다.

코드 예제

import numpy as np

def kmeans(X, k, max_iters=100):
    centroids = X[np.random.choice(len(X), k, False)]
    for _ in range(max_iters):
        distances = np.linalg.norm(X[:, None] - centroids, axis=2)
        labels = np.argmin(distances, axis=1)
        new_centroids = np.array([X[labels == i].mean(0) for i in range(k)])
        if np.allclose(centroids, new_centroids): break
        centroids = new_centroids
    return centroids, labels

설명

각 데이터 포인트를 가장 가까운 중심점에 할당하고, 중심점을 클러스터의 평균으로 업데이트하는 과정을 반복합니다.

---

4. 결정트리 엔트로피

개요

정보 이득을 기반으로 한 결정 트리 분할. 엔트로피를 계산하여 최적의 분할 기준을 찾습니다.

코드 예제

import numpy as np

def entropy(y):
    _, counts = np.unique(y, return_counts=True)
    probs = counts / len(y)
    return -np.sum(probs * np.log2(probs + 1e-10))

def information_gain(X_col, y, threshold):
    left_mask = X_col <= threshold
    if left_mask.sum() == 0 or (~left_mask).sum() == 0:
        return 0
    return entropy(y) - (left_mask.sum()/len(y) * entropy(y[left_mask]) +
                         (~left_mask).sum()/len(y) * entropy(y[~left_mask]))

설명

부모 노드의 엔트로피에서 자식 노드들의 가중 엔트로피를 빼서 정보 이득을 계산하고, 이를 최대화하는 분할점을 선택합니다.

---

5. 배치정규화 구현

개요

신경망 학습을 안정화하는 배치 정규화 레이어. 각 배치의 평균과 분산으로 정규화합니다.

코드 예제

import numpy as np

class BatchNorm:
    def __init__(self, eps=1e-5, momentum=0.9):
        self.eps, self.momentum = eps, momentum
        self.running_mean, self.running_var = None, None

    def forward(self, x, training=True):
        if training:
            mean, var = x.mean(0), x.var(0)
            x_norm = (x - mean) / np.sqrt(var + self.eps)
        return x_norm

설명

미니배치의 평균을 빼고 표준편차로 나누어 정규화함으로써, 내부 공변량 변화를 줄이고 학습 속도를 향상시킵니다.

---

6. Adam 옵티마이저

개요

모멘텀과 RMSprop을 결합한 적응형 학습률 최적화 알고리즘. 각 파라미터마다 다른 학습률을 적용합니다.

코드 예제

class Adam:
    def __init__(self, lr=0.001, beta1=0.9, beta2=0.999, eps=1e-8):
        self.lr, self.beta1, self.beta2, self.eps = lr, beta1, beta2, eps
        self.m, self.v, self.t = None, None, 0

    def update(self, params, grads):
        if self.m is None: self.m, self.v = np.zeros_like(params), np.zeros_like(params)
        self.t += 1
        self.m = self.beta1 * self.m + (1 - self.beta1) * grads
        self.v = self.beta2 * self.v + (1 - self.beta2) * grads**2
        m_hat, v_hat = self.m / (1 - self.beta1**self.t), self.v / (1 - self.beta2**self.t)
        return params - self.lr * m_hat / (np.sqrt(v_hat) + self.eps)

설명

1차 모멘트(평균)와 2차 모멘트(분산)의 지수 이동 평균을 계산하고, 편향 보정 후 적응형 학습률로 파라미터를 업데이트합니다.

---

7. 드롭아웃 정규화

개요

과적합을 방지하는 드롭아웃 기법. 학습 시 일부 뉴런을 무작위로 비활성화합니다.

코드 예제

import numpy as np

def dropout_forward(x, dropout_rate=0.5, training=True):
    if not training:
        return x
    mask = np.random.binomial(1, 1-dropout_rate, x.shape)
    return x * mask / (1 - dropout_rate)

def dropout_backward(dout, mask, dropout_rate=0.5):
    return dout * mask / (1 - dropout_rate)

설명

학습 시 베르누이 분포로 마스크를 생성하여 뉴런을 무작위로 제거하고, 추론 시에는 모든 뉴런을 사용하며 스케일링으로 보정합니다.

---

8. 합성곱 연산

개요

CNN의 핵심인 합성곱 연산 구현. 이미지의 공간적 특징을 추출합니다.

코드 예제

import numpy as np

def conv2d(input, kernel, stride=1):
    h, w = input.shape
    kh, kw = kernel.shape
    out_h, out_w = (h - kh) // stride + 1, (w - kw) // stride + 1
    output = np.zeros((out_h, out_w))
    for i in range(out_h):
        for j in range(out_w):
            output[i, j] = np.sum(input[i*stride:i*stride+kh, j*stride:j*stride+kw] * kernel)
    return output

설명

커널을 입력 이미지 위에서 슬라이딩하며 요소별 곱셈 후 합산하여, 지역적 패턴을 감지하는 특징 맵을 생성합니다.

---

9. 소프트맥스 크로스엔트로피

개요

다중 클래스 분류를 위한 소프트맥스 함수와 크로스 엔트로피 손실. 확률 분포로 변환합니다.

코드 예제

import numpy as np

def softmax(x):
    exp_x = np.exp(x - np.max(x, axis=1, keepdims=True))
    return exp_x / np.sum(exp_x, axis=1, keepdims=True)

def cross_entropy_loss(y_pred, y_true):
    m = y_true.shape[0]
    log_likelihood = -np.log(y_pred[range(m), y_true] + 1e-10)
    return np.sum(log_likelihood) / m

설명

소프트맥스로 로짓을 확률 분포로 변환하고, 실제 레이블의 예측 확률에 로그를 취해 크로스 엔트로피 손실을 계산합니다.

---

10. L1 L2 정규화

개요

과적합을 방지하는 정규화 기법. 가중치에 페널티를 부과하여 모델을 단순화합니다.

코드 예제

import numpy as np

def l1_regularization(weights, lambda_reg):
    return lambda_reg * np.sum(np.abs(weights))

def l2_regularization(weights, lambda_reg):
    return lambda_reg * np.sum(weights ** 2)

def regularized_loss(loss, weights, lambda_l1, lambda_l2):
    return loss + l1_regularization(weights, lambda_l1) + l2_regularization(weights, lambda_l2)

설명

L1은 가중치의 절댓값 합을, L2는 제곱합을 손실에 더하여 가중치의 크기를 제한하고, L1은 희소성을 L2는 작은 가중치를 유도합니다.

---

11. RNN 순방향 전파

개요

순환 신경망의 순방향 전파 구현. 시퀀스 데이터의 시간적 의존성을 모델링합니다.

코드 예제

import numpy as np

def rnn_forward(x, h_prev, Wx, Wh, b):
    h_raw = np.dot(x, Wx) + np.dot(h_prev, Wh) + b
    h_next = np.tanh(h_raw)
    cache = (x, h_prev, h_next, Wx, Wh)
    return h_next, cache

def rnn_sequence(X, h0, Wx, Wh, b):
    h = h0
    for t in range(X.shape[0]):
        h, _ = rnn_forward(X[t], h, Wx, Wh, b)
    return h

설명

현재 입력과 이전 은닉 상태를 가중치 행렬과 곱한 후 tanh 활성화를 적용하여, 시간에 따른 정보를 은닉 상태에 누적합니다.

---

12. 그래디언트 클리핑

개요

기울기 폭발 문제를 해결하는 그래디언트 클리핑. 기울기의 크기를 제한합니다.

코드 예제

import numpy as np

def clip_gradients(gradients, max_norm=5.0):
    total_norm = np.sqrt(sum(np.sum(g**2) for g in gradients))
    clip_coef = max_norm / (total_norm + 1e-6)
    if clip_coef < 1:
        return [g * clip_coef for g in gradients]
    return gradients

설명

모든 기울기의 L2 노름을 계산하고, 임계값을 초과하면 비율적으로 스케일링하여 RNN 학습 시 기울기 폭발을 방지합니다. --- 고급 개발자를 위한 머신러닝 알고리즘 코드 카드 뉴스가 완성되었습니다. 실무에서 자주 사용되는 12가지 핵심 알고리즘과 기법을 구현 수준에서 다루었습니다.

---

마치며

이번 글에서는 머신러닝 알고리즘 실전 구현 가이드에 대해 알아보았습니다. 총 12가지 개념을 다루었으며, 각각의 사용법과 예제를 살펴보았습니다.

관련 태그

#Python #MachineLearning #NeuralNetwork #Optimization #Algorithm