AI 성능 최적화 가이드

AI 모델의 추론 속도를 향상시키고 메모리 사용량을 최적화하는 핵심 기법들을 소개합니다. 초급 개발자도 쉽게 적용할 수 있는 실전 예제로 구성했습니다.

---

---

들어가며

이 글에서는 AI 성능 최적화 가이드에 대해 상세히 알아보겠습니다. 총 8가지 주요 개념을 다루며, 각각의 개념에 대한 설명과 실제 코드 예제를 함께 제공합니다.

목차

1. 배치_처리로_성능_향상
2. 모델_양자화로_메모리_절약
3. 결과_캐싱으로_중복_계산_제거
4. 불필요한_레이어_제거
5. GPU_메모리_효율적_사용
6. 혼합_정밀도_학습
7. 입력_데이터_전처리_최적화
8. ONNX로_모델_변환

---

1. 배치 처리로 성능 향상

개요

여러 개의 입력을 한 번에 처리하여 AI 모델의 추론 속도를 크게 향상시킬 수 있습니다.

코드 예제

import numpy as np

# 비효율적: 하나씩 처리
for item in data:
    result = model.predict(item)

# 효율적: 배치로 처리
batch = np.array(data)
results = model.predict(batch)

설명

개별 처리 대신 배치로 묶어서 한 번에 예측하면 GPU 활용도가 높아져 처리 속도가 5-10배 빨라집니다.

---

2. 모델 양자화로 메모리 절약

개요

모델의 가중치를 32비트에서 8비트로 변환하여 크기를 1/4로 줄이고 추론 속도도 향상시킵니다.

코드 예제

import tensorflow as tf

# 모델을 INT8로 양자화
converter = tf.lite.TFLiteConverter.from_keras_model(model)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
quantized_model = converter.convert()

# 양자화된 모델 저장
with open('model_quantized.tflite', 'wb') as f:
    f.write(quantized_model)

설명

양자화를 통해 모델 크기를 줄이면 메모리 사용량이 감소하고 모바일 기기에서도 빠르게 실행할 수 있습니다.

---

3. 결과 캐싱으로 중복 계산 제거

개요

동일한 입력에 대한 예측 결과를 저장해두고 재사용하여 불필요한 계산을 제거합니다.

코드 예제

from functools import lru_cache

@lru_cache(maxsize=1000)
def predict_with_cache(input_text):
    # 해시 가능한 입력만 캐싱 가능
    return model.predict([input_text])[0]

# 같은 입력은 캐시에서 즉시 반환
result1 = predict_with_cache("안녕하세요")
result2 = predict_with_cache("안녕하세요")  # 캐시 사용

설명

자주 반복되는 입력은 캐싱을 통해 즉시 결과를 반환하므로 응답 시간이 100배 이상 빨라질 수 있습니다.

---

4. 불필요한 레이어 제거

개요

모델의 마지막 몇 개 레이어를 제거하여 정확도는 약간 희생하되 속도를 크게 향상시킵니다.

코드 예제

from tensorflow.keras import Model

# 원본 모델에서 중간 레이어까지만 사용
original_model = load_model('full_model.h5')
layer_name = 'layer_5'  # 5번째 레이어까지만
faster_model = Model(
    inputs=original_model.input,
    outputs=original_model.get_layer(layer_name).output
)

설명

전체 레이어가 필요 없는 경우 중간 레이어의 출력만 사용하면 추론 시간을 30-50% 단축할 수 있습니다.

---

5. GPU 메모리 효율적 사용

개요

GPU 메모리를 필요한 만큼만 할당하여 여러 모델을 동시에 실행할 수 있게 합니다.

코드 예제

import tensorflow as tf

# GPU 메모리 동적 할당 설정
gpus = tf.config.list_physical_devices('GPU')
if gpus:
    tf.config.experimental.set_memory_growth(gpus[0], True)

# 메모리 제한 설정 (4GB)
tf.config.set_logical_device_configuration(
    gpus[0], [tf.config.LogicalDeviceConfiguration(memory_limit=4096)]
)

설명

메모리를 필요한 만큼만 사용하도록 설정하면 OOM 에러를 방지하고 다른 작업과 GPU를 공유할 수 있습니다.

---

6. 혼합 정밀도 학습

개요

16비트와 32비트 부동소수점을 혼합하여 학습 속도를 높이고 메모리 사용량을 줄입니다.

코드 예제

from tensorflow.keras import mixed_precision

# 혼합 정밀도 정책 설정
policy = mixed_precision.Policy('mixed_float16')
mixed_precision.set_global_policy(policy)

# 모델 빌드 (자동으로 FP16 사용)
model = create_model()
model.compile(optimizer='adam', loss='mse')

설명

FP16을 사용하면 메모리 사용량이 절반으로 줄고 최신 GPU에서 학습 속도가 2-3배 빨라집니다.

---

7. 입력 데이터 전처리 최적화

개요

데이터 전처리를 미리 하거나 병렬로 처리하여 모델이 기다리는 시간을 최소화합니다.

코드 예제

import tensorflow as tf

# 데이터셋 최적화
dataset = tf.data.Dataset.from_tensor_slices(data)
dataset = dataset.cache()  # 메모리에 캐싱
dataset = dataset.map(preprocess, num_parallel_calls=tf.data.AUTOTUNE)
dataset = dataset.prefetch(tf.data.AUTOTUNE)  # 미리 준비
dataset = dataset.batch(32)

설명

전처리를 병렬화하고 미리 로드하면 GPU가 유휴 상태 없이 계속 작업할 수 있어 전체 처리량이 증가합니다.

---

8. ONNX로 모델 변환

개요

모델을 ONNX 형식으로 변환하여 다양한 최적화 런타임에서 빠르게 실행할 수 있습니다.

코드 예제

import torch
import torch.onnx

# PyTorch 모델을 ONNX로 변환
dummy_input = torch.randn(1, 3, 224, 224)
torch.onnx.export(
    model, dummy_input, "model.onnx",
    input_names=['input'], output_names=['output'],
    dynamic_axes={'input': {0: 'batch_size'}}
)

설명

ONNX 형식으로 변환하면 ONNX Runtime에서 최적화된 추론을 할 수 있어 속도가 2-5배 향상됩니다.

---

마치며

이번 글에서는 AI 성능 최적화 가이드에 대해 알아보았습니다. 총 8가지 개념을 다루었으며, 각각의 사용법과 예제를 살펴보았습니다.

관련 태그

#Python #AI최적화 #배치처리 #모델경량화 #캐싱