Web Scraping 도구 완벽 가이드

웹 스크래핑의 기초부터 실전까지, HTML 파싱과 동적 페이지 처리, 그리고 윤리적인 크롤링 방법을 배웁니다. 초급 개발자도 쉽게 따라할 수 있는 실습 예제를 포함합니다.

---

목차

1. HTML_파싱
2. 동적_페이지_처리
3. 크롤링_윤리
4. 실습_웹_스크래퍼_도구
5. 실습_뉴스_수집기

---

1. HTML 파싱

김개발 씨는 오늘 팀장님으로부터 특별한 미션을 받았습니다. "김 대리, 경쟁사 쇼핑몰의 상품 가격을 매일 모니터링할 수 있는 방법이 없을까요?" 수작업으로 하나하나 확인하기엔 상품이 너무 많았습니다.

바로 이때 필요한 것이 웹 스크래핑입니다.

HTML 파싱은 웹 페이지의 소스 코드를 분석하여 원하는 데이터를 추출하는 기술입니다. 마치 도서관에서 책의 목차를 보고 원하는 챕터만 골라 읽는 것과 같습니다.

Python의 BeautifulSoup 라이브러리를 사용하면 복잡한 HTML 구조에서도 손쉽게 데이터를 가져올 수 있습니다.

다음 코드를 살펴봅시다.

from bs4 import BeautifulSoup
import requests

# 웹 페이지 가져오기
url = "https://example.com/products"
response = requests.get(url)

# HTML 파싱 시작
soup = BeautifulSoup(response.text, 'html.parser')

# CSS 선택자로 상품명 추출
products = soup.select('.product-item .title')
for product in products:
    # 텍스트만 깔끔하게 추출
    print(product.get_text(strip=True))

김개발 씨는 입사 6개월 차 주니어 개발자입니다. 팀장님의 요청을 받고 처음에는 막막했습니다.

웹 페이지에서 데이터를 자동으로 가져온다니, 대체 어떻게 해야 할까요? 선배 개발자 박시니어 씨가 다가와 힌트를 줍니다.

"웹 브라우저에서 F12를 눌러봐요. 개발자 도구가 열릴 거예요." 김개발 씨가 눌러보니 복잡한 HTML 코드가 펼쳐졌습니다.

그렇다면 HTML 파싱이란 정확히 무엇일까요? 쉽게 비유하자면, HTML 파싱은 마치 복잡한 서류 뭉치에서 필요한 정보만 형광펜으로 표시해서 뽑아내는 것과 같습니다.

웹 페이지는 수많은 태그와 속성으로 이루어져 있는데, 파싱을 통해 그중에서 우리가 원하는 부분만 정확히 찾아낼 수 있습니다. HTML 파싱이 없던 시절에는 어땠을까요?

개발자들은 문자열 검색이나 정규표현식으로 데이터를 추출해야 했습니다. 하지만 HTML 구조가 조금만 바뀌어도 코드가 제대로 작동하지 않았습니다.

더 큰 문제는 복잡하게 중첩된 태그 구조를 다루기가 거의 불가능에 가까웠다는 점입니다. 바로 이런 문제를 해결하기 위해 BeautifulSoup 같은 파싱 라이브러리가 등장했습니다.

BeautifulSoup을 사용하면 HTML을 트리 구조로 변환하여 쉽게 탐색할 수 있습니다. CSS 선택자나 태그 이름으로 원하는 요소를 바로 찾을 수 있습니다.

무엇보다 HTML 구조가 약간 변경되어도 유연하게 대응할 수 있다는 큰 장점이 있습니다. 위의 코드를 한 줄씩 살펴보겠습니다.

먼저 requests.get() 으로 웹 페이지의 HTML 전체를 가져옵니다. 그다음 BeautifulSoup 객체를 생성하면서 파서를 지정합니다.

html.parser는 Python 내장 파서로, 별도 설치 없이 사용할 수 있습니다. 핵심은 select() 메서드입니다.

CSS 선택자를 사용하여 원하는 요소들을 리스트로 가져옵니다. .product-item .title은 product-item 클래스 안에 있는 title 클래스 요소를 모두 찾으라는 의미입니다.

실제 현업에서는 어떻게 활용할까요? 예를 들어 경쟁사 모니터링, 부동산 시세 수집, 뉴스 기사 수집 등 다양한 분야에서 HTML 파싱이 활용됩니다.

마케팅팀에서 SNS 트렌드를 분석하거나, 영업팀에서 업계 동향을 파악할 때도 유용합니다. 하지만 주의할 점도 있습니다.

초보 개발자들이 흔히 하는 실수 중 하나는 웹 페이지의 인코딩을 확인하지 않는 것입니다. 한글이 깨져서 나온다면 response.encoding을 확인해야 합니다.

또한 너무 짧은 간격으로 요청을 보내면 서버에서 차단당할 수 있으니 time.sleep() 으로 적절한 딜레이를 주는 것이 좋습니다. 다시 김개발 씨의 이야기로 돌아가 봅시다.

박시니어 씨의 설명을 들은 김개발 씨는 눈이 반짝였습니다. "이렇게 간단한 코드로 데이터를 수집할 수 있다니요!" HTML 파싱을 제대로 이해하면 웹에 있는 수많은 정보를 자동으로 수집할 수 있습니다.

여러분도 관심 있는 웹 사이트에서 데이터를 추출해 보세요.

실전 팁

💡 - select() 는 여러 요소를, select_one() 은 첫 번째 요소만 반환합니다

• 요청 시 headers에 User-Agent를 추가하면 차단을 피할 수 있습니다
• response.status_code로 요청 성공 여부를 항상 확인하세요

---

2. 동적 페이지 처리

김개발 씨는 BeautifulSoup으로 여러 사이트의 데이터를 잘 수집하고 있었습니다. 그런데 어느 날, 한 쇼핑몰에서 이상한 일이 벌어졌습니다.

분명히 브라우저에서는 상품 목록이 보이는데, 코드로 가져오면 빈 페이지만 나오는 것이었습니다.

동적 페이지는 JavaScript로 콘텐츠를 로드하는 웹 페이지입니다. 일반적인 requests 라이브러리로는 JavaScript가 실행되기 전의 빈 HTML만 가져오게 됩니다.

이럴 때 Selenium을 사용하면 실제 브라우저처럼 JavaScript를 실행하여 완전한 페이지를 얻을 수 있습니다.

다음 코드를 살펴봅시다.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 브라우저 실행 (헤드리스 모드)
options = webdriver.ChromeOptions()
options.add_argument('--headless')
driver = webdriver.Chrome(options=options)

# 페이지 로드 및 대기
driver.get("https://example.com/products")
wait = WebDriverWait(driver, 10)
products = wait.until(EC.presence_of_all_elements_located(
    (By.CSS_SELECTOR, '.product-item')
))

for product in products:
    print(product.text)
driver.quit()

김개발 씨는 당황했습니다. 분명히 같은 URL인데 왜 결과가 다를까요?

박시니어 씨에게 달려가 상황을 설명했습니다. 박시니어 씨가 웃으며 말했습니다.

"아, 그 사이트는 SPA로 만들어졌을 거예요. Single Page Application이라고, 요즘 많이 쓰는 방식이에요." 그렇다면 동적 페이지란 정확히 무엇일까요?

쉽게 비유하자면, 일반 웹 페이지는 완성된 책을 받는 것과 같습니다. 반면 동적 페이지는 빈 책과 함께 "이 책은 열어볼 때마다 내용이 채워집니다"라는 마법 주문이 같이 오는 것과 같습니다.

브라우저가 그 마법 주문(JavaScript)을 실행해야 비로소 내용이 나타납니다. requests 라이브러리만 사용했을 때 문제가 무엇일까요?

requests는 HTTP 요청만 보내고 응답을 받습니다. JavaScript를 실행하는 기능이 없습니다.

그래서 페이지의 뼈대만 가져오고, 실제 콘텐츠는 비어있는 채로 받게 됩니다. React, Vue, Angular 같은 프레임워크로 만든 사이트는 대부분 이런 방식입니다.

바로 이런 문제를 해결하기 위해 Selenium이 등장했습니다. Selenium은 원래 웹 애플리케이션 테스트를 위해 만들어진 도구입니다.

실제 브라우저(Chrome, Firefox 등)를 프로그램으로 제어할 수 있습니다. 브라우저가 JavaScript를 실행하므로, 동적으로 생성되는 콘텐츠도 완벽하게 가져올 수 있습니다.

위의 코드를 살펴보겠습니다. headless 옵션은 브라우저 창을 화면에 띄우지 않고 백그라운드에서 실행하는 설정입니다.

서버에서 돌릴 때 필수적인 옵션입니다. WebDriverWait은 특정 요소가 나타날 때까지 최대 10초 동안 기다립니다.

동적 페이지에서 가장 중요한 부분입니다. expected_conditions는 다양한 대기 조건을 제공합니다.

요소가 존재하는지, 클릭 가능한지, 텍스트가 포함되어 있는지 등 여러 조건으로 대기할 수 있습니다. 실제 현업에서는 어떤 상황에서 Selenium이 필요할까요?

무한 스크롤이 적용된 페이지, 로그인이 필요한 페이지, 버튼을 클릭해야 데이터가 나타나는 페이지 등에서 Selenium이 필수입니다. 특히 요즘 대부분의 신규 웹 서비스는 동적 페이지로 만들어지기 때문에, Selenium 활용 능력은 점점 더 중요해지고 있습니다.

하지만 Selenium의 단점도 알아두어야 합니다. 실제 브라우저를 실행하기 때문에 requests보다 훨씬 느립니다.

메모리도 많이 사용합니다. 따라서 정적 페이지는 BeautifulSoup으로, 동적 페이지만 Selenium으로 처리하는 것이 효율적입니다.

김개발 씨는 Selenium을 적용한 후 드디어 쇼핑몰 데이터를 수집할 수 있었습니다. "세상에, 브라우저를 코드로 조종하다니 마치 로봇을 만든 것 같아요!" 동적 페이지 처리 기술을 익히면 거의 모든 웹 사이트에서 데이터를 수집할 수 있습니다.

요즘 웹 트렌드를 생각하면 반드시 알아야 할 기술입니다.

실전 팁

💡 - driver.quit() 을 반드시 호출하여 브라우저 리소스를 해제하세요

• time.sleep() 보다 WebDriverWait을 사용하는 것이 더 안정적입니다
• 크롬 드라이버 버전은 설치된 크롬 버전과 일치해야 합니다

---

3. 크롤링 윤리

김개발 씨의 스크래퍼가 점점 정교해지자, 박시니어 씨가 조심스럽게 말을 꺼냈습니다. "김 대리, 혹시 그 사이트의 robots.txt 확인해봤어요?

그리고 이용약관에 스크래핑 관련 조항이 있는지도요." 김개발 씨는 순간 멈칫했습니다. 그런 건 생각해본 적이 없었기 때문입니다.

크롤링 윤리는 웹 스크래핑을 할 때 지켜야 할 규범과 법적 고려사항을 말합니다. robots.txt 준수, 서버 부하 고려, 저작권 존중 등이 포함됩니다.

무분별한 크롤링은 서비스 장애를 유발하거나 법적 문제로 이어질 수 있으므로, 반드시 윤리적 기준을 지켜야 합니다.

다음 코드를 살펴봅시다.

import requests
from urllib.robotparser import RobotFileParser
import time

# robots.txt 확인
rp = RobotFileParser()
rp.set_url("https://example.com/robots.txt")
rp.read()

url = "https://example.com/products"
user_agent = "MyBot/1.0"

# 크롤링 허용 여부 확인
if rp.can_fetch(user_agent, url):
    response = requests.get(url, headers={'User-Agent': user_agent})
    # 서버 부하를 줄이기 위한 딜레이
    time.sleep(1)
    print("크롤링 성공")
else:
    print("이 URL은 크롤링이 금지되어 있습니다")

김개발 씨는 부끄러워졌습니다. 기술적으로 가능하다는 것과 해도 된다는 것은 완전히 다른 문제라는 걸 깨달았기 때문입니다.

박시니어 씨가 차분히 설명을 시작했습니다. "웹 스크래핑은 칼과 같아요.

요리에 쓰면 유용하지만, 잘못 쓰면 다칠 수 있죠." 그렇다면 robots.txt란 무엇일까요? robots.txt는 웹 사이트 루트에 있는 텍스트 파일로, 검색엔진이나 크롤러에게 "이 영역은 수집하지 마세요"라고 알려주는 일종의 안내문입니다.

마치 집 앞에 "방문객 출입금지" 표지판을 세워두는 것과 같습니다. 법적 강제력은 없지만, 예의 바른 크롤러라면 반드시 확인해야 합니다.

robots.txt를 무시하면 어떤 일이 벌어질까요? 우선 해당 사이트에서 IP가 차단될 수 있습니다.

더 심각한 경우, 업무방해나 컴퓨터 등 장애 혐의로 법적 문제가 생길 수 있습니다. 실제로 국내외에서 무분별한 크롤링으로 인한 소송 사례가 있습니다.

서버 부하 문제도 중요합니다. 수천 개의 페이지를 1초 만에 요청하면 어떻게 될까요?

해당 서버가 과부하에 걸려 다른 정상 사용자들도 서비스를 이용하지 못하게 됩니다. 이것은 일종의 DDoS 공격과 다를 바 없습니다.

따라서 요청 사이에 적절한 딜레이를 주는 것이 필수입니다. 위의 코드를 살펴보겠습니다.

RobotFileParser는 Python 표준 라이브러리로, robots.txt를 파싱하여 특정 URL의 크롤링 가능 여부를 확인해줍니다. can_fetch() 메서드에 User-Agent와 URL을 전달하면 True 또는 False를 반환합니다.

time.sleep(1) 은 각 요청 사이에 1초의 간격을 두는 코드입니다. 이 간격은 사이트의 규모와 서버 상황에 따라 조절해야 합니다.

일반적으로 1-2초 정도가 적절합니다. 추가로 고려해야 할 윤리적 사항들이 있습니다.

첫째, 저작권입니다. 수집한 데이터를 상업적으로 사용하거나 재배포할 때는 저작권 문제가 발생할 수 있습니다.

둘째, 개인정보입니다. 이름, 연락처 같은 개인정보를 무단으로 수집하면 개인정보보호법 위반이 됩니다.

셋째, 이용약관입니다. 많은 사이트가 이용약관에서 자동화된 접근을 금지하고 있습니다.

그렇다면 어떻게 해야 윤리적인 크롤링이 될까요? 가능하다면 공식 API를 먼저 찾아보세요.

대부분의 대형 서비스는 개발자용 API를 제공합니다. API가 없다면 robots.txt를 확인하고, 적절한 딜레이를 주며, 수집한 데이터의 사용 범위를 명확히 해야 합니다.

김개발 씨는 고개를 끄덕였습니다. "단순히 기술만 아는 것이 아니라, 책임감 있는 개발자가 되어야 하는군요." 크롤링 윤리를 지키는 것은 자신을 보호하는 일이기도 합니다.

법적 문제 없이 안정적으로 데이터를 수집하려면 항상 윤리적 기준을 먼저 생각해야 합니다.

실전 팁

💡 - robots.txt는 법적 강제력은 없지만, 무시할 경우 다른 법률 위반의 근거가 될 수 있습니다

• 공식 API가 있다면 항상 API를 우선적으로 사용하세요
• 수집한 데이터의 사용 목적과 범위를 명확히 문서화해두세요

---

4. 실습 웹 스크래퍼 도구

김개발 씨는 지금까지 배운 내용을 바탕으로 실제 사용할 수 있는 웹 스크래퍼를 만들어보기로 했습니다. 박시니어 씨가 조언했습니다.

"처음부터 거창하게 만들지 말고, 재사용 가능한 기본 도구부터 만들어봐요."

웹 스크래퍼 도구는 다양한 사이트에서 재사용할 수 있도록 모듈화된 크롤링 코드입니다. 에러 처리, 재시도 로직, 로깅 등을 포함하여 안정적으로 데이터를 수집합니다.

한 번 잘 만들어두면 여러 프로젝트에서 활용할 수 있습니다.

다음 코드를 살펴봅시다.

import requests
from bs4 import BeautifulSoup
import time
import logging

class WebScraper:
    def __init__(self, delay=1):
        self.session = requests.Session()
        self.session.headers.update({
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'
        })
        self.delay = delay

    def fetch(self, url, retries=3):
        for i in range(retries):
            try:
                response = self.session.get(url, timeout=10)
                response.raise_for_status()
                time.sleep(self.delay)
                return BeautifulSoup(response.text, 'html.parser')
            except requests.RequestException as e:
                logging.warning(f"시도 {i+1} 실패: {e}")
        return None

    def extract(self, soup, selector):
        return [el.get_text(strip=True) for el in soup.select(selector)]

김개발 씨는 그동안 매번 비슷한 코드를 처음부터 작성했습니다. URL 가져오고, 파싱하고, 에러 처리하고...

매번 같은 작업의 반복이었습니다. 박시니어 씨가 말했습니다.

"좋은 개발자는 반복을 싫어해요. 한 번 만든 코드는 계속 재사용할 수 있어야 합니다." 클래스로 만드는 이유가 무엇일까요?

클래스를 사용하면 여러 기능을 하나로 묶을 수 있습니다. 마치 스위스 군용 칼처럼, 필요한 도구들을 한 곳에 모아두는 것입니다.

세션 관리, 딜레이 설정, 에러 처리 등을 한 번에 관리할 수 있습니다. requests.Session을 사용하는 이유도 알아봅시다.

Session 객체는 여러 요청에 걸쳐 설정을 유지합니다. 쿠키가 자동으로 유지되고, 헤더도 매번 설정할 필요가 없습니다.

또한 HTTP 연결을 재사용하므로 성능도 향상됩니다. 위의 코드 구조를 분석해보겠습니다.

init 메서드에서 세션을 생성하고 기본 User-Agent를 설정합니다. 많은 사이트가 User-Agent가 없는 요청을 봇으로 판단하여 차단하기 때문입니다.

delay 파라미터로 요청 간격을 조절할 수 있게 했습니다. fetch 메서드는 실제 HTTP 요청을 담당합니다.

핵심은 재시도 로직입니다. 네트워크 문제로 한 번 실패했다고 바로 포기하지 않고, 설정된 횟수만큼 다시 시도합니다.

timeout 설정으로 응답이 너무 오래 걸리는 경우도 처리합니다. raise_for_status() 는 HTTP 에러(404, 500 등)가 발생하면 예외를 일으킵니다.

이렇게 하면 try-except로 모든 에러를 일관되게 처리할 수 있습니다. extract 메서드는 파싱된 결과에서 원하는 데이터만 추출합니다.

CSS 선택자를 받아서 해당하는 모든 요소의 텍스트를 리스트로 반환합니다. 리스트 컴프리헨션을 사용하여 코드를 간결하게 작성했습니다.

이 도구를 어떻게 사용할까요? scraper = WebScraper(delay=2) soup = scraper.fetch("https://example.com") titles = scraper.extract(soup, "h2.title") 단 세 줄로 원하는 데이터를 수집할 수 있습니다.

다른 사이트를 크롤링할 때도 같은 도구를 그대로 사용하면 됩니다. 김개발 씨는 감탄했습니다.

"이제 새 프로젝트마다 처음부터 코드를 짤 필요가 없겠네요!" 잘 설계된 도구는 개발 시간을 크게 줄여줍니다. 여러분도 자신만의 스크래퍼 도구를 만들어 보세요.

시간이 지날수록 그 가치를 느끼게 될 것입니다.

실전 팁

💡 - 로깅을 추가하면 문제가 생겼을 때 디버깅이 훨씬 쉬워집니다

• 프록시 지원이 필요하다면 session.proxies 속성을 활용하세요
• 자주 사용하는 설정은 설정 파일(config)로 분리하면 관리가 편합니다

---

5. 실습 뉴스 수집기

기본 도구를 완성한 김개발 씨에게 팀장님이 새로운 미션을 주었습니다. "IT 관련 뉴스를 매일 아침 정리해서 팀 슬랙에 공유해줄 수 있어요?" 김개발 씨의 눈이 빛났습니다.

지금까지 배운 모든 것을 활용할 절호의 기회였습니다.

뉴스 수집기는 특정 주제의 뉴스 기사를 자동으로 수집하는 실용적인 프로젝트입니다. 제목, 링크, 요약, 작성일 등을 추출하여 정리합니다.

실제 서비스에서 많이 사용되는 패턴으로, 웹 스크래핑의 실전 활용법을 배울 수 있습니다.

다음 코드를 살펴봅시다.

from dataclasses import dataclass
from datetime import datetime
from typing import List

@dataclass
class NewsArticle:
    title: str
    url: str
    summary: str
    published: str

class NewsCollector(WebScraper):
    def __init__(self, base_url):
        super().__init__(delay=1)
        self.base_url = base_url

    def collect(self, keyword: str) -> List[NewsArticle]:
        url = f"{self.base_url}/search?q={keyword}"
        soup = self.fetch(url)
        if not soup:
            return []

        articles = []
        for item in soup.select('.news-item'):
            articles.append(NewsArticle(
                title=item.select_one('.title').get_text(strip=True),
                url=item.select_one('a')['href'],
                summary=item.select_one('.desc').get_text(strip=True),
                published=item.select_one('.date').get_text(strip=True)
            ))
        return articles

김개발 씨는 앞서 만든 WebScraper 클래스를 활용하여 뉴스 수집기를 만들기로 했습니다. 기존 코드를 재사용하면서 필요한 기능만 추가하면 되니까요.

상속을 사용하는 이유가 무엇일까요? 상속은 기존 클래스의 기능을 물려받아 확장하는 방법입니다.

NewsCollector는 WebScraper의 모든 기능(fetch, extract, 세션 관리 등)을 그대로 사용하면서, 뉴스 수집에 특화된 기능만 추가합니다. 코드 중복을 없애고 유지보수를 쉽게 만드는 객체지향의 핵심 개념입니다.

dataclass는 무엇일까요? Python 3.7부터 도입된 dataclass는 데이터를 담는 클래스를 간편하게 만들어줍니다.

init, repr 같은 메서드를 자동으로 생성해줍니다. 뉴스 기사의 제목, URL, 요약, 날짜를 깔끔하게 묶어서 관리할 수 있습니다.

코드의 흐름을 따라가봅시다. collect 메서드는 키워드를 받아서 검색 URL을 만듭니다.

f-string을 사용하여 동적으로 URL을 생성하는 것이 포인트입니다. 부모 클래스의 fetch 메서드를 호출하여 페이지를 가져오고, 각 뉴스 항목을 순회하면서 데이터를 추출합니다.

select_one은 select와 달리 첫 번째 요소만 반환합니다. 각 뉴스 항목에서 제목, 링크, 요약, 날짜가 하나씩만 있으므로 select_one을 사용합니다.

['href'] 구문으로 a 태그의 href 속성을 직접 가져올 수 있습니다. 이 수집기를 어떻게 활용할까요?

collector = NewsCollector("https://news.example.com") articles = collector.collect("Python") for article in articles: print(f"{article.title} - {article.published}") 검색어만 바꾸면 다양한 주제의 뉴스를 수집할 수 있습니다. 수집한 데이터를 JSON으로 저장하거나, Slack API로 전송하거나, 데이터베이스에 저장하는 등 다양하게 확장할 수 있습니다.

실제 서비스에서는 어떤 기능을 추가해야 할까요? 첫째, 중복 체크 기능입니다.

같은 기사를 여러 번 수집하지 않도록 URL이나 제목으로 중복을 확인해야 합니다. 둘째, 스케줄링입니다.

APScheduler나 cron을 사용하여 정해진 시간에 자동으로 수집하도록 합니다. 셋째, 알림 기능입니다.

새 기사가 수집되면 Slack이나 이메일로 알림을 보냅니다. 실전에서 주의할 점도 있습니다.

뉴스 사이트마다 HTML 구조가 다르므로, 각 사이트에 맞는 선택자를 찾아야 합니다. 브라우저 개발자 도구에서 원하는 요소를 우클릭하고 "Copy selector"를 선택하면 CSS 선택자를 쉽게 얻을 수 있습니다.

김개발 씨는 뉴스 수집기를 완성하고 매일 아침 자동으로 IT 뉴스를 팀에 공유했습니다. 팀장님이 흐뭇하게 웃었습니다.

"김 대리, 요즘 부쩍 실력이 늘었네요!" 뉴스 수집기 프로젝트를 통해 웹 스크래핑의 전체 흐름을 경험해보았습니다. 이제 여러분도 원하는 정보를 자동으로 수집하는 나만의 도구를 만들어보세요.

실전 팁

💡 - 실제 뉴스 사이트는 구조가 자주 바뀌므로, 선택자가 작동하지 않으면 다시 확인해야 합니다

• RSS 피드를 제공하는 사이트라면 HTML 파싱보다 RSS를 사용하는 것이 더 안정적입니다
• 대량의 뉴스를 저장할 때는 SQLite나 MongoDB 같은 데이터베이스를 활용하세요

---

이상으로 학습을 마칩니다. 위 내용을 직접 코드로 작성해보면서 익혀보세요!