AI 개발 독학 4주 - 2주차 데이터 다루기와 LLM API

1주차에서는 파이썬 기초 문법을 익혔습니다. 변수와 조건문, 반복문은 데이터를 다루기 위한 최소한의 도구예요.

이번 주에는 두 가지 핵심을 다룹니다. 첫째, 딕셔너리와 JSON, 엑셀처럼 실제로 자주 만나는 데이터를 구조적으로 다루는 방법이에요. 둘째, 챗봇 화면이 아니라 코드로 LLM을 호출하는 API 사용법입니다. 표로 된 데이터를 자동으로 요약하거나 특정 항목을 뽑아내는 작업을 자동화하려면, API 호출 구조를 이해해 두는 것이 큰 도움이 됩니다.

이번 주 계획

중첩 딕셔너리와 JSON 심화

하나의 장바구니에는 여러 상품이 담깁니다. 장바구니 정보 안에 상품 리스트가 들어 있는 중첩 구조를 순회하면서 전체 금액을 합산해 볼게요.

import json
cart = {"name": "이번 주 장보기", "items": [{"name": "우유", "price": 2500}, {"name": "달걀", "price": 4000}]}
total = 0
for item in cart["items"]:
    total += item["price"]
cart["total"] = total
print(json.dumps(cart, ensure_ascii=False, indent=2))

pandas로 엑셀 읽기

import pandas as pd

df = pd.read_excel("expenses.xlsx")
avg = df.groupby("카테고리")["금액"].mean()
print(avg)

LLM chat completions 구조

import requests
import json

url = "https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completions"
headers = {
    "Authorization": "Bearer YOUR_API_KEY",
    "Content-Type": "application/json"
}
payload = {
    "model": "qwen-plus",
    "messages": [{"role": "user", "content": "이번 달 지출 내역을 3가지로 요약해."}],
    "temperature": 0.2
}
response = requests.post(url, headers=headers, json=payload)
print(response.json()["choices"][0]["message"]["content"])

메시지 구조를 코드로 조립하기

API에 보낼 요청 몸통(payload)을 파이썬 코드로 만들어 봅니다. 실제 전송은 하지 않고 구조만 확인해 볼게요.

import json
system_msg = {"role": "system", "content": "너는 데이터 분석 전문가다."}
user_msg = {"role": "user", "content": "이번 달 지출에서 줄일 수 있는 항목은?"}
payload = {
    "model": "qwen-plus",
    "messages": [system_msg, user_msg],
    "temperature": 0.1,
    "max_tokens": 500
}
print(json.dumps(payload, ensure_ascii=False, indent=2))

프롬프트 설계 기본

구조화 출력(JSON 강제)

import json
llm_response = '{"item": "노트북", "price": 450, "status": "승인"}'
data = json.loads(llm_response)
if data["price"] > 400:
    print(f"{data['item']} 예산 초과, 재검토 필요")

표를 보고서로 요약하기

• temperature를 0.2와 1.0으로 변경하며 응답의 일관성을 비교한다.
• max_tokens를 20으로 제한해 응답이 중간에 잘리는 현상을 관찰한다.

주말 미니프로젝트 — 신청서 필드 추출기

정규식(re)을 사용해 자유 형식 텍스트에서 원하는 필드를 뽑아내 봅니다. 정해진 양식이 없는 글을 구조화된 데이터로 바꾸는 기본기예요.

import re
import json
text = """이름: 홍길동
지역: 서울
신청 항목: 세미나실 대여
변경 사항: (As-is) 3시간 → (To-be) 5시간"""
result = {}
for line in text.split('\n'):
    match = re.search(r'(.+?):\s*(.+)', line)
    if match:
        result[match.group(1).strip()] = match.group(2).strip()
change = re.search(r'\(As-is\)\s*(.+?)\s*→\s*\(To-be\)\s*(.+)', text)
if change:
    result["변경전"] = change.group(1)
    result["변경후"] = change.group(2)
print(json.dumps(result, ensure_ascii=False, indent=2))

자가 체크리스트

• 중첩 딕셔너리에서 for문을 사용해 내부 리스트의 값을 합산할 수 있다.
• LLM API의 messages 배열에서 system, user, assistant의 역할을 설명할 수 있다.
• 프롬프트를 작성할 때 역할 지정, 구체적 지시, 출력 형식 명시 3요소를 포함한다.
• LLM이 반환한 JSON 문자열을 json.loads()로 파싱해 특정 필드 값을 조건문으로 검증한다.
• 정규식을 사용해 비정형 텍스트에서 라벨과 값을 분리해 딕셔너리로 구조화한다.
• temperature와 max_tokens 파라미터가 LLM 응답에 미치는 영향을 이해한다.

이번 주 용어

3주차에서는 RAG(검색 증강 생성)를 다룹니다. 문서를 검색해 LLM에 근거로 넣어 주는 구조를 배우고, 긴 문서를 제목(H2) 단위로 잘라 메타데이터로 검색을 제어하는 방법을 하나씩 살펴봅니다.