[TIL] LLM - Develog

[TIL] LLM

∙2026년 5월 11일

본문 로딩 중...

이전 글Claude 앱과 깃허브 연동하기

이 컬렉션의 마지막 글입니다.

댓글 0

댓글을 작성하려면 로그인이 필요합니다.

아직 댓글이 없습니다. 첫 번째 댓글을 작성해보세요!

LLM

Large Language Model의 줄임말로 사람처럼 글을 이해하고 답을 만들고 대화를 할 수 있는 AI

다음 토큰을 확률 적으로 예측하는 모델

컨텍스트 윈도우 - AI의 "작업 기억"

정의: 모델이 답을 만들 때 참조하는 입력 전체 (작업 기억)

시스템 프롬프트
사용자 프롬프트
대화 내역
도구 주입 컨텍스트

AI도 사람과 마찬가지로 오래 대화할수록 처음 이야기한 내용이 가물가물 해진다

그래서 컨텍스트도 관리를 해줘야하는데 다음과 같은 방법이 있다

명확한 "할 일 목록" 먼저 주기
새 작업은 새 채팅으로 시작
관련 파일, 문서만 골라 컨텍스트에 넣기

LLM을 사용할 때 위의 3가지를 습관처럼 만들어두자

환각 - "확신에 찬 거짓말"의 구조

LLM은 정답을 알고도록 설계된 것이 아니라 다음에 올 가장 그럴듯한 말을 예측하도록 설계됐다.

모르는 영역에서 모른다고 말하면 유저 입장에서 불편함이 커지니 그럴 듯한 무언가를 창조하는 식으로 답을 한다.

대응

회의하고 검증
IDE 피드백 적극 활용
LLM이 실수할 수 있으니 적극적으로 반박
모델이 직접 외부 정보를 가져와 답을 보강하게 만들기

프롬프트 작성 팁 3가지

명확하고 구체적으로 작성
자료를 분리해 라벨링
짧게 시작, 막혔을 때 늘리기

관련 글

AI는 왜 자신 있게 틀린 말을 할까?

AI는 왜 자신 있게 틀린 말을 할까?

환각이라고 부르는 그 현상은 진짜 ‘거짓말’일까 AI를 쓰다 보면 가장 당황스러운 순간이 있습니다. 모르는 척도 아니고, 애매하게 말하는 것도 아니고, 너무나 자신 있게 틀린 말을 할 때입니다. AI에게 뭔가를 물어봤는데 답변이 아주 그럴듯합니다. 문장도 자연스럽고,구조도 깔끔하고,심지어 예시까지 들어줍니다. 그런데 나중에 확인해보면 틀렸습니다. 없는 자료

ChatGPT는 왜 어떤 말은 하고, 어떤 말은 안 할까?

ChatGPT는 왜 어떤 말은 하고, 어떤 말은 안 할까?

LLM 정책은 누가 만든다?

생성형AI의 거짓말을 고치는 마법, RAG

생성형AI의 거짓말을 고치는 마법, RAG

최근 생성형 AI가 눈부시게 발전하면서 업무와 일상에 큰 변화가 일어나고 있습니다. 하지만 챗GPT나 클로드 같은 AI 모델을 사용하다 보면, 가끔 그럴싸한 거짓말을 하거나 최신 정보를 알지 못해 엉뚱한 대답을 내놓는 경우를 겪어보셨을 겁니다. 이러한 한계를 극복하고 AI를 더욱 똑똑하고 신뢰할 수 있게 만들어주는 핵심 기술이 바로 RAG(Retrieval

AI는 왜 자신 있게 틀린 말을 할까?

AILLMHallucination+1

AI는 왜 자신 있게 틀린 말을 할까?

환각이라고 부르는 그 현상은 진짜 ‘거짓말’일까 AI를 쓰다 보면 가장 당황스러운 순간이 있습니다. 모르는 척도 아니고, 애매하게 말하는 것도 아니고, 너무나 자신 있게 틀린 말을 할 때입니다. AI에게 뭔가를 물어봤는데 답변이 아주 그럴듯합니다. 문장도 자연스럽고,구조도 깔끔하고,심지어 예시까지 들어줍니다. 그런데 나중에 확인해보면 틀렸습니다. 없는 자료

진유록

진유록

진유록

∙2026년 5월 7일

30

ChatGPT는 왜 어떤 말은 하고, 어떤 말은 안 할까?

ChatGPT는 왜 어떤 말은 하고, 어떤 말은 안 할까?

LLM 정책은 누가 만든다?

진유록

진유록

∙2026년 4월 24일

생성형AI의 거짓말을 고치는 마법, RAG

RAG검색증강생성생성형AI+2

생성형AI의 거짓말을 고치는 마법, RAG

최근 생성형 AI가 눈부시게 발전하면서 업무와 일상에 큰 변화가 일어나고 있습니다. 하지만 챗GPT나 클로드 같은 AI 모델을 사용하다 보면, 가끔 그럴싸한 거짓말을 하거나 최신 정보를 알지 못해 엉뚱한 대답을 내놓는 경우를 겪어보셨을 겁니다. 이러한 한계를 극복하고 AI를 더욱 똑똑하고 신뢰할 수 있게 만들어주는 핵심 기술이 바로 RAG(Retrieval

양윤석

양윤석

∙2026년 4월 22일