[TIL] LLM
댓글 0
댓글을 작성하려면 로그인이 필요합니다.
아직 댓글이 없습니다. 첫 번째 댓글을 작성해보세요!
Large Language Model의 줄임말로 사람처럼 글을 이해하고 답을 만들고 대화를 할 수 있는 AI
다음 토큰을 확률 적으로 예측하는 모델
정의: 모델이 답을 만들 때 참조하는 입력 전체 (작업 기억)
AI도 사람과 마찬가지로 오래 대화할수록 처음 이야기한 내용이 가물가물 해진다
그래서 컨텍스트도 관리를 해줘야하는데 다음과 같은 방법이 있다
LLM을 사용할 때 위의 3가지를 습관처럼 만들어두자
LLM은 정답을 알고도록 설계된 것이 아니라 다음에 올 가장 그럴듯한 말을 예측하도록 설계됐다.
모르는 영역에서 모른다고 말하면 유저 입장에서 불편함이 커지니 그럴 듯한 무언가를 창조하는 식으로 답을 한다.
대응

환각이라고 부르는 그 현상은 진짜 ‘거짓말’일까 AI를 쓰다 보면 가장 당황스러운 순간이 있습니다. 모르는 척도 아니고, 애매하게 말하는 것도 아니고, 너무나 자신 있게 틀린 말을 할 때입니다. AI에게 뭔가를 물어봤는데 답변이 아주 그럴듯합니다. 문장도 자연스럽고,구조도 깔끔하고,심지어 예시까지 들어줍니다. 그런데 나중에 확인해보면 틀렸습니다. 없는 자료

LLM 정책은 누가 만든다?

최근 생성형 AI가 눈부시게 발전하면서 업무와 일상에 큰 변화가 일어나고 있습니다. 하지만 챗GPT나 클로드 같은 AI 모델을 사용하다 보면, 가끔 그럴싸한 거짓말을 하거나 최신 정보를 알지 못해 엉뚱한 대답을 내놓는 경우를 겪어보셨을 겁니다. 이러한 한계를 극복하고 AI를 더욱 똑똑하고 신뢰할 수 있게 만들어주는 핵심 기술이 바로 RAG(Retrieval
