[TIL] LLM
본문 로딩 중...
댓글 0
댓글을 작성하려면 로그인이 필요합니다.
아직 댓글이 없습니다. 첫 번째 댓글을 작성해보세요.
Large Language Model의 줄임말로 사람처럼 글을 이해하고 답을 만들고 대화를 할 수 있는 AI
다음 토큰을 확률 적으로 예측하는 모델
정의: 모델이 답을 만들 때 참조하는 입력 전체 (작업 기억)
AI도 사람과 마찬가지로 오래 대화할수록 처음 이야기한 내용이 가물가물 해진다
그래서 컨텍스트도 관리를 해줘야하는데 다음과 같은 방법이 있다
LLM을 사용할 때 위의 3가지를 습관처럼 만들어두자
LLM은 정답을 알고도록 설계된 것이 아니라 다음에 올 가장 그럴듯한 말을 예측하도록 설계됐다.
모르는 영역에서 모른다고 말하면 유저 입장에서 불편함이 커지니 그럴 듯한 무언가를 창조하는 식으로 답을 한다.
대응
"그거 다 같은 말 아냐?"에서 시작됐다 "우리 회사 자료를 다 알고 대답하는 챗봇을 만들고 싶다." "내 기록으로 답하는 나만의 AI를 갖고 싶다." 이런 이야기를 하다 보면 세 단어가 연달아 튀어나온다. 그리고 대화는 대략 이렇게 흘러간다. - "머신러닝이 내가 원하는 AI로 만드는 기술 아냐?" - "그럼 RAG는? 내가 가진 정보에서 답 줄 때 쓰는
환각이라고 부르는 그 현상은 진짜 ‘거짓말’일까 AI를 쓰다 보면 가장 당황스러운 순간이 있습니다. 모르는 척도 아니고, 애매하게 말하는 것도 아니고, 너무나 자신 있게 틀린 말을 할 때입니다. AI에게 뭔가를 물어봤는데 답변이 아주 그럴듯합니다. 문장도 자연스럽고,구조도 깔끔하고,심지어 예시까지 들어줍니다. 그런데 나중에 확인해보면 틀렸습니다. 없는 자료
LLM 정책은 누가 만든다?
"그거 다 같은 말 아냐?"에서 시작됐다 "우리 회사 자료를 다 알고 대답하는 챗봇을 만들고 싶다." "내 기록으로 답하는 나만의 AI를 갖고 싶다." 이런 이야기를 하다 보면 세 단어가 연달아 튀어나온다. 그리고 대화는 대략 이렇게 흘러간다. - "머신러닝이 내가 원하는 AI로 만드는 기술 아냐?" - "그럼 RAG는? 내가 가진 정보에서 답 줄 때 쓰는
환각이라고 부르는 그 현상은 진짜 ‘거짓말’일까 AI를 쓰다 보면 가장 당황스러운 순간이 있습니다. 모르는 척도 아니고, 애매하게 말하는 것도 아니고, 너무나 자신 있게 틀린 말을 할 때입니다. AI에게 뭔가를 물어봤는데 답변이 아주 그럴듯합니다. 문장도 자연스럽고,구조도 깔끔하고,심지어 예시까지 들어줍니다. 그런데 나중에 확인해보면 틀렸습니다. 없는 자료
