에이전트 시대에 (그록봇으로) 정확도를 높이는 방법: LLM에서 hallucination은 부작용이 아니라 원리에 가깝습니다. LLM은 예측이 필연적으로 들어가기 때문에, 사실에 기반한 답변과 그럴듯하게 쓴 글이 같은 원리로 생성되기 때문입니다. AI와 잡담을 하거나, 소설을 쓰려면 적당한 hallucination은 재미를 더할 수도 있지만, 실제 작업에 쓰려면 큰 문제점들이 많죠. 그래서 중요한 일은 인간이 확인 해야 되었는데, 이런 경우 인간이 병목이 되는 경우가 많습니다. 인간의 확인 속도가 가장 느릴테니까요. 하지만 AI Agent를 여러 개 쓸 수 있는 그록봇이 나오면서 정확도를 더 늘릴 수 있는 방법이 여러가지 생겼습니다. 오늘은 제가 쓰는 방법을 알려드릴텐데요, 사실 꽤 간단합니다. 목표: S&P 500에 있는 모든 회사의 실적을 갖고, 실적에는 보통 나와 있지 않은 output, 예를 들자면 P/E Ratio, EV/EBITDA, PSR등을 만드는 것이 우리가 해야 되는 일이라고 가정해봐요. 1. 분담: 우선 대장을 선정하고, 두 명의 봇에게 따로 따로 일을 시키게 합니다. 그 다음 대장이 비교를 하며, 다른 점들이 있으면 대장이 무엇인지 찾고, 이 리스트를 만들 수도 있습니다. 2. 어떻게 확인을 할 것인지? 개인적으로 저는 official source만 찾으라는 룰을 줍니다. 이런 경우 10Q와 10K만 쓰라고 하는 것도 좋은 방법이겠죠. 이런 기준점이 없으면 정확한 정보를 찾기가 힘듭니다. 예를 들자면 "북촌에서 가장 맛있는 레스토랑을 찾아," 따위의 명령을 준다면, 당연히 애매한 답이 나오겠죠. 그리고 확인을 하는 AI도 기준이 없다면 기존에 있는 답을 따라하는 성향이 있습니다. 기준이 필요합니다. 3. 일을 쪼개서 시키기. 채팅형 AI에게 S&P500에 있는 회사들에 대한 정보를 다 찾으라고 하면 두 가지 중 하나가 일어납니다: A. 리스트는 긴데, 개별 회사 정보가 부족함. B. 리스트가 짧은 대신, 개별 회사 정보가 풍부함. 사실 토큰을 생각하면 당연한 일이지만, 아무튼 유저 입장에서는 짜증나는 문제죠. 내가 원하는 정보가 부족하다면 이것도 에러니까요. 하지만 AI Agent에게는 이런 일을 쪼개서 줄 수 있습니다. 예를 들자면 동시에 여러 회사의 정보를 찾지 말고 하나가 완벽하게 끝난 다음에만 다음 회사의 정보를 찾을 수 있다는 룰을 주면 됩니다. 기존 채팅형 AI에서는 직접 500개의 input을 주어야 되었죠. 4. 애매하면 표시하거나 물어보게 하기 특정 사이트에서 bot의 접근을 막아놨다고 해요. 이런 경우 AI는 답을 만들어내거나 검색 요약에 의존하게 되는데, 틀릴 확률이 높아집니다. AI는 주어진 미션을 달성하려고 꽤 많은 노력을 해요. 이런 경우 Verification needed라고 표시를 하거나 질문을 하라고 명령을 주면, AI 입장에서는 룰을 다 지키면서 미션을 끝낸 상태가 됩니다. 차라리 답이 없는게 오답보다 나은 경우가 많습니다. 5. 주기적으로 확인을 더 하기 이렇게 해도 에러는 언제든지 있을 수 있습니다. 그렇다면 일주일에 한 번씩 회사 50개씩 확인을 하라고 시켜도 좋습니다. 저는 보통 토큰이 리셋되기 전날 시킵니다. 6. 원문 인용 붙이기 진짜 중요한 데이터라면, link로 해서 원문을 인용하라고 시키면 지어낸 답을 인용할 가능성이 줄어듭니다. 마지막: AI Agent의 가장 좋은 점. 위에 있는 방식들을 제가 프로그래머처럼 깊은 생각을 해서 만든 걸까요? 아니요. 전 단지 그록봇에게 xyz를 찾고 싶은데 에러가 있으면 곤란하니 가장 정확도를 높힐 수 있는 방법을 생각해내서 보고하라고 했습니다. 위에 있는 방식들은 대부분 AI Agent가 생각해낸 것입니다. 저는 사실 이 글을 쓸 필요조차 없었어요. 하지만 글을 쓰는 게 좋아서 직접 썼을 뿐입니다. 참고로 전 그록봇을 쓴지 한 달도 되지 않았기 때문에, 위에 있는 내용도 상당히 기본적인 거라 할 수 있습니다. 다만 그록봇을 아예 쓰지 않는 사