검색하지 않았으면 좋겠다.

LLM이랑 같이 개발하다 보면 이상하게 제대로 된 걸 못 찾는다는 느낌이 들 때가 있다. grep으로 단순 검색을 하고 있기 때문이다. grep은 수십 년 된 컴퓨터 명령어인데, 파일 더미에서 특정 단어가 있는 줄을 찾아주는 도구다. "계약서"라는 단어를 검색하면 그 단어가 들어간 문장만 죽 뽑아준다. 의미를 파악하는 게 아니라, 글자가 일치하는지만 확인한다. AI가 문서를 찾는 방식이 본질적으로 이것과 크게 다르지 않다. 더 정교해 보이지만, 결국 패턴 매칭이다. 나는 AI가 내 코드를 다 읽고, 문서를 다 읽고, 그 위에서 판단하길 기대한다. 하지만 실제로는 그렇지 않다. AI에게는 한 번에 읽을 수 있는 글자 수의 한계, 즉 컨텍스트 윈도우(context window)가 있다. 책 한 권을 통째로 읽는 게 아니라, 한 번에 몇 페이지 분량만 볼 수 있다. 그래서 전부 읽지 않고, 검색으로 관련 있어 보이는 조각만 골라서 그 안에서 답을 만든다. 이해처럼 보이지만 사실은 꽤 정교한 패턴 매칭에 가깝다. 이해와 검색은 실패하는 방식이 완전히 다르다. 이해가 부족한 사람은 "모른다"고 말한다. 검색이 실패한 시스템은 "그럴듯한 다른 답"을 말한다. 우리가 반복해서 느끼는 답답함의 본질이 거기에 있다. 틀렸다는 걸 모르는 것처럼 말하는 시스템. 그게 문제다. 그렇다면 읽을 수 있는 글자 수를 무한히 늘리면 해결될까. 그것도 단순하지 않다. 스탠퍼드 대학의 연구에서 "Lost in the Middle"이라는 현상이 확인됐는데, LLM이 긴 내용을 받았을 때 앞부분과 뒷부분에는 잘 집중하지만 중간에 있는 내용은 흘려버리는 경향이 있다는 것이다. 책을 한 권 통째로 줘도 1장과 마지막 장은 잘 기억하지만 중간 챕터는 희미해지는 것처럼. 그래서 리랭킹(reranking)이라는 방법이 나왔다. 검색해서 가져온 문서들을 그냥 순서대로 넣는 게 아니라, 질문과의 관련도를 다시 한번 평가해서 중요한 내용을 앞뒤로 배치하는 방식이다. 입력의 양을 늘리는 게 아니라, 넣는 내용의 배치를 최적화하겠다는 발상이다. 그런데 여기서 한 발짝 물러서면 더 근본적인 문제가 보인다. RAG도, 리랭킹도, 이 모든 방법론이 존재하는 이유가 뭔가. RAG는 Retrieval-Augmented Generation의 줄임말로, AI가 답을 만들기 전에 외부 문서에서 관련 내용을 먼저 찾아서 참고하게 하는 방식이다. 최신 정보를 반영하고, 전문 지식을 연결하고, 근거를 제시하는 데 분명 효과적이다. 하지만 RAG가 꼭 답이 아니라는 연구들도 최근 계속 나오고 있다. 검색 자체가 실패하면 그 오류가 그대로 최종 답변까지 전달되고, 문서를 조각내는 과정에서 앞뒤 맥락이 잘려나가고, 찾아온 근거가 결론을 실제로 지지하는지 아무도 확인하지 않는다. 기술이 하나씩 쌓이는 게 발전처럼 보이지만, 다르게 읽으면 각각의 기술이 LLM의 한계를 하나씩 우회하는 방법들이다. LLM이 모든 걸 읽고 이해해서 답할 수 있다면 이런 게 필요 없다. 이 반복이 어디서 끊길지 지금으로선 알 수 없다. 그렇게 생각하다 보면 결국 이런 질문에 닿는다. LLM이 진짜로 이해한다는 건 애초에 가능한 걸까. 우리가 AI가 이해했다고 말할 때, 그게 실제로 무엇을 의미하는지 자꾸 의심스럽다. 그리고 이 모든 논의의 밑바닥엔 더 단순하고 더 근본적인 바람이 있다. 검색하지 않았으면 좋겠다는 것. 사람에게 "그 문서 내용이 뭐였지?"라고 물으면, 파일을 다시 열지 않는다. 읽었던 내용을 떠올리고, 맥락과 함께 재구성해서 말한다. 그리고 이해했기 때문에 그게 정확하다. 지금의 AI는 그렇게 작동하지 않는다. 매번 찾고, 매번 읽고, 매번 조합한다. 기억하지 않는다. 이해한 것을 쌓지 않는다. 내가 진짜로 원하는 건 AI가 모든 컨텍스트를 알고 처리하는 것이다. 검색 없이. 코드베이스 전체를 읽고, 문서 전체를 읽고, 그 위에서 판단하는 것. 사람이 오랜 시간 프로젝트에 몸담으면서 자연스럽게 전체 맥락을 체득하는 것처럼. 그게 가능해지면 지금처럼 "그거 아닌데, 다시 찾아봐."를 반복하지 않아도 될 것 같다. 그 미래가 언제 올지는 모르겠다. 어떻게 해결해야 할지도 아직 명확하지 않다.