AI가 답을 잘하게 만드는 법 '컨텍스트 엔지니어링'
"컨텍스트 엔지니어링 잘 하는 기업이 똑똑한 AI 보유하게 될 것"
[서울=뉴시스]오동현 기자 = 챗GPT 등장 이후 인공지능(AI)에게 명령을 잘 내리는 '프롬프트 엔지니어링'이 주목받았다면, 이제는 AI가 최고의 성능을 낼 수 있도록 최적의 환경을 만드는 '컨텍스트 엔지니어링'이 새로운 화두로 떠오르고 있다.
오픈AI 창립 멤버 안드레이 카르파티는 컨텍스트 엔지니어링을 '정교한 예술이자 과학'이라고 표현했다.
컨텍스트(Context)는 AI 모델이 작업을 수행할 때 참고하는 지식, 이전 대화, 가이드라인, 환경 설정 등 모든 정보가 담긴 공간을 의미한다. AI는 기존에 학습된 정보에 컨텍스트 내 정보를 더해 결과물을 생성한다.
문제는 이 공간의 크기가 제한적이라는 점이다. 무한정 데이터를 넣을 수 없고, 최대한 채워 넣어도 오히려 AI가 필요한 정보를 정확히 찾는 데 방해가 될 수 있다. 한정된 공간에 어떤 정보를 남기고 버릴지를 결정하는 것이 컨텍스트 엔지니어링이다.
프롬프트 엔지니어링이 'AI에게 질문을 잘 하는 법'에 집중한다면, 컨텍스트 엔지니어링은 'AI가 답을 잘할 수 있도록 최적의 환경을 구성하는 법'에 중점을 둔다.
글로벌 IT 리서치 기업 가트너(Gartner)는 컨텍스트 엔지니어링을 기반으로 AI가 보다 강력한 지식 기반 시스템으로 변화하고 있으며, 기업이 AI를 통해 비즈니스 가치를 창출하기 위해서는 컨텍스트 관리가 핵심이라고 분석했다.
베스핀글로벌 보고서에 따르면, 이미 많은 기업이 컨텍스트 엔지니어링을 도입해 가시적인 성과를 내고 있다.
법률 AI 기업 '하비(Harvey) AI'는 단순 문서 검색 대신 판례 구조와 법률 개념, 사건 간의 관계까지 파악하는 자체 컨텍스트 시스템을 운영한다. AI가 법률 개념을 제대로 이해해 상황에 따라 적절한 판례를 추천한다. 이를 통해 법률 연구 시간은 75%, 문서 분석 시간은 80% 단축된 것으로 전해졌다.
AI 보험 솔루션을 제공하는 '파이브 시그마(Five Sigma)'는 보험 청구 내역과 관련 규정 등을 처리하는 AI 시스템을 구축했다. 컨텍스트 엔지니어링을 활용해 청구 오류를 80% 이상 줄였고, 손해사정사의 생산성은 25% 향상된 것으로 보고됐다.
커서(Cursor), 윈드서퍼(Windsurf), 클로드 코드(Claude Code) 등 컨텍스트 기반의 코딩 에이전트 도구들도 빠르게 확산하고 있다. 단순히 코드를 자동 완성하는 데 그치지 않고 프로젝트 전체의 코드, 파일 간의 의존성, 최근 작업 등을 컨텍스트로 삼아 스스로 분석하고 수정, 실행한다. 이로 인해 개발자들의 생산성은 200% 이상 향상됐으며 디버깅 시간은 85% 이상 단축됐다는 보고가 있다.
베스핀글로벌은 "컨텍스트 엔지니어링의 부상은 기업에서의 AI 도입이 실험적 단계를 넘어 운영 역량으로 성숙해지고 있음을 보여준다"며 "앞으로 컨텍스트 엔지니어링을 잘 하는 기업이 비즈니스를 제대로 이해하는 AI를 보유하게 될 것으로 전망된다"고 전했다.
특히 "컨텍스트 엔지니어링을 실무에 활용할 때는 무조건 많은 정보를 넣기보다 관련성이 높은 최신 자료를 선별하는 것이 중요하다"며 "정보의 형태를 구조적으로 정리하는 것도 중요하다"고 조언했다. 또 "텍스트는 변화에 따라 지속적으로 업데이트해야 한다"며 "모든 정보는 원문 그대로 넣기보다는 핵심만 간결하게 전달하는 것이 더 효과적"이라고 설명했다.
◎공감언론 뉴시스 [email protected]
오픈AI 창립 멤버 안드레이 카르파티는 컨텍스트 엔지니어링을 '정교한 예술이자 과학'이라고 표현했다.
컨텍스트 엔지니어링이란
문제는 이 공간의 크기가 제한적이라는 점이다. 무한정 데이터를 넣을 수 없고, 최대한 채워 넣어도 오히려 AI가 필요한 정보를 정확히 찾는 데 방해가 될 수 있다. 한정된 공간에 어떤 정보를 남기고 버릴지를 결정하는 것이 컨텍스트 엔지니어링이다.
프롬프트 엔지니어링이 'AI에게 질문을 잘 하는 법'에 집중한다면, 컨텍스트 엔지니어링은 'AI가 답을 잘할 수 있도록 최적의 환경을 구성하는 법'에 중점을 둔다.
글로벌 IT 리서치 기업 가트너(Gartner)는 컨텍스트 엔지니어링을 기반으로 AI가 보다 강력한 지식 기반 시스템으로 변화하고 있으며, 기업이 AI를 통해 비즈니스 가치를 창출하기 위해서는 컨텍스트 관리가 핵심이라고 분석했다.
"AI 실험 단계 넘어섰다"…글로벌 기업들의 활용 사례
법률 AI 기업 '하비(Harvey) AI'는 단순 문서 검색 대신 판례 구조와 법률 개념, 사건 간의 관계까지 파악하는 자체 컨텍스트 시스템을 운영한다. AI가 법률 개념을 제대로 이해해 상황에 따라 적절한 판례를 추천한다. 이를 통해 법률 연구 시간은 75%, 문서 분석 시간은 80% 단축된 것으로 전해졌다.
AI 보험 솔루션을 제공하는 '파이브 시그마(Five Sigma)'는 보험 청구 내역과 관련 규정 등을 처리하는 AI 시스템을 구축했다. 컨텍스트 엔지니어링을 활용해 청구 오류를 80% 이상 줄였고, 손해사정사의 생산성은 25% 향상된 것으로 보고됐다.
커서(Cursor), 윈드서퍼(Windsurf), 클로드 코드(Claude Code) 등 컨텍스트 기반의 코딩 에이전트 도구들도 빠르게 확산하고 있다. 단순히 코드를 자동 완성하는 데 그치지 않고 프로젝트 전체의 코드, 파일 간의 의존성, 최근 작업 등을 컨텍스트로 삼아 스스로 분석하고 수정, 실행한다. 이로 인해 개발자들의 생산성은 200% 이상 향상됐으며 디버깅 시간은 85% 이상 단축됐다는 보고가 있다.
베스핀글로벌은 "컨텍스트 엔지니어링의 부상은 기업에서의 AI 도입이 실험적 단계를 넘어 운영 역량으로 성숙해지고 있음을 보여준다"며 "앞으로 컨텍스트 엔지니어링을 잘 하는 기업이 비즈니스를 제대로 이해하는 AI를 보유하게 될 것으로 전망된다"고 전했다.
특히 "컨텍스트 엔지니어링을 실무에 활용할 때는 무조건 많은 정보를 넣기보다 관련성이 높은 최신 자료를 선별하는 것이 중요하다"며 "정보의 형태를 구조적으로 정리하는 것도 중요하다"고 조언했다. 또 "텍스트는 변화에 따라 지속적으로 업데이트해야 한다"며 "모든 정보는 원문 그대로 넣기보다는 핵심만 간결하게 전달하는 것이 더 효과적"이라고 설명했다.
◎공감언론 뉴시스 [email protected]
