인공지능이 다시 변곡점에 섰다.
생성형 AI가 질문에 답하고 글과 이미지를 만들어내던 단계를 지나, 이제는 스스로 작업 순서를 정하고 외부 도구를 호출하며 여러 단계를 거쳐 일을 수행하는 에이전트형 AI로 빠르게 이동하고 있다. 범용인공지능, 이른바 AGI를 둘러싼 논쟁도 이제 코앞의 현실로 뜨겁다.
아직 AGI의 정의와 달성 기준을 놓고 학계와 산업계의 견해가 완전히 일치하는 것은 아니다. 그러나 프런티어 AI의 능력과 자율성에 가속도가 붙으면서 세계 주요 AI 기업들이 동시에 한 가지 문제에 시선을 돌리고 있다는 점은 분명하다. 더 강력한 AI를 만드는 것만큼, 그렇게 강해진 AI를 어떻게 통제할 것인가가 핫 이슈다.
AI가 답하는 시대에서, 움직이는 시대로
지난 9월 28일 OpenAI는 프런티어 AI의 강화학습을 계속하기 전에 위험을 체계적으로 검토하는 ‘Safety Case’가 필요하다는 방향을 제시했다. 항공이나 원자력처럼 안전이 중요한 산업에서 활용해 온 구조적 안전 논증을 고도 AI 개발에도 적용할 필요가 있다는 취지다.
Google DeepMind도 지난 6월 ‘AI Control Roadmap’을 공개했다. 복잡한 업무를 자율적으로 처리하는 AI 에이전트가 늘어날수록 이에 걸맞은 안전장치와 통제기술이 필요하다는 판단에서다. Anthropic 역시 프런티어 모델의 능력이 높아지는 데 맞춰 보안과 오용 방지, 위험평가 체계를 잇따라 손질하고 있다.
세계 선두권 AI 기업들이 비슷한 시기에 ‘안전’과 ‘통제’를 거듭 언급하는 데는 이유가 있다. AI가 더 이상 조언만 하는 프로그램에 머물지 않고 스스로 판단하고 도구를 사용하며 실제 업무를 수행하는 방향으로 나아가고 있기 때문이다.
성능은 높아졌지만 환각은 남았다
그렇다고 기존 문제가 해결된 것도 아니다. 대표적인 것이 환각(Hallucination)이다. AI가 사실과 다른 내용을 그럴듯하게 만들어내는 현상이다. 지난 4월 국제학술지 ‘Nature’에 실린 연구에서도 최신 대규모언어모델(LLM)이 자신 있게 잘못된 답을 만들어내는 문제가 여전히 나타나고 있다는 분석이 제기됐다.
LLM은 거대한 사실창고에서 정답을 그대로 꺼내는 시스템이 아니다. 학습한 방대한 언어패턴을 토대로 주어진 문맥에서 다음에 올 가능성이 높은 표현을 만들어간다. 따라서 답변이 유창하다는 것과 그 내용이 사실이라는 것은 별개의 문제다. AI가 대화나 문서작성에 머물 때는 잘못된 답을 사람이 발견하고 수정할 여지가 있었다.
이제 문제는 ‘오답’보다 ‘오작동’
그러나 에이전트가 정보를 검색하고 판단한 뒤 외부 프로그램을 호출하거나 실제 업무까지 수행하게 되면 상황은 전혀 달라진다. 환각이 ‘오답’에 그치지 않고 ‘오작동’으로 이어질 수 있기 때문이다. 유럽의 규제 흐름도 같은 방향을 가리킨다.
EU AI Act는 영향력이 큰 범용 AI 모델에 대해 위험 평가와 완화, 적대적 시험, 중대한 사고의 기록과 보고, 사이버 보안 등의 의무를 두고 있다. 지난 8월부터는 일부 AI 시스템에 대한 투명성 의무도 적용되기 시작했다. 결국 질문은 AI가 얼마나 똑똑한가에만 머물지 않는다.
어떤 자료를 토대로 판단했는가. 잘못된 판단은 실행 전에 걸러낼 수 있는가. 사람은 필요한 순간에 개입할 수 있는가. 문제가 발생했을 때 판단과 실행의 과정을 다시 추적할 수 있는가.
답보다 과정, 실행보다 통제
이를 해결하려는 기술적 시도도 이어지고 있다. 외부의 최신 자료를 연결하는 RAG, 위험한 출력을 제한하는 Guardrail, 사람이 중요한 판단 과정에 개입하는 Human-in-the-loop 등이 대표적이다. 각각 분명한 역할이 있다. 그러나 AI가 더 많은 업무를 스스로 처리하게 될수록 또 다른 질문이 생긴다.
검색과 판단, 검증, 인간 개입, 실행, 기록을 따로 관리하는 것이 아니라 이 전 과정을 하나의 관리 가능한 흐름 안에 둘 수는 없는가.
FORHU가 접목 중인 SCL(Structured Cognitive Loop)도 이러한 문제 의식에서 출발한다. FORHU는 SCL을 검색과 인지, 통제, 인간 개입, 실행, 기억을 단계적으로 구분해 관리하는 구조로 설명하고 있다. AI의 판단이 곧바로 실행으로 넘어가지 않도록 중간에 통제 과정을 두고, 이후 과정도 다시 확인할 수 있도록 하겠다는 접근이다.
국내에서는 메타콤(주)이 FORHU와 SCL 기반 AI 플랫폼의 공동 사업화를 추진하고 있다. 미국에 법인을 둔 FORHU가 해당 기술을 도입해 시스템에 접목하고, 메타콤은 서비스 운영과 시장 적용, 제휴 확대 등을 담당하는 구조다.
SCL이 AI의 모든 오류를 해결하는 완결된 해법이라고 단정할 단계는 아니다. 실제 산업현장에서 어느 정도의 신뢰성과 통제력을 확보할 수 있는지는 앞으로의 적용과 검증을 통해 확인돼야 한다.
하루가 다르게 AI를 둘러싼 질문의 방향은 분명히 달라지고 있다.
AGI를 향해 AI가 더 많은 판단과 행동을 스스로 수행하게 될수록 인간에게 필요한 것은 더 많은 기능만이 아니다. 잘못된 판단을 실행 전에 걸러내고, 필요할 때 사람이 개입하며, 문제가 발생하면 그 과정과 근거를 다시 확인할 수 있어야 한다. AI의 한계를 줄이기 위한 세계의 해법 찾기도 이미 속도를 내고 있다. 다만, 어떤 기술이 어디까지 문제를 해결할 수 있는지는 여전히 검증의 영역이다.
AI 산업의 경쟁축이 ‘얼마나 잘하는가’에서 ‘얼마나 믿고 맡길 수 있는가’로 넓어지고 있다.
그 변화는 이미 시작됐고 가속화 중이다.
){kind=small}
){kind=small}
){kind=small}
){kind=small}
