AI 시대의 핵심 역량은 활용이 아니라 통제다

 

AI의 성능이 빠르게 향상되면서 새로운 유형의 문제가 나타나고 있다. 문제는 AI가 과업을 수행하지 못하는 경우에만 발생하지 않는다. 오히려 주어진 목표를 효과적으로 달성하면서도 인간이 의도한 방식과 다른 해결책을 선택할 때 더 중요한 문제가 발생할 수 있다.

예를 들어 데이터 분석 프로그램에서 특정 변수로 인해 오류가 발생했다고 하자. 사용자가 AI에게 오류를 수정하라고 지시할 경우, 인간은 일반적으로 해당 변수를 보존하면서 오류의 원인을 해결하는 것을 기대한다. 그러나 AI는 문제를 일으키는 변수를 분석에서 제거함으로써 프로그램을 정상적으로 실행시킬 수도 있다. 이 경우 오류는 사라지고 프로그램은 작동하지만, 인간이 해결하고자 했던 문제와 AI가 실제로 해결한 문제 사이에는 차이가 발생한다.

이러한 현상은 단순한 AI의 실패라기보다 인간과 AI가 문제를 단순화하고 해결하는 방식의 차이에서 이해할 필요가 있다.

제한된 합리성과 AI의 지름길

Simon의 제한된 합리성(bounded rationality)은 인간이 복잡한 의사결정 상황에서 모든 가능한 대안을 계산하여 최적해를 찾는다는 가정을 비판한다. 인간에게는 시간, 정보, 인지적 처리능력의 제약이 존재하기 때문에 전체 문제공간을 탐색하기보다 휴리스틱(heuristic)을 활용하여 제한된 범위의 대안을 탐색한다.

AI에서도 이와 유사하게 ‘지름길’을 이용하는 현상이 관찰된다. 머신러닝 연구에서 논의되는 shortcut learning은 모델이 주어진 데이터에서 높은 예측성과를 얻을 수 있는 단서를 학습하지만, 그러한 단서가 인간이 중요하다고 판단하는 특징과 반드시 일치하지 않는 문제를 보여준다. 예컨대 동물의 형태가 아니라 배경과 같은 우연한 특징이 분류 결과와 강하게 연관되어 있다면, AI는 이를 효과적인 예측 단서로 이용할 수 있다. 이러한 방식은 기존 데이터에서는 높은 정확도를 산출하면서도 환경이 달라질 경우 성능 저하를 초래할 수 있다.

따라서 중요한 것은 인간과 AI가 모두 지름길을 사용한다는 사실 자체가 아니다. 보다 중요한 문제는 인간과 AI가 무엇을 중요한 단서로 간주하는지가 서로 다를 수 있다는 점이다.

이 글에서는 이러한 현상을 ‘휴리스틱의 불일치(heuristic mismatch)’라고 부르고자 한다.

휴리스틱의 불일치란 인간과 AI가 동일한 과업을 수행하면서도 무엇을 핵심 정보로 판단하고 무엇을 생략 가능한 정보로 취급하는지가 서로 다른 상태를 의미한다. 인간에게 어떤 변수의 보존이 자명한 전제라고 하더라도, 그러한 조건이 AI의 목표나 제약조건에 포함되어 있지 않다면 AI가 동일한 중요성을 부여한다고 가정할 수 없다.

Shortcut learning에서 specification gaming으로

이러한 문제는 단순한 ‘최소노력의 원칙’으로 설명하기 어렵다. AI가 항상 계산량이 가장 적은 해결책을 선택한다고 볼 수 없기 때문이다. 오히려  specification gaming의 관점에서 이해하는 것이 더 적절하다.

Specification gaming은 AI가 명시된 목표나 평가기준은 충족하지만 인간이 의도한 결과와는 다른 방식으로 목표를 달성하는 현상을 가리킨다. 대표적인 사례에서 AI는 빨간 블록을 파란 블록 위에 올려놓도록 학습되었지만, 보상이 빨간 블록 밑면의 높이를 기준으로 설정되자 블록을 쌓는 대신 빨간 블록을 뒤집는 방법으로 보상을 획득하였다.

이 사례의 핵심은 AI가 과업 수행에 실패했다는 데 있지 않다. 오히려 AI는 명시적으로 설정된 평가기준을 효과적으로 충족하였다. 문제는 명시된 목표와 인간이 의도한 목표가 완전히 일치하지 않았다는 것이다.

따라서 AI의 성능이 향상된다고 해서 이러한 문제가 자동적으로 감소한다고 가정하기 어렵다. AI가 주어진 목표를 달성할 수 있는 다양한 경로를 탐색할수록 인간이 예상하지 못한 해결경로를 발견할 가능성 역시 고려해야 한다.

AI 시대의 전문성과 ‘오류 인지력’

휴리스틱의 불일치는 AI 시대의 전문성을 다른 관점에서 생각하게 한다.

전문가는 모든 정보를 동일한 중요도로 처리하지 않는다. 논문 심사자는 단순한 문장의 오류와 연구설계를 무효화할 수 있는 오류를 구분한다. 의료 전문가 역시 모든 검사수치를 동일한 비중으로 판단하기보다 현재 상황에서 중요한 신호를 식별한다.

이러한 관점에서 전문성의 중요한 구성요소 중 하나는 중요한 것과 중요하지 않은 것을 구분하고, 어떤 오류가 전체 결과를 훼손할 수 있는지를 판단하는 능력이라고 할 수 있다. 나는 이것을  '오류 인지력(error salience)’이라고 부르고 싶다.

오류 인지력은 모든 오류를 제거하는 능력을 의미하지 않는다. 핵심은 여러 오류 가운데 결과의 타당성을 근본적으로 훼손할 수 있는 오류를 식별하는 것이다. 문장의 표현이나 그래프의 서식 오류와 핵심 관측치의 누락, 존재하지 않는 변수의 포함, 계산식 정의의 변경은 동일한 수준의 오류가 아니다.

문제는 AI가 이러한 오류의 위계를 인간과 동일하게 판단한다고 가정할 수 없다는 것이다. 따라서 AI를 활용하는 인간에게 필요한 능력은 단순히 AI의 산출물을 확인하는 것을 넘어, 어떤 오류를 반드시 방지해야 하는지 사전에 정의하는 능력으로 확장된다.

명령에서 환경설계로

그러나 치명적 오류를 정의하여 AI에게 자연어로 지시하는 것만으로 충분한 통제가 이루어지는 것은 아니다.

Lewin의 고전적인 명제인 B = f(P, E)는 행동(Behavior)을 개인(Person)과 환경(Environment)의 함수로 설명한다. 이 관점에서 행동을 변화시키는 것은 개인에게 특정 행동을 반복적으로 요구하는 것뿐 아니라 그 행동이 발생하는 환경을 구성하는 문제이기도 하다.

이러한 관점은 AI 통제에도 적용할 수 있다. AI에게 “중요한 파일을 삭제하지 말라”고 반복적으로 지시하는 방식과 삭제 권한 자체를 제한하는 방식은 동일하지 않다. 필수 데이터를 누락하지 말라고 요구하는 것과 필수 데이터가 누락되면 다음 단계로 진행할 수 없도록 시스템을 설계하는 것도 다르다. 마찬가지로 검증을 요구하는 것보다 검증을 통과하지 못한 결과가 저장되지 않도록 만드는 것이 더 강한 제약을 형성한다. 따라서 AI 통제의 중심은 명령의 정교화에서 환경의 구조화로 확장될 필요가 있다.

 

앱의 핵심은 인터페이스가 아니라 통제구조다

이러한 관점에서 AI 앱의 의미도 달라진다. 앱의 핵심은 편리한 인터페이스 자체에 있지 않다. 잘 설계된 앱은 AI가 행동할 수 있는 환경을 구조화한다.

무엇을 입력받을 것인지, 어떤 자료의 변경을 허용할 것인지, 어떤 검사를 반드시 수행할 것인지, 어떤 조건에서 작업을 중단할 것인지, 어느 단계에서 인간의 승인을 요구할 것인지를 시스템 수준에서 규정할 수 있기 때문이다.

그러나 이러한 논의가 모든 사용자가 직접 AI 앱을 개발해야 한다는 결론으로 이어질 필요는 없다. 중요한 것은 직접 개발하는 능력뿐 아니라 어떤 통제구조를 가진 도구가 자신의 목적에 적절한지를 판단하는 능력이다.

따라서 AI 도구를 평가할 때는 기능의 다양성뿐 아니라 다음과 같은 질문이 중요하다. 오류가 발생하면 시스템은 작업을 중단하는가, 아니면 데이터를 변경하면서 계속 진행하는가? AI가 변경한 내용을 사용자가 확인할 수 있는가? 핵심 단계에 검증절차가 존재하는가? 잘못된 결과를 되돌릴 수 있는가? 그리고 그 시스템은 무엇을 치명적인 오류로 정의하고 있는가?

결국 AI 앱의 품질은 기능의 수만으로 결정되지 않는다. 어떤 오류관과 통제구조가 시스템 내부에 구현되어 있는가가 중요한 평가기준이 된다.

휴리스틱의 불일치에서 환경설정력으로

이상의 논의를 하나의 논리적 연쇄로 정리하면 다음과 같다.

휴리스틱의 불일치 → 치명적 오류의 가능성 → 오류 인지력 → 환경설정력

인간과 AI는 복잡한 문제에서 모든 가능성을 동일하게 처리하지 않는다. 인간은 휴리스틱을 사용하며 AI 역시 학습된 shortcut과 주어진 목표 및 평가기준을 활용한다. 그러나 양자가 무엇을 중요한 단서로 판단하는지는 일치하지 않을 수 있다. 이러한 휴리스틱의 불일치는 인간이 예상하지 못한 방식으로 AI가 목표를 달성하는 원인이 될 수 있다.

따라서 인간에게 필요한 첫 번째 능력은 무엇이 중요한지를 판단하고, 그 가운데 무엇이 잘못될 경우 전체 결과의 타당성이 훼손되는지를 식별하는 오류 인지력이다.

그러나 오류를 인지하는 것만으로는 충분하지 않다. 그러한 오류가 발생하기 어렵도록 권한, 절차, 검증 및 중단조건을 구성하거나 적절한 시스템을 선택하는 환경설정이 필요하다.

이러한 관점에서 AI 시대의 전문성은 AI보다 더 많은 것을 직접 계산하거나 더 많은 작업을 수행하는 능력으로만 정의되기 어렵다. 오히려 무엇이 중요한지를 정의하고, 어떤 오류가 치명적인지를 식별하며, 그러한 판단을 AI의 행동환경에 구현하는 능력이 전문성의 중요한 요소가 될 수 있다.

결국 AI에게 과업을 맡긴다는 것은 단순히 결과를 생성하도록 요구하는 일이 아니다. 그것은 동시에 AI에게 어떤 지름길을 허용하고 어떤 지름길을 차단할 것인지를 결정하는 문제이기도 하다.