skcho 님의 블로그

AI를 어떻게 통제할 것인가: 지식보다 판단의 문제AI를 활용하여 분석하거나 애플리케이션을 개발할 때 자주 제기되는 문제가 있다. AI가 인간보다 훨씬 많은 지식을 가지고 있다면 인간이 어떻게 AI를 통제할 수 있는가라는 문제다. 그러나 통제를 상대보다 더 많은 지식이나 더 뛰어난 수행능력을 보유하는 것으로 이해할 필요는 없다. 호랑이를 조련하기 위해 조련사가 호랑이보다 힘이 셀 필요는 없으며, 타이거 우즈의 코치가 타이거 우즈보다 골프를 잘 칠 필요도 없다. 중요한 것은 수행능력 자체가 아니라 무엇을 보아야 하고 무엇을 문제로 삼아야 하는지를 판단하는 능력이다.이 점에서 백락(伯樂)의 고사는 AI 시대의 판단 문제를 설명하는 좋은 비유가 된다. 백락은 늙어 좋은 말을 찾는 일을 계속하기 어려워지자 구방..

정책이나 프로그램의 효과를 평가하는 핵심적인 어려움은 반사실(counterfactual)을 직접 관찰할 수 없다는 것이다. 반사실(counterfactual)이란 실제로 일어난 것과 달리, 다른 조건이나 처치가 주어졌다면 나타났을 결과를 의미한다. 어떤 사람이 정책에 참여한 뒤 취업했다고 하더라도, 정책이 그 사람의 취업을 가져왔다고 바로 결론 내릴 수는 없다. 정책에 참여하지 않았더라도 취업했을 가능성이 있기 때문이다. 따라서 정책효과를 알려면 실제로 관찰된 결과와 함께 ‘같은 사람이 같은 시점에 정책에 참여하지 않았더라면 어떻게 되었을 것인가’를 알아야 한다. 그러나 한 사람에게 처치와 비처치라는 두 상태를 동시에 관찰하는 것은 불가능하다.이를 잠재결과의 관점에서 표현하면 개인 (i)에게는 처치..

개인간 차이와 개인내 변화: 연구질문, 데이터 구조 및 정책적 의미사회과학의 경험적 연구는 크게 개인간(between-person) 차이를 설명하는 연구와 개인내(within-person) 변화를 설명하는 연구로 구분할 수 있다. 이 구분은 단순한 통계기법의 차이가 아니라 연구질문의 차이에서 출발한다. 개인간 분석은 “어떤 사람이 다른 사람과 다른가”를 묻는 반면, 개인내 분석은 “동일한 사람의 조건이 변할 때 그 사람의 결과도 변하는가”를 묻는다.예를 들어 소득과 우울의 관계를 연구한다고 하자. 한 시점에서 여러 사람을 조사하여 저소득자의 우울 수준이 고소득자보다 높은지를 분석한다면 개인간 질문이다. 다음과 같은 횡단면 자료가 전형적인 예다.개인소득우울A2008B3006C5003D6002여기서 분석의 ..

질문에서 데이터까지 ⑦질문·모형·데이터를 하나의 연구로 연결하기― AI 시대의 연구 워크플로와 실제 종합실습1. 좋은 연구는 분석기법의 목록이 아니다핵심 개념도지금까지의 글에서 반복한 핵심은 단순하다. 연구는 통계기법에서 시작하지 않는다. 현실에서 무엇을 알고 싶은지를 먼저 정하고, 그 질문에 적합한 이론적·개념적 틀을 선택하고, 필요한 정보를 데이터로 측정한 뒤, 마지막에 분석방법을 선택한다.Question → Framework/Theory → Data → Analysis → Evidence → Answer → (필요하면) Action이 순서는 절대적인 일방향 절차는 아니다. 좋은 데이터에서 새로운 질문이 생기기도 하고, 분석결과가 이론을 수정하게 만들기도 한다. 그러나 최종적으로 질문·모형·데이터·분..

질문에서 데이터까지 ⑥그래서 무엇을 해야 하는가― 증거를 정책과 행동으로 바꾸는 의사결정의 논리1. 예측과 의사결정은 다르다핵심 개념도연구와 분석의 마지막에는 흔히 “그래서 무엇을 해야 하는가?”라는 질문이 남는다. 그러나 어떤 결과를 잘 예측하는 것과 그 결과를 바꾸기 위해 무엇을 해야 하는지는 다른 문제다.예를 들어 기업규모가 AI 도입을 가장 잘 예측한다고 하자. 그렇다고 정책담당자가 기업규모를 마음대로 바꿀 수는 없다. 성별, 연령, 과거경력처럼 예측에는 유용하지만 개입대상이 될 수 없거나 되어서는 안 되는 변수도 있다.Predictive importance ≠ Actionability2. 무엇을 해야 하는가에는 인과가 다시 등장한다행동을 선택하려면 단순한 관련성이 아니라 ‘이 요인을 실제로 변화..

질문에서 데이터까지 ⑤앞으로 무엇이 일어날 것인가― 예측, 시나리오와 시뮬레이션을 질문에 맞게 선택하기1. 미래를 묻는다고 모두 같은 예측은 아니다핵심 개념도“앞으로 무엇이 일어날 것인가?”는 하나의 질문처럼 보이지만 실제로는 여러 종류의 미래질문을 포함한다. 내년 매출을 얼마로 예측할 것인지, 새로운 기술이 등장하면 시장이 어떻게 달라질지, 정책을 바꾸면 개인들의 행동이 누적되어 어떤 사회적 결과가 나타날지는 서로 다른 문제다.따라서 미래연구에서도 먼저 기법을 고를 것이 아니라 어떤 종류의 미래를 알고 싶은지 구분해야 한다.2. Forecast: 현재의 패턴이 이어지면?현재까지의 정보와 패턴을 이용해 다음 시점의 값이나 사건을 예측하는 문제다. 시계열, 회귀, 생존분석, 머신러닝 등이 사용될 수 있다...

질문에서 데이터까지 ④정책은 어떻게 결과를 만드는가― Logic Model로 보는 정책효과의 큰 흐름1. 정책효과를 하나의 숫자로만 볼 수 있는가?핵심 개념도정책평가에서 가장 먼저 떠올리는 질문은 “효과가 있었는가?”이다. 그러나 정책은 대개 하나의 처치가 곧바로 최종성과를 만드는 방식으로 작동하지 않는다. 예산과 인력이 투입되고, 사업이 수행되며, 서비스나 산출물이 만들어지고, 그것이 대상자의 지식·태도·행동 또는 조직의 상태를 변화시키고, 시간이 지나 최종적인 사회적 성과로 이어진다.따라서 최종 지표 하나만 보면 정책이 어디에서 성공하거나 실패했는지를 알기 어렵다. 취업률이 오르지 않았다고 해서 직업훈련 자체가 잘못된 것인지, 대상자 모집이 실패한 것인지, 교육은 제대로 이루어졌지만 노동시장 상황 때..

질문에서 데이터까지 ③왜 효과가 나타나고, 언제 달라지는가― MOA로 이해하는 메커니즘, 매개와 조절1. 효과가 있다는 것만 알면 충분한가?핵심 개념도정책연구나 학술연구에서 가장 익숙한 질문은 “X가 Y에 영향을 미치는가?”이다. 정부의 AI 교육지원이 기업의 AI 활용을 높이는가, 직업훈련이 취업 가능성을 높이는가, 건강 캠페인이 운동행동을 증가시키는가와 같은 질문이다.이 질문은 중요하다. 그러나 정책을 설계하거나 개선하려면 효과의 존재만으로는 충분하지 않은 경우가 많다. 같은 정책을 시행했는데 어떤 집단에서는 효과가 크고 다른 집단에서는 거의 효과가 없을 수 있다. 효과가 나타났더라도 무엇이 변했기 때문에 결과가 달라졌는지 모르면 다음 정책을 어떻게 개선해야 할지 알기 어렵다.효과가 있는가? → 왜 ..

질문에서 데이터까지 ②모든 관계를 인과관계로 증명해야 하는가― 엄밀한 인과추론과 관계·메커니즘 연구 사이의 경계1. X와 Y가 관련되어 있다는 것은 X가 Y의 원인이라는 뜻이 아니다핵심 개념도연구에서 가장 익숙하면서도 어려운 질문은 ‘X가 Y에 영향을 미치는가?’이다. 정부지원이 기업성과를 높이는가, 교육이 소득을 증가시키는가, 운동이 건강을 개선하는가와 같은 질문이다.그러나 데이터에서 X와 Y 사이에 관계가 발견되었다고 해서 X가 Y의 원인이라고 결론내릴 수는 없다. AI 지원을 받은 기업이 AI를 더 많이 활용하더라도 원래 AI에 관심이 높은 기업이 지원사업에 더 적극적으로 신청했을 수 있고, 기업규모 같은 제3의 요인이 두 변수 모두와 관련될 수도 있다.X와 Y가 함께 나타난다 ≠ X를 변화시키면 ..

질문에서 데이터까지 ①데이터 분석은 통계기법이 아니라 질문에서 시작한다― 현실의 문제를 질문·모형·데이터·분석으로 연결하기1. 어떤 통계기법을 사용할 것인가?핵심 개념도데이터 분석을 처음 배우면 흔히 변수의 측정수준과 분석기법의 대응관계부터 배운다. 명목·서열·등간·비율척도를 구분하고, 변수의 수와 측정수준에 따라 카이제곱검정, t검정, 분산분석, 상관분석, 회귀분석 등을 선택한다.이러한 지식은 필요하다. 그러나 실제 연구를 ‘어떤 통계기법을 사용할 것인가?’에서 시작하는 것은 순서가 거꾸로 되어 있다. 연구자가 데이터를 분석하는 이유는 통계기법을 적용하기 위해서가 아니라 현실에 관한 질문에 답하기 위해서다.오늘날에는 인과추론, 구조방정식, 다층모형, 머신러닝, 텍스트·네트워크 분석, 시뮬레이션 등 선택..