skcho 님의 블로그

결정계수와 의사 설명량 (R square vs Pseudo R square)

R²(결정계수)은 모형이 결과값의 변동을 얼마나 설명하는지 나타내는 지표이다. 모형 전체의 관계 크기를 나타내는 효과크기로 사용하기도 하지만, 특정 변수 하나의 효과나 인과효과를 뜻하지는 않는다. 설명량은 결과의 변동을 설명한 정도이고, 적합도는 관측자료에 모형이 잘 맞는 정도이며, 예측력은 새 자료의 결과를 잘 맞히는 정도이다.절편을 포함한 최소제곱 선형회귀에서는 학습자료의 전체 변동을 모형이 설명한 변동과 남은 오차로 분해할 수 있다. 따라서 R²이 0.4이면 결과변수 변동의 40%를 모형이 설명한다고 해석한다. 이는 결과를 발생시킨 원인의 40%를 밝혔다는 의미는 아니다.R²은 선형회귀에만 사용하는 지표는 아니다. 회귀 포레스트나 신경망으로 소득이나 점수 같은 수치를 예측할 때도 사용할 수 있다. ..

머신러닝으로 인과분석하기 : 정책연구자를 위한 쉬운 인과 머신러닝

머신러닝은 흔히 미래를 예측하는 방법으로 소개된다. 과거 자료를 학습하여 누가 취업할 가능성이 높은지, 어떤 학생이 중도 탈락할 가능성이 높은지, 어떤 기업의 매출이 증가할지를 예측한다.그러나 정책연구에서는 예측만으로 충분하지 않은 경우가 많다.직업훈련을 받은 사람이 취업을 잘한 것은 훈련의 효과인가, 아니면 원래 취업 가능성이 높은 사람이 훈련에 참여했기 때문인가?이처럼 정책이나 프로그램이 결과를 실제로 변화시켰는지 밝히는 것이 인과분석이다. 인과 머신러닝은 이러한 인과분석에 머신러닝의 유연한 예측 능력을 결합한다. 특히 다음 두 질문에 답하는 데 유용하다.1. 이 정책은 전체적으로 효과가 있었는가?2. 누구에게 효과가 더 크거나 작았는가?이 글의 목적은 수학이나 프로그램 명령을 모두 익히는 데 있지 ..

AI를 어떻게 통제할 것인가: 지식보다 판단의 문제AI를 활용하여 분석하거나 애플리케이션을 개발할 때 자주 제기되는 문제가 있다. AI가 인간보다 훨씬 많은 지식을 가지고 있다면 인간이 어떻게 AI를 통제할 수 있는가라는 문제다. 그러나 통제를 상대보다 더 많은 지식이나 더 뛰어난 수행능력을 보유하는 것으로 이해할 필요는 없다. 호랑이를 조련하기 위해 조련사가 호랑이보다 힘이 셀 필요는 없으며, 타이거 우즈의 코치가 타이거 우즈보다 골프를 잘 칠 필요도 없다. 중요한 것은 수행능력 자체가 아니라 무엇을 보아야 하고 무엇을 문제로 삼아야 하는지를 판단하는 능력이다.이 점에서 백락(伯樂)의 고사는 AI 시대의 판단 문제를 설명하는 좋은 비유가 된다. 백락은 늙어 좋은 말을 찾는 일을 계속하기 어려워지자 구방..

정책이나 프로그램의 효과를 평가하는 핵심적인 어려움은 반사실(counterfactual)을 직접 관찰할 수 없다는 것이다. 반사실(counterfactual)이란 실제로 일어난 것과 달리, 다른 조건이나 처치가 주어졌다면 나타났을 결과를 의미한다. 어떤 사람이 정책에 참여한 뒤 취업했다고 하더라도, 정책이 그 사람의 취업을 가져왔다고 바로 결론 내릴 수는 없다. 정책에 참여하지 않았더라도 취업했을 가능성이 있기 때문이다. 따라서 정책효과를 알려면 실제로 관찰된 결과와 함께 ‘같은 사람이 같은 시점에 정책에 참여하지 않았더라면 어떻게 되었을 것인가’를 알아야 한다. 그러나 한 사람에게 처치와 비처치라는 두 상태를 동시에 관찰하는 것은 불가능하다.이를 잠재결과의 관점에서 표현하면 개인 (i)에게는 처치..

개인간 차이와 개인내 변화: 연구질문, 데이터 구조 및 정책적 의미사회과학의 경험적 연구는 크게 개인간(between-person) 차이를 설명하는 연구와 개인내(within-person) 변화를 설명하는 연구로 구분할 수 있다. 이 구분은 단순한 통계기법의 차이가 아니라 연구질문의 차이에서 출발한다. 개인간 분석은 “어떤 사람이 다른 사람과 다른가”를 묻는 반면, 개인내 분석은 “동일한 사람의 조건이 변할 때 그 사람의 결과도 변하는가”를 묻는다.예를 들어 소득과 우울의 관계를 연구한다고 하자. 한 시점에서 여러 사람을 조사하여 저소득자의 우울 수준이 고소득자보다 높은지를 분석한다면 개인간 질문이다. 다음과 같은 횡단면 자료가 전형적인 예다.개인소득우울A2008B3006C5003D6002여기서 분석의 ..

질문에서 데이터까지 ⑦질문·모형·데이터를 하나의 연구로 연결하기― AI 시대의 연구 워크플로와 실제 종합실습1. 좋은 연구는 분석기법의 목록이 아니다핵심 개념도지금까지의 글에서 반복한 핵심은 단순하다. 연구는 통계기법에서 시작하지 않는다. 현실에서 무엇을 알고 싶은지를 먼저 정하고, 그 질문에 적합한 이론적·개념적 틀을 선택하고, 필요한 정보를 데이터로 측정한 뒤, 마지막에 분석방법을 선택한다.Question → Framework/Theory → Data → Analysis → Evidence → Answer → (필요하면) Action이 순서는 절대적인 일방향 절차는 아니다. 좋은 데이터에서 새로운 질문이 생기기도 하고, 분석결과가 이론을 수정하게 만들기도 한다. 그러나 최종적으로 질문·모형·데이터·분..

질문에서 데이터까지 ⑥그래서 무엇을 해야 하는가― 증거를 정책과 행동으로 바꾸는 의사결정의 논리1. 예측과 의사결정은 다르다핵심 개념도연구와 분석의 마지막에는 흔히 “그래서 무엇을 해야 하는가?”라는 질문이 남는다. 그러나 어떤 결과를 잘 예측하는 것과 그 결과를 바꾸기 위해 무엇을 해야 하는지는 다른 문제다.예를 들어 기업규모가 AI 도입을 가장 잘 예측한다고 하자. 그렇다고 정책담당자가 기업규모를 마음대로 바꿀 수는 없다. 성별, 연령, 과거경력처럼 예측에는 유용하지만 개입대상이 될 수 없거나 되어서는 안 되는 변수도 있다.Predictive importance ≠ Actionability2. 무엇을 해야 하는가에는 인과가 다시 등장한다행동을 선택하려면 단순한 관련성이 아니라 ‘이 요인을 실제로 변화..

질문에서 데이터까지 ⑤앞으로 무엇이 일어날 것인가― 예측, 시나리오와 시뮬레이션을 질문에 맞게 선택하기1. 미래를 묻는다고 모두 같은 예측은 아니다핵심 개념도“앞으로 무엇이 일어날 것인가?”는 하나의 질문처럼 보이지만 실제로는 여러 종류의 미래질문을 포함한다. 내년 매출을 얼마로 예측할 것인지, 새로운 기술이 등장하면 시장이 어떻게 달라질지, 정책을 바꾸면 개인들의 행동이 누적되어 어떤 사회적 결과가 나타날지는 서로 다른 문제다.따라서 미래연구에서도 먼저 기법을 고를 것이 아니라 어떤 종류의 미래를 알고 싶은지 구분해야 한다.2. Forecast: 현재의 패턴이 이어지면?현재까지의 정보와 패턴을 이용해 다음 시점의 값이나 사건을 예측하는 문제다. 시계열, 회귀, 생존분석, 머신러닝 등이 사용될 수 있다...

질문에서 데이터까지 ④정책은 어떻게 결과를 만드는가― Logic Model로 보는 정책효과의 큰 흐름1. 정책효과를 하나의 숫자로만 볼 수 있는가?핵심 개념도정책평가에서 가장 먼저 떠올리는 질문은 “효과가 있었는가?”이다. 그러나 정책은 대개 하나의 처치가 곧바로 최종성과를 만드는 방식으로 작동하지 않는다. 예산과 인력이 투입되고, 사업이 수행되며, 서비스나 산출물이 만들어지고, 그것이 대상자의 지식·태도·행동 또는 조직의 상태를 변화시키고, 시간이 지나 최종적인 사회적 성과로 이어진다.따라서 최종 지표 하나만 보면 정책이 어디에서 성공하거나 실패했는지를 알기 어렵다. 취업률이 오르지 않았다고 해서 직업훈련 자체가 잘못된 것인지, 대상자 모집이 실패한 것인지, 교육은 제대로 이루어졌지만 노동시장 상황 때..

질문에서 데이터까지 ③왜 효과가 나타나고, 언제 달라지는가― MOA로 이해하는 메커니즘, 매개와 조절1. 효과가 있다는 것만 알면 충분한가?핵심 개념도정책연구나 학술연구에서 가장 익숙한 질문은 “X가 Y에 영향을 미치는가?”이다. 정부의 AI 교육지원이 기업의 AI 활용을 높이는가, 직업훈련이 취업 가능성을 높이는가, 건강 캠페인이 운동행동을 증가시키는가와 같은 질문이다.이 질문은 중요하다. 그러나 정책을 설계하거나 개선하려면 효과의 존재만으로는 충분하지 않은 경우가 많다. 같은 정책을 시행했는데 어떤 집단에서는 효과가 크고 다른 집단에서는 거의 효과가 없을 수 있다. 효과가 나타났더라도 무엇이 변했기 때문에 결과가 달라졌는지 모르면 다음 정책을 어떻게 개선해야 할지 알기 어렵다.효과가 있는가? → 왜 ..