skcho 님의 블로그

정책연구와 텍스트 데이터

강의안: 정책연구에서 텍스트 데이터를 어떻게 활용할 것인가1. 강의 개요대상: 정책연구자, 공무원, 정책실무자, 대학원생권장 시간: 이론 90분 + 실습 90분핵심 관점: 분석기술을 개발하는 전문가가 아니라, 연구문제에 적절한 텍스트 자료와 분석방법을 선택하고 결과를 정책적으로 해석할 수 있는 전문가 양성활용 도구: Evidence Ledger 자료수집기, 텍스트 분석기, METHODIQ 연구방법 팩·연구 프로토콜2. 학습목표강의가 끝나면 학습자는 다음을 할 수 있어야 한다.정책연구에서 사용할 수 있는 텍스트 데이터의 유형을 설명한다.연구문제에 맞는 수집 범위와 검색전략을 설계한다.빈도분석·N-gram·토픽모델링·감성분석·담론분석의 차이를 이해한다.텍스트 분석 결과를 정책효과의 증거와 단순한 여론·담론의..

AI 시대의 텍스트 분석: 쉬워진 계산과 더 중요해진 과학적 설계

강의안: 정책연구에서 텍스트 데이터를 어떻게 활용할 것인가1. 강의 개요대상: 정책연구자, 공무원, 정책실무자, 대학원생권장 시간: 이론 90분 + 실습 90분핵심 관점: 분석기술을 개발하는 전문가가 아니라, 연구문제에 적절한 텍스트 자료와 분석방법을 선택하고 결과를 정책적으로 해석할 수 있는 전문가 양성활용 도구: Evidence Ledger 자료수집기, 텍스트 분석기, METHODIQ 연구방법 팩·연구 프로토콜2. 학습목표강의가 끝나면 학습자는 다음을 할 수 있어야 한다.정책연구에서 사용할 수 있는 텍스트 데이터의 유형을 설명한다.연구문제에 맞는 수집 범위와 검색전략을 설계한다.빈도분석·N-gram·토픽모델링·감성분석·담론분석의 차이를 이해한다.텍스트 분석 결과를 정책효과의 증거와 단순한 여론·담론의..

AI 시대의 정책 텍스트 분석: 신뢰도와 타당도 확보

강의안: 정책연구에서 텍스트 데이터를 어떻게 활용할 것인가1. 강의 개요대상: 정책연구자, 공무원, 정책실무자, 대학원생권장 시간: 이론 90분 + 실습 90분핵심 관점: 분석기술을 개발하는 전문가가 아니라, 연구문제에 적절한 텍스트 자료와 분석방법을 선택하고 결과를 정책적으로 해석할 수 있는 전문가 양성활용 도구: Evidence Ledger 자료수집기, 텍스트 분석기, METHODIQ 연구방법 팩·연구 프로토콜2. 학습목표강의가 끝나면 학습자는 다음을 할 수 있어야 한다.정책연구에서 사용할 수 있는 텍스트 데이터의 유형을 설명한다.연구문제에 맞는 수집 범위와 검색전략을 설계한다.빈도분석·N-gram·토픽모델링·감성분석·담론분석의 차이를 이해한다.텍스트 분석 결과를 정책효과의 증거와 단순한 여론·담론의..

R²(결정계수)은 모형이 결과값의 변동을 얼마나 설명하는지 나타내는 지표이다. 모형 전체의 관계 크기를 나타내는 효과크기로 사용하기도 하지만, 특정 변수 하나의 효과나 인과효과를 뜻하지는 않는다. 설명량은 결과의 변동을 설명한 정도이고, 적합도는 관측자료에 모형이 잘 맞는 정도이며, 예측력은 새 자료의 결과를 잘 맞히는 정도이다.절편을 포함한 최소제곱 선형회귀에서는 학습자료의 전체 변동을 모형이 설명한 변동과 남은 오차로 분해할 수 있다. 따라서 R²이 0.4이면 결과변수 변동의 40%를 모형이 설명한다고 해석한다. 이는 결과를 발생시킨 원인의 40%를 밝혔다는 의미는 아니다.R²은 선형회귀에만 사용하는 지표는 아니다. 회귀 포레스트나 신경망으로 소득이나 점수 같은 수치를 예측할 때도 사용할 수 있다. ..

머신러닝은 흔히 미래를 예측하는 방법으로 소개된다. 과거 자료를 학습하여 누가 취업할 가능성이 높은지, 어떤 학생이 중도 탈락할 가능성이 높은지, 어떤 기업의 매출이 증가할지를 예측한다.그러나 정책연구에서는 예측만으로 충분하지 않은 경우가 많다.직업훈련을 받은 사람이 취업을 잘한 것은 훈련의 효과인가, 아니면 원래 취업 가능성이 높은 사람이 훈련에 참여했기 때문인가?이처럼 정책이나 프로그램이 결과를 실제로 변화시켰는지 밝히는 것이 인과분석이다. 인과 머신러닝은 이러한 인과분석에 머신러닝의 유연한 예측 능력을 결합한다. 특히 다음 두 질문에 답하는 데 유용하다.1. 이 정책은 전체적으로 효과가 있었는가?2. 누구에게 효과가 더 크거나 작았는가?이 글의 목적은 수학이나 프로그램 명령을 모두 익히는 데 있지 ..

AI를 어떻게 통제할 것인가: 지식보다 판단의 문제AI를 활용하여 분석하거나 애플리케이션을 개발할 때 자주 제기되는 문제가 있다. AI가 인간보다 훨씬 많은 지식을 가지고 있다면 인간이 어떻게 AI를 통제할 수 있는가라는 문제다. 그러나 통제를 상대보다 더 많은 지식이나 더 뛰어난 수행능력을 보유하는 것으로 이해할 필요는 없다. 호랑이를 조련하기 위해 조련사가 호랑이보다 힘이 셀 필요는 없으며, 타이거 우즈의 코치가 타이거 우즈보다 골프를 잘 칠 필요도 없다. 중요한 것은 수행능력 자체가 아니라 무엇을 보아야 하고 무엇을 문제로 삼아야 하는지를 판단하는 능력이다.이 점에서 백락(伯樂)의 고사는 AI 시대의 판단 문제를 설명하는 좋은 비유가 된다. 백락은 늙어 좋은 말을 찾는 일을 계속하기 어려워지자 구방..

정책이나 프로그램의 효과를 평가하는 핵심적인 어려움은 반사실(counterfactual)을 직접 관찰할 수 없다는 것이다. 반사실(counterfactual)이란 실제로 일어난 것과 달리, 다른 조건이나 처치가 주어졌다면 나타났을 결과를 의미한다. 어떤 사람이 정책에 참여한 뒤 취업했다고 하더라도, 정책이 그 사람의 취업을 가져왔다고 바로 결론 내릴 수는 없다. 정책에 참여하지 않았더라도 취업했을 가능성이 있기 때문이다. 따라서 정책효과를 알려면 실제로 관찰된 결과와 함께 ‘같은 사람이 같은 시점에 정책에 참여하지 않았더라면 어떻게 되었을 것인가’를 알아야 한다. 그러나 한 사람에게 처치와 비처치라는 두 상태를 동시에 관찰하는 것은 불가능하다.이를 잠재결과의 관점에서 표현하면 개인 (i)에게는 처치..

개인간 차이와 개인내 변화: 연구질문, 데이터 구조 및 정책적 의미사회과학의 경험적 연구는 크게 개인간(between-person) 차이를 설명하는 연구와 개인내(within-person) 변화를 설명하는 연구로 구분할 수 있다. 이 구분은 단순한 통계기법의 차이가 아니라 연구질문의 차이에서 출발한다. 개인간 분석은 “어떤 사람이 다른 사람과 다른가”를 묻는 반면, 개인내 분석은 “동일한 사람의 조건이 변할 때 그 사람의 결과도 변하는가”를 묻는다.예를 들어 소득과 우울의 관계를 연구한다고 하자. 한 시점에서 여러 사람을 조사하여 저소득자의 우울 수준이 고소득자보다 높은지를 분석한다면 개인간 질문이다. 다음과 같은 횡단면 자료가 전형적인 예다.개인소득우울A2008B3006C5003D6002여기서 분석의 ..

질문에서 데이터까지 ⑦질문·모형·데이터를 하나의 연구로 연결하기― AI 시대의 연구 워크플로와 실제 종합실습1. 좋은 연구는 분석기법의 목록이 아니다핵심 개념도지금까지의 글에서 반복한 핵심은 단순하다. 연구는 통계기법에서 시작하지 않는다. 현실에서 무엇을 알고 싶은지를 먼저 정하고, 그 질문에 적합한 이론적·개념적 틀을 선택하고, 필요한 정보를 데이터로 측정한 뒤, 마지막에 분석방법을 선택한다.Question → Framework/Theory → Data → Analysis → Evidence → Answer → (필요하면) Action이 순서는 절대적인 일방향 절차는 아니다. 좋은 데이터에서 새로운 질문이 생기기도 하고, 분석결과가 이론을 수정하게 만들기도 한다. 그러나 최종적으로 질문·모형·데이터·분..

질문에서 데이터까지 ⑥그래서 무엇을 해야 하는가― 증거를 정책과 행동으로 바꾸는 의사결정의 논리1. 예측과 의사결정은 다르다핵심 개념도연구와 분석의 마지막에는 흔히 “그래서 무엇을 해야 하는가?”라는 질문이 남는다. 그러나 어떤 결과를 잘 예측하는 것과 그 결과를 바꾸기 위해 무엇을 해야 하는지는 다른 문제다.예를 들어 기업규모가 AI 도입을 가장 잘 예측한다고 하자. 그렇다고 정책담당자가 기업규모를 마음대로 바꿀 수는 없다. 성별, 연령, 과거경력처럼 예측에는 유용하지만 개입대상이 될 수 없거나 되어서는 안 되는 변수도 있다.Predictive importance ≠ Actionability2. 무엇을 해야 하는가에는 인과가 다시 등장한다행동을 선택하려면 단순한 관련성이 아니라 ‘이 요인을 실제로 변화..