정책평가와 타당성 위협요인

핵심 정리

정책평가는 정책이 의도한 효과를 냈는지를 가려내는 작업이다. 평가 결과를 믿을 수 있는지는 타당성으로 따지며, 그 중심에는 정책과 결과 사이의 인과관계를 얼마나 확실히 말할 수 있는지라는 물음이 있다. 같은 효과가 나타나도 다른 요인 때문이라면 정책의 성과라고 할 수 없으므로, 평가 설계는 이런 다른 설명을 걷어 내는 방향으로 짜인다.

가장 먼저 확인하는 것은 내적 타당성이다. 내적 타당성은 정책의 집행과 효과 사이의 인과관계를 추론할 수 있는 정도를 말한다. 짝을 이루는 외적 타당성은 추정된 인과관계를 다른 상황에서도 일반화할 수 있는지를 뜻한다. 두 타당성은 묻는 것이 다르므로 한쪽을 다른 쪽의 뜻으로 읽으면 안 된다.

인과관계가 성립하려면 함께 확인되어야 할 조건이 있다. 원인인 정책수단의 실현이 결과인 정책목표 달성보다 시간적으로 앞서야 한다. 정책수단의 변화 정도에 따라 목표 달성 정도도 함께 변해야 인과관계가 인정된다. 그리고 두 변수의 관계를 설명하는 다른 요인이 배제되어야 한다.

평가는 정책목표 확인, 평가 대상 확정, 인과모형 설정, 자료 수집·분석, 결과 제시의 순서로 진행한다. 실험설계는 이런 인과관계를 입증해 효과성을 판단하는 데 활용될 수 있다. 평가 결과는 정책을 계속할지 고칠지를 정하는 근거가 되므로, 그 결과가 얼마나 믿을 만한지가 곧 타당성의 문제다.

자세히

내적 타당성을 해치는 요인

역사요인은 연구 기간 중 발생한 외부 사건이 정책효과에 섞이는 것이다. 외부 환경에서 생긴 사건이 사전·사후 측정값을 달라지게 하는 것도 역사요인으로 본다. 검사요인은 사전측정에 익숙해지거나 학습해 사후측정 값이 달라지는 것이다. 선발요인은 처음부터 두 집단의 특성이 다르게 뽑히는 데서 생기고, 상실요인은 실험 도중 집단별로 참여자가 빠지면서 생긴다. 선발요인과 상실요인은 무작위배정이나 사전측정으로 통제할 필요가 있다. 통제집단이 실험집단의 처치를 따라 해 처치 효과를 흐리는 모방효과도 내적 타당성을 훼손한다. 사후적으로 비교집단을 구성하면 집단 간 선정 차이로 선정효과가 생겨 내적 타당성이 훼손될 수 있다. 측정기준이나 측정도구가 바뀌는 것도 실험 과정에서 생기는 내적 타당도 저해요인이다. 허위변수나 혼란변수를 배제하면 내적 타당성을 높일 수 있다.

평가의 시기와 종류

형성평가는 정책집행 도중 프로그램을 개선하기 위해 실시된다. 형성평가는 집행 관리와 전략을 수정·보완하는 데도 쓰인다. 총괄평가는 정책집행 후 정책이 미친 영향을 판단하기 위해 실시된다. 과정평가는 정책이 의도대로 집행되는지와 집행과정의 문제점을 파악해 개선하는 데 초점을 둔 평가다. 정책 집행과정의 관리절차나 관리전략을 평가하는 것도 과정평가에 해당한다. 집행 모니터링은 프로그램의 투입과 활동을 측정해 기준값과 비교하며, 설계대로 수행되는지 판단하는 것이다. 모니터링은 집행의 능률성과 효과성을 확보하기 위해 수행된다.

영향평가는 정책의 의도된 효과뿐 아니라 부수적 효과도 평가한다. 정책영향평가는 정책이 낳은 효과를 사후에 평가하는 것이며 효과성 평가로 볼 수 있다. 산출평가는 계량적으로 측정이 쉬운 단기적 산출물을 보고, 결과평가는 정책대상의 행동이나 태도에서 실제로 일어난 변화를 본다.

환경영향평가와 교통영향평가는 사업을 시행하기 전에 영향을 예측·평가하는 사전 평가다. 시민단체가 실시하는 평가는 외부적 평가에 해당하고, 기관 내부에서 평가를 주도하는 방식은 내부평가다.

실험설계의 유형

진실험과 준실험의 차이는 무작위배정으로 실험집단과 통제집단의 동질성을 확보하는지 여부다.

진실험은 내적 타당성이 높고 준실험은 실행 가능성이 높다. 실험 집단과 비교집단을 무작위 배정할 수 없어 집단 간 동질성 확보가 불가능하면 준실험 방법을 채택할 수 있다. 아직 검증되지 않은 정책 프로그램에 대규모 투자를 하기 전에 그 결과를 미리 평가하는 것은 사회실험의 중요한 목적 중 하나이다.

무작위배정으로 실험집단과 통제집단을 구성하는 진실험설계에 해당하는 것은 통제집단 사전사후측정설계다. 비동질적 통제집단설계는 무작위배정이 없어 두 집단이 동질적이지 않은 준실험설계다. 단절적 시계열설계는 정책집행 전후로 여러 번 측정하여 효과를 추정하는 준실험설계 유형이다. 회귀불연속 설계는 구분점에서 회귀직선의 불연속적인 단절을 이용한다. 솔로몬 4집단 설계는 통제집단 사전·사후 설계와 통제집단 사후 설계의 장점을 함께 갖는다. 짝짓기는 제3의 요인에 관해 실험집단과 통제집단을 동등하게 만드는 방법이다. 정책실험을 할 수 없을 때 통계분석으로 인과관계를 추론하는 설계를 비실험적 정책평가설계라 하며 회귀분석 등이 있다.

자연실험은 무작위배정이 이루어지지 않는 경우가 많아 진실험보다 준실험에 가까운 설계다. 그 여건은 자연적 충격뿐 아니라 급격한 정책이나 제도 변화에 의해서도 형성된다. 사회실험에 비해 비용 문제나 윤리적 문제로 어려움을 겪을 가능성이 적다는 점도 자연실험의 특징이다.

타당도의 종류

구성적 타당성은 추상적 개념과 이를 측정하는 도구가 얼마나 일치하는지를 뜻한다. 통계적 결론의 타당성은 표본자료의 통계적 검증에서 도출한 결론이 얼마나 정확한지를 뜻한다. 표본으로 선택된 집단의 대표성이 약하면 결과를 다른 집단에 일반화하기 어려워 외적 타당도가 저해된다. 실험 대상자가 자신이 실험 중임을 알고 평소와 다르게 반응하는 반응적 효과도 외적 타당도를 저해한다. 효과가 클 집단만 골라 실험집단에 배정하는 크리밍 효과도 대표성을 잃게 해 외적 타당도를 저해한다. 준실험의 약점은 외적 타당성보다 주로 내적 타당성에 관한 것이다. 측정도구는 타당성은 없어도 신뢰성은 높을 수 있다.