의안번호	제2014-04호		보고 사 항
상 정 년 월 일	2014. 11. 5. (제10차 국가통계위원회)

국가통계 품질관리 체계 개선계획

제 출 자	통 계 청 장
제출년월일	2014. 11. 5.

						목 차

<요  약>	1

Ⅰ. 검토배경	3

Ⅱ. 현황 및 문제점	3

Ⅲ. 개선방안	5

Ⅳ. 기대효과	7

Ⅴ. 추진 경과 및 향후 추진계획	7

【붙임1】현행과 개선안 품질관리 체계 비교	8

【붙임2】통계품질의 정의 및 품질차원	9

【붙임3】주요 해외 품질진단 및 관리 사례	10

【붙임4】통계 방법 및 품질정보 체계(안)	11

	< 요 약 >
<검토배경> ❍ 국가통계 품질관리 체계를 그동안 축적된 경험과 역량을 반영하고 해외 선진사례를 벤치마킹하여『정부 3.0』에 부합하도록 전면적 개선 <현황> ❍ (정기진단) 주요 국가통계 130여종에 대하여 5년간 매년 약 25종씩 전문가 연구용역 사업으로 심층진단 ❍ (자체진단) 전체 진단대상 국가통계 500여종(정기진단 대상 제외)에 대하여 통계작성기관에서 품질체크리스트를 이용하여 매년 자체진단 ❍ (수시진단․개선관리) 언론모니터링 등으로 품질취약 통계의 발굴 및 진단; 품질진단 결과 도출된 개선과제 이행관리, 품질개선 컨설팅 <문제점> ❍ 용역진단에 따른 예산제약으로 소수 주요통계만 전문가 심층진단, 경쟁입찰로 진단수행자가 매년 새로 구성되어 진단 노하우 축적․활용 불가 ❍ 통계작성기관은 용역연구진의 요구자료 제공 및 질의에 응답 등 수동적 역할 ❍ 결과보고서가 통계작성자 업무용 위주로 작성되어 이용자의 활용 한계, 체크리스트방식의 자체진단에 따른 문서화 결과 부재로 활용제약 등 <개선방안> ❍ (정기품질진단) 통계작성기관이 작성한 “통계방법 및 품질정보”를 기반으로 전문기관의 심층진단 및 통계청의 최종확정 - 통계청이 개발한 지침에 따라 “통계방법 및 품질정보” 작성 및 심층진단 - 전체 진단대상 통계 약 500종에 대하여 매년 약 100종씩 5년 주기 진단

❍ (자체품질진단) 주요 품질진단지표 추가를 통한 지표의 고도화 및 품질진단 분석결과 추가 작성을 통한 진단결과 활용성 증대

- 전체 진단대상 통계 중 정기진단 대상 통계를 제외한 400여종에 대하여 매년 진단

❍ 근거기반 평가, 품질등급 공표, 우수통계 인센티브, 이용자용 품질보고서 서비스, 통계포털에 통계별 이용자 의견 수집창구 운영 등

❍ 품질개선 컨설팅, 통계품질 교육훈련 등 지원기능의 확대강화; 통계청의 품질정책, 품질관리 및 진단기법 연구개발 기능강화 등

<기대효과>

❍ 승인통계 전반에 대한 체계적․지속적 품질관리에 따른 품질향상으로, 국가통계의 발전, 통계의 정책 및 연구목적 활용 적합성 제고 등

❍ 통계이용자에게 통계방법 및 품질정보를 제공하여 국가통계에 대한 정확한 이해 및 오남용 예방, 신뢰도 제고 및 이용활성화 등

❍ 통계청의 지침, 지원 등을 받아 통계작성기관에서 직접 통계 방법 및 품질정보를 작성․활용함에 따라 통계종사자의 통계역량 강화

<추진 경과 및 향후 추진계획>

❍ 국가통계 품질관리 체계개선 기본계획 수립: ’14. 2월

❍ 통계방법 및 품질정보 작성지침 및 입력시스템 개발: ’14. 2~9월

❍ 통계품질 진단지침 개발: ’14. 9~11월

❍ 국가통계위원회 본회의 상정: ’14. 11월

❍ 통계청 소관 통계의 방법 및 품질정보 시스템 입력: ’14. 10~12월

❍ 품질진단 개선방안 적용 통계청 주요 통계 시범 품질진단: ’14. 11~12월

❍ 국가통계 품질관리 체계 개선방안 전면 적용: ’15. 1월~

Ⅰ.

검토배경

통계품질 진단제도 적용(’06년) 이후 8년이 경과함에 따라, 그동안 축적된 경험과 역량을 기반으로 통계품질 진단방법의 효율화 및 고도화

정책추진 등의 기본정보인 국가통계의 품질제고를 위하여, 진단기법 등을 지속 발전․적용하고 품질정보의 이용자 서비스도 강화해온 해외사례의 벤치마킹

공공데이터의 개방․공유 및 이용활성화, 협업 및 소통강화, 국민참여 확대 등『정부 3.0』에 부합하도록 국가통계 품질관리체계의 전면적 개선

Ⅱ.

현황 및 문제점

현 황

’06~’10년간(제1기) 승인통계 전반(585종)에 대하여 전문가용역 품질진단, 현재(’11~’15년, 제2기)는 다음과 같이 체계적인 품질진단 및 개선관리

❍ (정기품질진단) 주요 통계 130여종을 선정하여 5년간 매년 25종 내외씩 전문가 연구용역 사업으로 심층진단 및 개선과제 도출

- 용역팀에서 통계청의 진단매뉴얼*에 따라 통계작성기관, 전문가, 이용자 등을 면접하고 관련 자료를 수집하여 통계품질 진단

*품질관리기반, FGI, 세부작성절차, 표본설계, 수집자료의 정확성, 이용자편의성 등에 대해 점검표 체크 및 의견제시, 품질차원별 점수화 등의 방법 수록

❍ (자체품질진단) 국가통계 전반에 대하여 통계작성기관에서 소관 통계를 대상으로 매년 자체적으로 진단

- 매년 진단계획을 수립하여 통계청의 자체진단 매뉴얼에 따라 품질체크리스트에 체크하는 방법으로 품질수준 진단 및 개선과제 도출

❍ (수시품질진단) 언론보도 등의 상시모니터링 및 상황발생시 기획모니터링으로 품질취약 통계의 발굴 및 진단

- 모니터링 결과 심각한 오류가 있는 경우 심층진단하고 경미한 오류에 대하여는 작성기관에 시정요구 조치

❍ (개선점검․지원) 품질진단 결과 도출된 개선과제에 대한 이행 실태를 관리하고, 인프라 취약 통계작성기관에 대한 개선지원 컨설팅

문제점

(소수통계 위주 심층진단) 연구자가 제반정보를 직접 수집, 진단하여 통계단위당 진단비용 과다에 따른 예산제약으로, 매년 약 25종(5년간 130여종)에 대하여만 전문가 심층 품질진단

❍ 이외 진단대상 통계(500여종)에 대하여는 품질체크리스트에 의한 작성기관의 자체품질진단에 의존

(협업․참여 미흡) 통계작성기관은 용역연구진의 요구자료 제공 및 질의에 응답 등 수동적 역할, 통계이용자 등의 참여기회도 부재

(노하우 축적 한계) 경쟁입찰에 의한 연구용역으로 진단수행자가 매년 새로 구성되어 품질진단 노하우 축적 및 활용 한계, 시행착오 야기

(결과활용 한정) 품질진단 결과보고서가 통계작성기관의 품질개선 및 관리용도로만 작성․이용되어, 통계이용자 측면에서 진단결과의 활용한계

<참고> 품질진단 결과에 따르면 통계 이용자용 메타정보 제공 등이 포함된 문서화 및 자료제공 관련 평가점수가 크게 낮음

(100점 만점)

통계기획	조사설계	자료수집	입력․ 처리	자료분석	문서화․자료제공	사후관리
91.6	82.6	80.0	81.8	82.5	72.9	78.1

자료: 2013년 26종 통계의 정기품질진단 결과 작성절차별 평가점수

Ⅲ.

개선방안

As-Is		To-Be
❙ 소수 주요통계 위주의 전문가심층 품질진단 ❙ 생산자용 품질진단․개선보고서 작성 활용 ❙ 외부전문가 중심의 연구용역 품질진단		❙ 국가통계 전반에 대한 전문가 심층진단으로 통계전반의 품질제고 ❙ 이용자용 품질정보도 작성․서비스하여 오남용 예방 및 이용활성화 ❙ 통계작성기관 협업 및 국민참여 기회확대로 집단지성 구현

(정기품질진단) 현행 연구용역 진단 폐지 ⇒ 통계작성기관이 “통계방법 및 품질정보”*를 작성하고, 이를 기반으로 전문기관이 심층진단 및 통계청의 최종확정

* 통계과정, 과정별 적용방법, 품질변수, 공표 및 이용자서비스 등 통계품질진단, 통계업무 및 통계활용시 필요한 제반 상세정보(<붙임 4> 참조)

<참고> (Eurostat) 통계업무, 품질진단, 통계이용 등을 할 때 필요한 제반 정보를 포괄하는 품질보고서를 작성하여 각각의 목적에 부합하는 부분(Subset of the report)을 추출하여 활용

❍ 통계청이 개발중인 “통계방법 및 품질정보” 작성지침과 이를 활용하여 통계품질을 진단지침에 따라 작성 및 평가

- (진단내용 및 방법) “통계방법 및 품질정보”의 검토, 보완 요구 및 지원; FGI, 현지실사, 진단지침에 따른 심층 품질진단 및 품질등급 부여 등

- (진단대상 및 주기) 전체 진단대상 약 500종*에 대하여 매년 약 100종씩 5년 주기 진단

* 국가통계 900여종 중에서 통계품질진단 실익이 미약한 것으로 평가되는 시군구 기본통계 등 제외

(자체품질진단) 주요 품질진단지표 추가를 통한 지표의 고도화 및 품질진단 분석결과 추가 작성을 통한 진단결과 활용성 증대

❍ 전체 진단대상 통계 중 정기진단 대상 통계를 제외한 400여종에 대하여 매년 진단

(근거기반 평가) 근거자료 확인, 현지실사, 전문가 및 이용자 의견수렴(FGI) 등 근거기반 평가(Evidence-based evaluation)로 진단의 내실화

(등급공표) 통계의 품질등급 공표, 우수통계 인센티브 등으로 통계작성기관의 통계품질 인식제고 및 조기 품질개선 유도

(품질정보 이용자서비스) 통계의 오남용 예방 및 이용활성화를 위하여 통계 방법 및 품질정보를 통계와 함께 이용자에게 서비스

<참고> 대한민국 통계법시행령 제42조(통계의 공표방법 등) 제②항

법 제27조제2항에 따라 통계와 함께 공표하여야 할 사항은 다음 각 호의 사항 중 그 통계와 관련된 것으로 한다. 1. 통계의 명칭, 작성목적ㆍ대상ㆍ시기ㆍ기간 등 통계의 개요. 2. 표본추출방법, 자료의 수집ㆍ처리ㆍ수정ㆍ보완 및 분석방법 등 통계의 작성방법. 3. 오차, 무응답의 대체방법, 무응답률 등 통계의 품질 관련 사항. 4. 주요 용어나 부호에 대한 설명, 공표 일정, 담당자의 연락처 등 이용자 편의를 위한 사항. 5. 그 밖에 통계의 정확한 이용을 위하여 필요한 사항

(지원확대) 인프라 취약 통계작성기관의 품질개선 컨설팅, 통계품질 교육훈련 등 지원기능의 확대강화

❍ 심층진단 통계확대(매년 20여종→100여종), 품질등급 공표, 품질정보 이용자서비스 등에 따라 증가할 품질개선 컨설팅 수요 충족

(이용자참여 창구운영) 통계와 이용자용 품질정보가 제공되는 통계포털 등에 통계별 이용자 의견 수집창구를 개설하여 상시 이용자 의견수렴

<참고> (공공데이터의제공및이용활성화에 관한 법률 시행령21조③) 안행부장관은 공공데이터포털에 이용자가 공공데이터의 등록누락, 이용불편사항, 품질오류 등을 신고할 수 있는 전자적 창구를 마련

Ⅳ.

기대효과

국가통계 전반에 대한 체계적, 지속적 품질관리에 따른 품질향상으로, 국가통계의 발전, 통계의 정책 및 연구목적 활용 적합성 제고 등

통계이용자에게 통계방법 및 품질정보를 제공하여 국가통계에 대한 국민의 정확한 이해 및 오남용 예방, 신뢰도 제고 및 이용활성화 등

통계작성기관이 작성한 품질정보 기반 품질진단으로 현행 방법 대비 효율적, 이용자 의견 상시수렴으로 통계의 이용적합성 제고

통계청의 지침, 지원 등을 받아 통계작성기관에서 직접 통계 방법 및 품질정보를 작성 및 활용함에 따라 통계종사자의 통계역량 강화

Ⅴ.

추진 경과 및 향후 추진계획

국가통계 품질관리 체계개선 기본계획 수립: ’14. 2월

통계방법 및 품질정보 작성지침 및 입력시스템 개발: ’14. 2~9월

통계품질 진단지침 개발: ’14. 9~11월

국가통계위원회 본회의 상정: ’14. 11월

통계청 소관 통계의 방법 및 품질정보 시스템 입력: ’14. 10~12월

품질진단 개선방안 적용 통계청 주요 통계 시범 품질진단: ’14. 11~12월

국가통계 품질관리 체계 개선방안 전면 적용*: ’15. 1월~

* ‘11년 수립한 5개년 계획 상 ‘15년에 진단 예정이었던 통계는 개선방안 적용 대상에 우선 선정

<붙임 1> 현행과 개선안 품질관리 체계 비교

구 분	현 행	개 선 안
정기진단	-연구용역진이 자료수집, 심층진단 및 진단보고서 작성 ․매년 25종 내외 (주요통계 130여종/5년)	-통계작성기관의 통계방법 및 품질정보를 이용 전문기관이 심층진단 ․매년 약 100종 (전체 진단대상 통계 약 500종/5년)
자체진단	-작성기관이 품질체크리스트에 체크 및 개선 아이디어 도출 ․매년 전체 진단대상 중 정기진단 대상 외 통계	-주요 품질진단지표 추가를 통한 진단지표 고도화 -품질진단 분석결과 추가 작성을 통한 진단결과의 활용성 증대 -좌동
수시진단	-상시 및 기획 모니터링하여 품질취약통계의 시정요구 또는 수시진단	-좌동
개선관리 ․지원	-진단결과 도출 개선과제의 이행관리 -인프라 취약기관의 품질개선 컨설팅, 통계품질 교육훈련	-좌동 -좌동(확대강화)
결과활용	-통계작성자용 품질진단 결과보고서 작성 활용 -진단결과 평가등급 청내외 공개	-통계작성자 및 이용자용 통계방법 및 품질정보 작성 활용 -품질등급 공표, 인센티브 등
품질관리 기획	-품질진단 및 개선관리 기획	-품질정책 수립 및 추진, 품질관리 체계 및 기법 연구, 진단기법 개선․발전 등

<붙임 2> 통계품질의 정의 및 품질차원

1. 통계품질의 정의

통계의 목적 또는 이용 적합성(Fitness for purpose or use)

2. 통계품질 차원

(이용자 관련성, Relevance) 이용자가 요구하는 모든 통계가 산출되는 정도; 정의, 분류 등의 개념이 이용자 요구에 부합하는 수준 등

(정확성, Accuracy) 통계추정치가 참값에 근접하는 정도로서, 편향(Bias)과 분산(Variability)으로 구분되는 표본 및 비표본 오차에 의해서 측정

❍ 표본오차: 모집단 전체가 아닌 일부(표본)를 추출하여 조사하기 때문에 발생

❍ 비표본 오차: 포함오차, 조사(조사원, 응답자, 조사도구, 조사방법 등)오차, 처리(입력, 코딩, 에디팅, 가중치조정 등)오차, 무응답오차 등

(시의성/정시성, Timeliness/Punctuality) 시의성은 조사대상 기간(또는 시점)과 공표시점간 차이, 정시성은 공표일정 계획과 실제 공표시점간 차이 등의 정도

(비교성, Comparability) 시계열적, 지역 및 국가간, 영역간 등의 비교가능 정도

(일관성, Coherence) 동일 경제사회 현상에 대한 다른 조사결과, 주기가 다른 동일 내용 통계 등 사이의 차이 정도

(접근성/명확성, Accessibility/Clarity) 접근성은 이용자의 통계접근 및 활용 용이성; 명확성은 통계 설명자료의 명료성 및 충분성 정도

<붙임 3> 주요 해외 품질진단 및 관리 사례

(Eurostat) ’90년대말부터 품질 리더쉽그룹 결성, 품질 컨퍼런스 개최(’01년~), 품질선언(’01년), 유럽통계 업무규약 제정(’05년) 등 관련 활동

❍ 이후, 통계품질 보증체계*, 품질보고서** 작성 핸드북, 품질평가 방법 및 도구 핸드북, 작성과정 분석 및 품질개선 핸드북 등을 마련, 품질진단 및 관리에 활용

- ’13년 시범진단 결과를 반영하여 ’14년 품질보고서 작성 핸드북 등을 개정하고 ’14~’15년간 회원국 통계의 품질진단 실시

*  고품질 통계작성을 위하여 통계작성 제반과정 및 품질 차원별로 요구되는 절차, 활동, 방법, 도구, 자원 등을 체계적으로 기술한 보고서

** 통계의 목적, 개념, 연혁, 작성과정, 과정별 활동, 적용방법 및 이유, 작성결과, 과정별 품질변수, 결과의 품질지표, 국내외 유사통계 비교, 이용자 만족도, 통계기반 등 품질진단에 필요한 제반 상세정보를 포괄한 보고서

❍ 품질진단 절차: 통계작성기관이 품질보고서 작성 ⇒ 이를 기반으로 5년주기 전문가 심층진단, 단기주기 간이진단 등 ⇒ 개선과제 도출, 품질등급 부여 ⇒ 통계생산자 및 이용자용 최종 품질보고서 작성 등

(캐나다) 품질보증체계, 품질가이드라인, 품질 및 방법론 이용자제공 정책 등을 수립하여 품질점검 프로그램 운영

(호주) 통계품질체계 구축, 품질관문(Gates)에 의한 통계과정별 품질진단, 품질보고서를 생성하는 통계품질 온라인 서비스, 품질사고 대응체계, 품질지원 및 품질지표 시스템, 통계방법론 검토 및 감독

(미국) 통계정보 품질지침, 품질기준 및 수행원칙, 품질보증 네트워크, 품질 체크리스트, 품질 및 방법론 공개가이드라인 등을 구축하고, 품질관리 및 품질보고서 작성 서비스

<붙임 4> 통계 방법 및 품질정보 체계(안)

Ⅰ. 조사개요

1. 통 계 명

2. 법적근거

3. 조사방법

4. 조사 및 공표주기

5. 통계과정 개관

6. 조사연혁

Ⅱ. 통계의 작성목적, 이용 및 이용자

1. 통계의 작성목적 및 의의

2. 주요 이용자 및 용도

2-1 이용자 명부(업무용)

3. 이용자 참여

4. 이용자 의견수렴 및 조치결과

Ⅲ. 조사설계

1. 개념 및 분류체계

1-1 주요 개념 및 용어정의

1-2 적용 분류체계

2. 조사내용 및 조사표 설계

2-1 조사 항목

2-2 조사표 구성

2-3 조사표 설계 및 변경절차

2-4 조사표 변경이력

2-5 민감․복잡 조사항목

2-6 응답 소요시간

3. 모집단 및 표본틀

3-1 목표모집단과 조사모집단

3-2 표본추출틀(표본조사)

3-3 포함오차

4. 표본설계 및 관리(표본조사)

4-1 표본설계 방법 및 결과

4-2 표본관리 및 개편

Ⅳ. 자료수집

1. 측정오차 일반

1-1 측정오차 추정

2. 조사방법

3. 조사원

3-1 조사원 채용 및 처우

3-2 조사원 교육훈련

3-3 조사원 업무량

4. 조사 실시

4-1 조사업무 흐름도

4-2 조사준비 및 준비조사

4-3 조사용 자료 및 용품(업무용)

4-4 조사항목별 조사 방법

4-5 현장조사 관리

4-6 조사 질의응답 체계

5. 응답자 및 무응답 대처

5-1 응답자

5-2 기억응답

5-3 무응답 대처

5-4 표본대체

6. 사후조사

7. 현장조사 파라데이터

Ⅴ. 행정자료 활용(행정자료 활용통계)

1. 행정자료 활용 목적 및 내용

2. 활용 행정자료의 특성 및 입수체계

3. 행정자료의 매칭방법

3-1 매칭 매뉴얼(업무용)

4. 행정자료의 보완

Ⅵ. 자료처리

1. 처리오차 일반

1-1 처리오차의 추정

2. 자료코딩

2-1 코딩 매뉴얼(업무용)

3. 자료입력

3-1 입력 매뉴얼(업무용)

4. 자료내검

4-1 내검 매뉴얼(업무용)

5. 무응답

5-1 무응답 오차

5-2 주요 항목무응답 실태

5-3 항목무응답 대체

5-4 단위무응답 실태

Ⅶ. 통계추정 및 분석

1. 통계추정

1-1 가중치 조정

1-2 이상치 식별 및 처리

1-2-1 이상치 처리 매뉴얼(업무용)

1-3 통계추정 산식 및 내용

1-3-1 통계추정 매뉴얼(업무용)

2. 표본오차(표본조사)

2-1 표본오차의 의미

2-2 표본오차 추정산식 및 결과

3. 설계효과 및 유효표본 규모

4. 지수작성(지수작성 통계)

4-1 지수 유형 및 산출산식

4-1-1 지수산출 매뉴얼(업무용)

4-2 지수 가중치 및 갱신

4-3 지수개편

4-4 디플레이터

5. 계절조정(계절조정 통계)

5-1 계절조정의 의미 및 적용방법

5-2 계절조정 과정 및 내용

5-2-1 계절조정 매뉴얼(업무용)

5-3 계절조정 시계열 보정

Ⅷ. 통계공표, 관리 및 이용자서비스

1. 공표통계 및 해석방법

2. 통계공표 방법

3. 시의성 및 정시성

3-1 조사대상 기간/시점과 공표시기

3-2 공표일정

4. 비교성 및 일관성

4-1 시계열 비교성

4-2 지역간 비교성

4-3 동일영역 통계와 일관성

4-4 연간과 단기주기 통계의 일관성

4-5 잠정치와 확정치의 일관성

4-6 일회성 수정

5. 접근성 및 명확성

5-1 통계의 이용자 서비스

5-2 연락처 정보

5-3 통계 메타정보 제공

6. 마이크로데이터 서비스

6-1 마이크로데이터 이용자서비스

6-2 맟춤형 통계산출 서비스

6-3 마이크로데이터 관리(업무용)

7. 비밀보호 및 보안

7-1 자료 수집, 처리 및 보관 과정의 비밀보호

7-2 공표자료의 비밀보호

7-3 자료 보안 및 접근제한

7-4 비밀보호 및 보안 규정

8. 국제기구 제공여부

9. 통계활용 실태

Ⅸ. 통계기반 및 개선

1. 기획 및 분석 인력

2. 사업예산

3. 응답부담

4. 자료처리 시스템

5. 통계 품질관리 및 개선

6. 외부지적 및 조치사례

7. 기타

Ⅹ. 참고문헌

1. 국제기준 또는 권고안

2. 동일통계 외국자료

3. 기타 문헌

〈 의안 소관 부서명 〉

통계청 품질관리과
연 락 처	(042) 481 - 2034