政策課題研修ー「行政評価を考える」ー報告事項

l1.gif (7620 バイト) 

b1.gif (249 バイト) メンバーからの報告(長谷部)

   評価手法の分類と特徴 

 今後,研究を進める行政評価に関係する評価手法は,多種多様であるが,すべての事業,施策,政策に,一つの手法を用いることは困難と思われる。

 例えば,三重県の事務事業評価システムは,業績評価手法を主にしながらも,統計的な手法,定性的な手法,費用対効果分析などを取り入れたものであり,今後,行政評価の有効な方法を検証する上で,基本的な手法を理解する必要がある。

 このため,通産省の「政策評価の現状と課題(平成10年9月政策評価研究会・中間報告)をベースに手法を整理した。

 

1 評価の時点による分類

【事前評価】

 ある政策課題に対して,最適な施策などを選択する上で有用な情報を得るための評価。?当該の必要性・妥当性,?目標(複数)の設定,?想定される政策の選択肢について,リスクや不確実性も踏まえ,便益と費用を勘案し,最適と考えられるものを検討する。

【事後評価】

 施策などが成功であったか否かを判定するために行う評価。施策などを一定期間実施した後または終了後に,事前評価段階に想定した社会的便益や社会的費用を生み出したか,当初想定していない効果があったかなどを分析。改善策,将来の政策立案に活かす。設定した業績指標や目標(値)が,妥当なものかどうかも検証される。

【モニタリング】

 事後評価の施策などについて,その実施状況の善し悪し(効率性など)を監視するもの。定期的に,事前の段階で設定した業績目標(値)の主なものについて,達成状況を測定する。結果の要因,問題点,改善策などを検討する。施策の効果ha,一定の期間を要し,当初予想していない異常な事態が発生していないかを見守るという色合いが強い。因果関係の分析や,有効性や効率性についての厳密な分析は行わない。

2 効率性に着目した手法

 効率性とは,投入された資源量に見合った結果が得られるか,または得られたのか,という観点での評価。

【費用便益分析】

 費用便益分析とは,施策により発生する社会的費用や社会的便益を推定または測定し,これを貨幣価値で表示し,その比較により実施の妥当性を判断する手法である。

 社会的便益=事業の結果による社会構成員にとっての効用の増大,社会的費用=事業に投入する資源。

 (社会的便益―社会的費用)が大きくなるほど望ましい。

(メリット)

  • 便益と費用を金銭に換算するので,判定が明確
  • 複数の施策について,同じ費用便益分析手法が適用されれば,相互比較が可能
  • 前提条件(需要のトレンドなど)の変化の影響をシミュレーションすることが容易。

(デメリット・限界)

  • 必ずしも全ての便益や費用が測定または推計されていない(例えば,快適性や環境に関する価値が対象外)
  • 便益や費用を誰が受け取るかという公平性(例えば地域間や年代間の格差など)の観点に欠ける。
  • データの選択,予測モデルの組み方や費用・便益項目の選択といった要素を変えることで全く異なる結果を生じ得る
  • 間接的に発生する波及効果については算定結果の信頼性が低い。

 結果のみを絶対視するのではなく,分析の前提条件,使用するデータ,本分析に乗らない要因(定性的なものも含む。)なども十分吟味し,かつ,明示する必要がある。

 専門性や相当な情報を要するため評価のコストが高く,分析に使用するデータを完備し,モデル構築が必要

【費用対効果分析】

 社会的費用や社会的便益について,比較する手法。費用のみを貨幣価値で捉え,便益一単位当たりの費用を比較する方法。

 社会的便益と社会的費用を費用便益比(便益÷費用)で表現できるので,費用便益比により,複数の施策の効率性について相対比較が可能である。

(メリット)

  • 業績数値を基本的にそのまま使用するため,費用便益分析よりは技術的に容易,かつ,適用可能な分野がより広い
  • ある規制により救済される一人の命を貨幣価値に置き換えるような,費用便益分析の若干強引な仮定を用いる必要がない。
  • 費用便益分析に比べて,コストは低い,かつ,感覚的にもわかりやすい。
  • 複数の施策について,同じ費用対効果分析手法による結果に比較が容易
  • 前提条件(需要のトレンドなど)の変化がもたらす影響をシミュレーションすることが比較的容易。

(デメリット・限界)

  • 様々な便益や費用は,それぞれ異なる単位(金額,人数,濃度など)によって算定される。費用対効果指標は,様々な単位による業績値を加減乗除するなどにより得られるため,費用対効果指標の値の絶対値には何の意味もない。
  • 基本的に,便益が費用を超過していることが明らかな場合に有効。
  • 指標は,当該施策などの効果を測る上で重要性の程度が異なるため,重みづけがなされる必要があり,恣意性が残る
  • 施策間の相対比較は,類似の目的をもつ複数施策間の比較が原則(目的が異なる施策同士を比較は困難)。

 定性的な情報も軽視せず,また,分析の前提条件や,使用するデータ,定性的な要因などについても考慮し,明記することが重要である。

 様々な便益や費用を数値としての把握することを要し,それぞれのウェイトの検討が必要で,一定の客観性や専門性が求められる。

 評価モデル構築に一定程度のコストがかかる。

【コスト分析】

 社会的便益が社会的費用よりも大きいことが自明な場合,実施が既定となっている施策について判断する場合など,社会的便益について明示的に考慮する必要がない場合が想定される。直接的に発生する費用などといった,客観的な把握が比較的容易な項目に着目し,後年度まで見越した費用の全体的な規模の把握や,政策手段間の費用の比較などを行うのがコスト分析である。一般に関与の「仕方」を決定する上で有用な情報を提供する。

(メリット)

  • 取引の直接的な対象でない社会的費用や社会的便益の計測を伴わないため,費用便益分析や費用対効果分析よりも容易。

(デメリット・限界)

  • コスト分析は,一般に,施策などの財務的側面に着目したもので,コスト分析のみをもって,公的機関が政策や施策を行うべきか否かの判定を行うことができない。
  • 個別プロジェクトの評価に使用するにしても,社会的便益の違いが大きなオプション間の比較には不適である。
  • 仮定や使用するデータにより,分析結果が変動し得る。

【市場テスト】

 民営化に馴染みにくい業務分野であっても,サービスの質を低下させることなく効率を高めるという観点から,市場でテスト(民間企業などと競争)し,民間企業などの方がコストとサービスの品質などにおいて優れている場合には,民間などからそのサービスを購入するという考え方である。

 英国で行われている手法で,各省庁が行っている業務について,省庁内部の担当部局と外部のサービス提供者(民間,他省庁など)が共に入札し,長期的な観点で,投資に対する価値が最も高い入札案を選択するという方法で実施される。現行の担当部局が当該業務を続けていくためには,競合する民間など外部提供者との入札に勝たなければならない。

(メリット)

  • 競争により担当部局の効率性が高まる(負ければリストラの対象に)。
  • 関与の「仕方」を決定する上で有用な情報を提供する。

(デメリット・限界)

  • 行政関与の「可否」の判断には不適。。
  • 入札を行うことから,事前に業務の仕様や要求水準(アウトプット)が一定程度特定可能な内部業務分野が適当

効率性に係る手法のうち,費用便益分析や費用対効果分析は,事業に係る直接的費用・便益のみならず,社会的費用・社会的便益まで含めることが可能であるため,行政関与の適否の判定に有用な情報を提供することも可能である。

一方,コスト分析や市場テストは,直接的費用・便益に着目しており,基本的には,プロジェクトの実施体制や詳細な制度設計といったレベルの評価に用いられる。

また,推定値や予測値を用いることにより事前評価に,データの少なくとも一部に実測値を用いることにより事後評価に,使用することが可能である。

3 有効性に着目した手法

 便益と費用の双方について正確に測定することは,施策などの実施に外部環境の影響も大きいため,そもそも効果があったか否かを数量的に測定すること自体が困難な場合が多い。また,費用便益分析における様々な便益を全て貨幣価値に換算する作業や,費用対効果分析における便益間の相対的な重みづけも,容易な問題ではない。

 基本的に便益サイド(効果)のみに注目する「有効性」が,現実的な評価の視点となる。

 有効性の判定は,事前評価段階に設定された(定量的または定性的な)目標に関し,事後評価段階ではその達成度合を分析することになる(事前に合理的な目標値の設定が困難な場合には,事後的には当該施策により状況が改善したかを判定する場合もある)。

 有効性判定は事後評価での利用が中心。

 事前評価で設定される目標値自体の妥当性については,基本的に,有効性評価以外により判定せざるを得ない。

【統計解析法】

 統計解析法は,公的機関がコントロール可能な要因とコントロール不可能な要因(外部環境)との関係,目標と実績の乖離を発生させた要因を,回帰分析や計量経済モデルなどを用いて分析し,判定しようとするものである。

(メリット)

  • 計量経済モデルを用いるなど,外部環境の影響が存在する場合でも,施策などに起因する効果を抽出し得る
  • 着目する「効果」を特定し,これを指標によって数値的に捉えることができれば,仮に事前に目標値が設定されていない場合でも,評価を行うことが可能
  • 費用サイドの測定もできれば,有効性の評価に留まらず,費用便益分析ないし費用対効果分析による効率性分析も行うことができる。
  • 投入された資源量が数値的に把握し難い場合,すなわち,施策などが「ある」場合と「ない」場合の比較など質的な条件の影響を分析することも可能である。

(デメリット・限界)

  • 本分析を行うためには,目的が明確で,施策などがもたらす社会的便益が数値的に把握可能でなければならない。
  • また,結果と要因間の構造的な関係が明らかになったとしても,必ずしも因果関係の存在が保証されるわけではない。
  • モデルの作成自体についても,モデル構造や考え方次第で,施策などの効果の評価も異なったものとなる可能性。専門家(計量経済学の他に当該施策などの内容についての専門的知識を有する者)によるモデルのレビューなどによりモデルの技術的妥当性を確保することが必要である。
  • この他,数値で表示できない費用や便益,モデルで考慮されなかった要素で,分析結果を補足する必要がある。

【対照実験法(または疑似実験法)】

 施策などを実施する実験集団と,実施しない対照集団(統制集団)を区分して設け,当該施策など以外の条件を同じなどにして比較する。

 比較の対象となる対照集団の取り方により,地域間比較,異時点間比較などの方法がある。

(メリット)

  • データ数が比較的少ない場合にも適用可能

(デメリット・限界)

  • 効果を測定しようとしている施策などに係る要素以外の条件について,実験集団との差異ができる限り小さい対照集団が存在がポイントだが,現実には確保することはほとんど困難である。
  • 有効性を体現する指標値の両集団間での差について,統計的有意性の検定を行うことが多いが,事前段階において指標の値が異なれば,事前と事後の差に当該施策など以外のバイアスが含まれる

 

【業績指標を用いた評価】

 厳密な費用便益分析や費用対効果分析などが困難な場合には,施策などの企画立案段階において設定された長期・中期・短期的な達成目標の達成度合,発生した効果,利用者の満足度,施策などの進捗度など複数の指標からなる業績指標群を設定し,これを測定・分析することにより,現行施策などの実施上の問題点を抽出し,改善につなげるという手法である。

 統計解析法や対照実験法は,特定の施策などについて業績指標の達成状況などを事後評価として緻密に分析するものであったが,「業績指標を用いた評価」は,原則として定常的に,また,業績指標の測定については,統計的な手法などによる厳密な分析を伴わず,簡便に行われる。

(メリット)

  • 自治体の行政活動を対象として実施されている業績評価手法は,時系列的にアウトカムを中心とした業績指標をモニタリングし,公表することで,対応が必要な政策領域を特定することができる。
  • 業績指標について目標値を設定し実績値と比べる方法は,一般に単純(通常統計的な厳密な分析を伴わないため)でわかりやすい。
  • 指標の変化に基づいて行政と住民,マスコミなどとが政策についての議論を行う際の共通プラットフォームともなり得る。
  • 目標を明確化し,その達成度を業績指標により継続的に把握するという過程を通じて,ともすると予算獲得などのインプットに意識が向きがちな現場の施策など担当者の目を,施策などの本来の成果や効果などに向けるという効果も期待される。
  • 指標設定の仕方(インプット,アウトプット,アウトカム,顧客満足度,施策の認知度などの適当な組合せなど)によっては,自治体の行政活動に留まらない広範な行政分野にも適用可能。
  • 事前における目的・目標の明確化,中間・事後評価における問題領域の発見,説明責任確保の一手段としては有効な手法といえる。

(デメリット・限界)

  • 業績評価手法は,(厳密な効果と費用の比較はできないため,)ある社会的問題なり政策課題に対してどういう手法でどのような財政的,社会的コストをかけて対策を実施すべきかという,施策などの選択のために有用な情報を提供するという機能を果たすことは困難で。
  • アウトカム指標は一般に当該施策により制御できない外部環境の影響を多分に受け得ることから,その指標の値を直接的に資源配分にリンクさせることには慎重さが必要。

4 定性的な側面を重視した簡便な手法

 例えば,規制など費用や便益の中には数値化することが困難な場合,迅速かつ低コストの方法な定性的評価手法を用い,評価を行う。

  • ピア・レビュー方式=評価の対象の研究等と同等の研究分野に知見のある先端的な研 究者グループに,当該研究の価値の判定が委ねる
  • フォーカス・グループ・インタビュー(関係者との面談)=一種のグループ・ディスカッション。アンケート等による本格的な調査に入る前の段階で論点の抽出等のために行う。少数の者(例えば8〜12人)を一つの場所に集め,主催者の関心のあるテーマについて,主催者が議論の内容を特定の方向に誘導させることなく自由に議論させ,当該問題についてのあらゆる見方・論点を抽出する
  • 事例研究(ケース・スタディー)
  • 既存のデータや文書のレビュー

(メリット)

  • 定性的な分析は,効率性や有効性の他に,評価対象としている施策などが期待された結果をもたらすメカニズム,施策などの実施に伴うリスク,といったあらゆる視点をカバーすることが可能である。
  • 定性的な分析は,基本的にコストは小さい

(デメリット・限界)

  • 定性的分析のみでは,施策などに伴う正・負の両面の影響を比較する際などに限界。
  • 基本的に仮定の域を出ないものであるため,たとえ完全でなくても何らかの数値的な分析による裏付けを行うなどにより,論理を補強し,説得力を増す必要がある。
  • 事例研究などを綿密に行う場合など,コストが大きくなる場合もあり得る。

TOPへ戻 る