The framing of performance measures, target setting and effort provision

Authors
Affiliations

早川翔

三矢裕

佐久間智広

末松栄一郎

Published

2024/04/10

Modified

2024/04/26

Abstract

本研究は業績指標の表示方法の違い,特にポジティブな表示方法とネガティブな表示方法という違いが,その情報をもとに業務を行う従業員の努力量に与える影響を検証する。先行研究では,成績表のレイアウトや目標値の達成状況の表示方法が異なると,意思決定に用いられる情報が変わるということが知られている。また,報酬と罰では,たとえ期待される報酬額が同じでも後者の方が強いインセンティブ効果を持つことが知られている。本研究では,報酬契約自体を変更せずとも,同じ情報を持つ会計情報の表示方法(ポジティブなフレーミングとネガティブなフレーミング)を変更することで従業員の努力量や努力の配分に影響を与えられるということを予測し,実験室実験を通してこの予測を検証する。

Keywords

Attribute framing; Performance evaluation; Performance measures; Incentive

1 Introduction

本研究は,従業員の業績評価に用いられる業績指標のフレーミングが指標の目標設定とその指標に関連する努力にどのような影響を及ぼすかを検討する。さらに。業績指標のインセンティブ効果がフレーミングによって影響を受けるかどうかも検討する。

従業員を動機づけるためには,業績評価システムを適切に設計・運用することが必要だ。特に評価に用いる業績指標を適切に選択できなければ,従業員を企業の求めるものとは異なった方向に動機付けてしまうかもしれない。例えば,短期的な業績が反映される業績指標を用いると,従業員は長期的な業績を犠牲にしてでも短期の業績を追い求めるかもしれない(Merchant 1990; Merchant and Van der Stede 2023)。また,適切な難易度の目標を設定しなければ,十分な努力量を引き出すことはできない (Locke and Latham 2002)。難易度の高すぎる目標は諦めを,低すぎる目標は怠惰をもたらす。

多くの従業員は複数の業務を受け持つが,それらの業務間の努力配分は,業績指標の選択と強く結びついている(Feltham and Xie 1994)。片方の指標がもう片方の指標よりも精度が良かった場合,それぞれの指標の評価上のウェイトが同じでも,より精度が高い方に注意を向けるようになる。また,もし指標間の精度が同じで,なおかつ評価上のウェイトが同じであっても,指標間の難易度に差がある場合,より達成可能性が高い方に努力を集中することが予測される。そういった意味で,業績評価のデザイン,特に指標の選択は,業績評価システムを構築する上で重要である。

業績評価に用いられる業績指標(特に非財務的業績指標)は,ポジティブにもネガティブにも表示することができる。例えば生産における成功率と失敗率,小売における顧客満足度と不満足度の指標は,成功率(満足度)= 1 - 失敗率(不満足率)であるため,同じ情報を持っている。にもかかわらず先行研究では,同じ情報をポジティブに表示する場合とネガティブに表示する場合で,測定される対象の評価が異なることが明らかになっている(Levin and Gaeth 1988)。一方で,この評価の違いが,自身の業務目標の設定や努力水準にどのような影響があるかについては明らかになっていない。もし業績の表示方法がポジティブかネガティブかによってその測定対象の評価が異なるのであれば,その業務に対する難易度を異なった形で見積もるかもしれない。特に,ネガティブな表示方法はポジティブなものに比べ悪い結果を連想させ,達成可能性を低く見積もる可能性がある。結果として,目標設定において,ネガティブな表示方法はより保守的な目標をもたらす可能性がある。また,その測定に基づくインセンティブ契約の効用も表示方法によって変わり,結果としてその測定指標に関連する努力量も異なってくることが予測される。特に,人はよりネガティブな指標に注目する傾向があると言われており(Tversky and Kahneman 1986),ネガティブな指標により注意を払う。結果として,ネガティブな表示方法をした方が努力が引き出されると考える。これらの予測を元に,本研究では業績指標の表示方法の選択が,従業員の目標設定や努力に影響を与えるか否かを検証する。

会計学におけるフレーミングの研究では,報酬と罰という契約上のフレーミングにおいて,罰が少なくとも短期的な努力を引き出すことが明らかになっている (Burke, Towry, Young, and Zureich 2023; Christ, Sedatole, and Towry 2012; Hannan, Hoffman, and Moser 2005; Hossain and List 2012)。これらの研究は,選択された業績指標とインセンティブの結びつけ方に注目した研究であり,報酬契約におけるインセンティブのフレーミングを対象としている。一方で,本研究が注目するのは,業績指標の表示方法である。つまり,業績指標の選択の段階でのフレーミングに注目しているという違いがある。業績指標のフレーミングに関する研究はほとんどなされておらず,特に,業績指標の選択が,その後の業績目標の設定や努力といった従業員の行動に与える影響については明らかになっていない。

本研究は,業績指標の並べ方や見せ方が従業員の業績の判断に影響を与えるという先行研究と関連している(Cardinaels and Veen-Dirks 2010; Lipe and Salterio 2002)。これらの研究では,複数の業績指標の並べ方や,補助的な情報の有無が,従業員の業績評価指標を元にした判断に影響を与えるということを示している。これらの研究は,上司の立場から部門の評価を行う,といった場面を想定している。対して本研究は,会計指標の表示の仕方,特にポジティブかネガティブかというフレーミングを対象としている点に違いがある。加えて,本研究は上司の立場からの他者評価ではなく,自身が業務を行う際の目標設定や期中の努力といった側面に対して,表示方法の違いが影響を与えるか否かを検証するという面で違いがある。

本研究ではまた,インセンティブに対する反応がフレーミングによって変わるかどうかを検証する。業績指標がインセンティブ報酬と結びついているとき,属性フレーミングがどのような影響をもたらすかについては,ほとんど明らかになっていない。もし,契約上のフレーミングと同様に,属性フレーミングにおいてもネガティブなフレーミングが損失回避の動機づけと結びつく場合,ネガティブなフレーミングが報酬によるインセンティブ効果を強める可能性がある。一方で,属性フレーミングについては,実際に損失が生じるわけではない。そのため,損失回避の動機づけがもたらされるわけではない可能性がある。ポジティブなフレーミング × 報酬は,成功や満足のようなポジティブな結果に対してポジティブな報酬が得られるという意味でネガティブなフレーミング × 報酬という場合よりも一貫性がある。業績指標のフレーミングと報酬が一貫している場合の方が努力を引き出せる可能性もある。

本研究ではオンライン実験を行った。参加者は実験研究のオンラインソーシングサービスであるProlificを通して集められた。参加者は数字を対応するアルファベットに置き換えるリアルエフォートタスクを行う。実験は2×2の被験者間実験としてデザインされた。参加者に与えられる目標は,成功率と失敗率という表裏一体でポジティブな表現かネガティブな表現かが違う条件に割り振られる。また,このポジティブもしくはネガティブな業績指標がインセンティブと結びついているか否かが操作される。参加者は自分の設定した目標のもとで,なるべく高い成功率(低い失敗率)で作業をこなすことが求められる。

実験の結果,業績指標のフレーミングは目標設定行動に有意な影響を与えることが発見された。具体的には,ネガティブなフレーミングは保守的な目標設定につながる。また,インセンティブの有無は,目標の設定に有意な影響を与えることが発見された。具体的には,インセンティブあり条件の方が高い目標を設定する。最後に,成功率(失敗率)の業績について,フレーミングとインセンティブの交互作用が有意だった。インセンティブ条件において,ネガティブなフレーミングを受けたグループは,ポジティブなグループよりも成績が良かった。

本研究は,業績評価システムの設計において新たな視点を提示する。第1に,業績評価指標のフレーミングが従業員の努力に影響を与えるという点である。業績指標は大抵の場合,予算と結びついている。一般に予算は二つの目的を持つとされる(Arnold and Artz 2019)。予算には計画・資源配分に利用されるという側面があり,その目的においては,現実的な予測値が望ましい。一方で,予算は業績評価システムにおける目標値としても用いられる。この目的においては,予算は現実よりも高いものが企業としては望ましい。予算が両者の目的を持つとき,インセンティブ目的で現実から離れた目標を設定することは難しい。つまり,インセンティブ目的で目標を設定する際,その設定自由度は必ずしも高くない。

これは特にマルチタスクの従業員の業績評価システムをデザインするときに重要な限界となる。例えばAとB二つの業務があり,それぞれの業績目標の難易度やインセンティブのウェイトが同じであっても,Bの測定精度が悪いとき,従業員はBに少ない努力を振り向けることとなる。だからと言って,測定精度の低いBに関する業績指標によりインセンティブのウェイトを振り向けると,企業はより多くのリスクプレミアムを支払う必要がある。もし仮に,Bの指標がポジティブにもネガティブにもフレーミングできる場合,ネガティブにフレーミングをするだけで従業員はBの業務により注意と努力を振り向ける可能性がある。また,ネガティブにフレーミングされた業績指標が用いられたとき,従業員はインセンティブにより強く反応する。これは,インセンティブ契約を変更するよりも低い導入コストで強い努力を引き出すことができる場合があることを示唆する。

第2に,参加型目標設定におけるフレーミングの効果を示した点にも貢献がある。具体的には,目標設定の時に従業員を参加させる場合には,ネガティブなフレーミングは保守的な目標設定につながるという点に注意が必要であることを示した。予算の策定に際しては,実際に業務を行う従業員から得た情報が含まれることがある(参加型予算)(Heinle, Ross, and Saouma 2013; Anderson, Dekker, and Sedatole 2010; Groen, Wouters, and Wilderom 2017)。自身が評価を受ける場合,目標が達成しやすいものになるよう影響を与えるインセンティブが生まれる(予算ゲーム)(Van der Stede 2000; Chow, Cooper, and Haddad 1991)。このような背景において,ネガティブなフレーミングの業績指標においては,より保守的な業績目標の設定を招く可能性がある。

第3に,本研究は業績評価システムの設計におけるフレーミングについての実務的な貢献を持つ。業績指標の見せ方だけで意思決定や努力量が変わるのであれば,先行研究で示されていた報酬と罰というフレーミングよりも実務上導入がしやすい。報酬と罰のフレーミングは,インセンティブ契約の契約内容に関わる。また,多くの企業において,罰を含めた契約は難しい。一方で,本研究で検証した属性フレーミングは,業績指標の表示方法を変えているのみである。そのため,このフレーミングを用いて従業員の行動に働きかける場合,インセンティブ契約自体を変える必要はない。業績の表示方法を変えるだけで努力の方向性や量をコントロールできるのであれば,より柔軟なマネジメントコントロールが可能になるß。

以上のように業績評価システムの設計,特に指標の選択や目標設定の局面におけるフレーミングの効果を明らかにした。これは業績評価システムの設計においてインセンティブの強度を調整する新たな手段を提示するものである。

2 理論と仮説

2.1 業績評価における指標選択の問題

業績評価に関連する研究において,指標の選択は古くから研究のなされる領域である。主にエージェンシー理論を基礎として,望ましい指標の特性や,組み合わせが議論されてきた (Hölmstrom 1979; Milgrom and Roberts 1992)。エージェンシー理論をベースにした研究では,従業員が企業にとって望ましい方向の努力を引き出すための指標の選択についての指針が示される。例えば,Banker and Datar (1989) では,望ましい業績指標の特性として,業績指標が従業員の行動を測定する上での感度と精度を取り上げた。

効用最大化を目指す従業員は,得られる報酬の価値と自身の努力コストとの差を踏まえて投入する努力量を決定する。ここで,得られる報酬の価値は,努力を投入した際に得られる報酬の期待値と考えることができる。目標が高すぎて,努力を投入したところで報酬が得られる可能性が低い場合には努力は引き出されない。また,業績指標の感度が悪く,努力を投入することと業績が高まることの関連性が薄い場合にもやはり,努力に対する報酬の期待値が高くなくなり,努力が引き出されない。

以上のように,業績評価における指標の選択は,望ましい方向の努力を引き出せるか否か,そして高い努力量を引き出せるか否かに対して重要な要素である。本研究では,この指標選択におけるフレーミングの影響,つまり情報内容は同じであっても,表示の仕方が異なる場合について検討する。これは,エージェンシー理論に従うと同じ方向の,同じ努力をひきだす。しかし,主に心理学をベースとした研究において,情報の見せ方が従業員の判断に重大な影響を与えることが知られている。

業績評価研究において,情報の見せ方によってその対象への評価が変わることが示されてきた。Lipe and Salterio (2002)Cardinaels and Veen-Dirks (2010) は,複数の業績指標を用いて評価する際,情報の並び方や追加情報(目標を達成したかどうかを+ や - を使って示す)が判断に影響することを示してきた。情報の並びや目標達成状況を示す目標は,追加的な情報を示しているわけではない。にも関わらず,評価者情報の受け取り方が変わるという点は,情報の表示方法に注目した本研究と関連している。

2.2 属性フレーミング

属性フレーミングは,情報の提示が人々の評価や意思決定にどのような影響を与えるかを指す(Levin, Schneider, and Gaeth 1998)。同じ属性や結果が異なる方法で説明されるとき、それはさまざまな認識や選択につながる可能性がある。例えば,あるプロジェクトに関して「成功する確率は90%である」と記述することと,「失敗する確率は10%である」と表現することは,論理的には同一であるが,どちらの表現かによって人は異なる情報処理を行い,対象に対する異なる評価を下すことが知られている。特に,ポジティブな表現を聞いた場合はネガティブな表現を聞いた時よりも対象へ好ましい評価をすることが傾向があるとされる。有名な例は,“75%の赤身”と説明された牛肉は,“25%の脂肪”と説明された牛肉より高い評価を受けた,という Levin and Gaeth (1988) の研究である。

2.3 業績評価指標のフレーミング

本研究では業績指標の選択の文脈において,指標のフレーミングという要素を考慮に入れることの重要性を主張する。業績指標の中には,ポジティブな表示方法もネガティブな表示方法もできるものが存在する。典型的には非財務指標で,顧客満足度(顧客アンケートで一定以上の評価をつけた割合)と顧客不満足度(同じ顧客アンケートで一定以下の評価をつけた割合),製造現場における歩留まり率(良品率)と不良品率といった指標の組み合わせがある。どちらも論理的には同じ情報を含んでいるが,ポジティブな表現かネガティブな表現かという側面にのみ違いがある。

これらの表現方法の違いは,エージェンシー理論上動機付け効果に違いがないと言える。一方で,フレーミングの違いが,業績指標が測定する対象についての評価を左右するのであれば,その対象の評価だけでなく,従業員自身の行動に違いが生じる可能性もある。本研究では特に,業績評価指標のフレーミングが,その指標で評価される従業員の目標設定とその後の努力に与える影響を検証する。

ポジティブなフレーミングの場合の方がネガティブなフレーミングに比べて対象に対する好意的な印象をもたらす。逆にネガティブなフレーミングであると好ましくない結果が起こる確率をより高く見積もることが知られている (Levin et al. 1998) 。自身の業務目標を設定する際にも同様に,ネガティブなフレーミングの指標を用いると,より好ましくない結果(ここでは,自身が目標を達成できないこと)が起こる確率を高く見積もると考えられる。結果として,ポジティブなフレーミングに比べて,より保守的な目標設定を行うと予測できる。

仮説1

業績指標のフレーミングは自身で設定する目標のレベルに影響する。特にネガティブなフレーミングは低い目標をもたらす

2.4 フレーミングと努力

報酬と罰のフレーミングにおいて,ネガティブなフレーミングの方が(少なくとも短期的には)高い努力をもたらす (Burke et al. 2023; Hossain and List 2012; Hannan et al. 2005; Frederickson and Waller 2005) 。人は報酬を得ることよりも損失が出ることにより強く注意を向ける (Tversky and Kahneman 1981)。ネガティブなフレーミングは,損失を連想させ,損失回避のための努力を引き出す効果があると言われる。表示の仕方を変えるだけの帰属フレーミングが努力に与える影響についての先行研究はほとんどないが,同じようにネガティブなフレームの情報は,損失を連想させ,損失回避がより強く働くと予測される (Tversky and Kahneman 1981)

また,ポジティブなフレーミングとネガティブなフレーミングでその測定対象について異なる認識を持つのであれば,モチベーションの大きさが異なる可能性がある。ポジティブなフレーミングの情報はポジティブな結果が起こる可能性を高く見積もるので,必要な努力量が小さく見積もられる。一方で,ネガティブなフレーミングの情報は,ネガティブな結論の確率を高く見積もるので,ポジティブなフレーミングの場合に比べ,必要な努力量を大きく見積もる。以上から,仮説2を設定とする。

仮説2

業績指標のフレーミングは努力に影響する。特にネガティブなフレーミングはその業績指標を高めるための高い努力をもたらす。

2.5 フレーミングとインセンティブ

業績指標がインセンティブ報酬と結びついているとき,属性フレーミングがどのような影響をもたらすかについては,ほとんど明らかになっていない。インセンティブとフレーミングの関係において罰の回避の方が努力を引き出すことが知られている (Hannan et al. 2005; Frederickson and Waller 2005) 。もし,目標フレーミングと同様に,属性フレーミングにおいてもネガティブなフレーミングが損失回避の動機づけと結びつく場合,インセンティブ報酬がその動機づけを強める可能性がある。一方で,属性フレーミングは目標フレーミングと異なり,実際に罰金のようなネガティブな報酬が生じるわけではない。そのため,属性フレーミングの違いは目標フレーミングのようにインセンティブによって動機づけ効果が強められるわけではない可能性がある。

ポジティブなフレーミングとネガティブなフレーミングでは,インセンティブ報酬との一貫性が異なる。ポジティブなフレーミング×報酬は,ポジティブな結果に対してポジティブな報酬が得られるという意味で,一貫性がある。ネガティブなフレーミング×報酬は,ネガティブな結果を避けることでポジティブな報酬が得られるという意味で,一貫性がない。一貫している場合の方が努力を引き出せる可能性がある。

先行研究からは事前に仮説の一貫した予測を立てることが出来ない。そこで帰無仮説として以下を設定する。

仮説3

インセンティブはフレーミングと努力の関係を媒介しない

3 Experiment

3.1 Experimental Task

In this study, we used a decoding task in which participants translated randomly sequenced numbers into the corresponding alphabet. Specifically, we presented participants with cards like the one shown in Figure 1 , and they translated the five-digit numbers into the alphabet using the upper side of the card. This task has been used in a number of studies, including accounting studies (Chow 1983).

Participants redirected to our website from Prolific first read instructions pages about the experiment itself and the task they perform. They then conduct the two-minute practice round. After the practice round, the participants read the rule about performance evaluation and rewards, followed by a quiz page to ensure their understanding of the instructions. Incorrect answers are redirected to a retry page of the same question. After successfully completing the quiz, participants proceed to the experimental task. The main task consisted of four rounds. In each round, participants set a target number of cards to try in 120 seconds. They could try cards up to the number they set as the target. After the four rounds of the main task, participants answered a post-experiment questionnaire.

We designed the experiment using oTree (Chen, Schonger, and Wickens 2016), a Python-based environment specialized for designing web-based experiments or surveys.

Figure 1: A sample of the cards participants conducted

3.2 Experimental design

The base reward is calculated by the formula below

\[ \begin{split} Base &= Tried \times \frac{Success}{Target} \\ &= Tried \times SRate \end{split} \]

\(Tried\) refers to the cards they actually tried,\(Success\) represents the number of cards they succeeded in solving, and \(Target\) represents the targeted number of cards participants set each round. Participants are instructed to aim for a 90% success rate or higher (10% failure rate or lesser) and work on as many cards as possible, regardless of conditions.

In this task, we are conducting a 2 x 2 between-participants experimental design where we manipulate two factors. The first factor is the framing of the performance measure (framing). All participants will be evaluated based on the number of cards they attempt to decode. However, participants in the positive framing condition (Positive) will be evaluated based on their success rate (i.e. the number of cards that they successfully decode out of the total number of cards set as the target). On the other hand, participants in the negative framing condition (Negative) will be evaluated based on their failure rate (i.e. the number of cards they fail to decode out of the total number of cards set as the target).

The second factor that was manipulated in this study is the incentive scheme (incentive) which consists of liner condition (Liner) and incentive condition (Incentive). In the liner condition, participants are evaluated based on the number of cards tried multiplied by the success rate, which is calculated by the points. There is no fixed target regarding framed performance measures in the liner condition. However, in the incentive condition, participants with a success rate of 90% or higher (a failure rate of 10% or less) receive 150% of the points. It is worth noting that one point equals £0.07.

3.3 Participants

For our experiment, we recruited 220 individuals from Prolific, an online crowdsourcing service for experimental research. To ensure consistency, we limited the sample to those in the US or the UK. We did not set a fixed fee for participation, but Prolific sets the minimum fee based on the actual time taken by participants to complete the experiment. If the fee offered by the system falls below the minimum, we provide the minimum fee (which is approximately £2.7) instead of the fee based on the points.

60% of participants are residents of the US, the mean (SD) age was 36.9 (12.8), 50% are female, 18% have student status, and 43% are full-time workers.

4 Results

4.1 Variables definition

For examining H1, we use Target, the targeted number of cards the participants set as their own target. For examining H2 and H3, We decompose the SRate of (1) as such to separate the target setting practice and the effort for the incentivized task: how accurate when they complete the cards

\[ \begin{split} SRate &= \frac{Success}{Target} \\ &=\frac{Success}{Tried} \times \frac{Tried}{Target} \\ &= Accurate \times TrialRate \end{split} \]

Accurate is the number of successes out of the actual attempts, so it represents the accuracy of the work. We also examine the TrialRate, which represents the difficulty of the target.

As manipulation variables, we use framing and incentive, each of which represents framing of performance measures (Positive or Negative) and incentive conditions (Liner and Incentive).

4.2 記述統計量

Package
options(scipen=999) 
options(digits = 3)
if (!require("pacman")) install.packages("pacman") 
pacman::p_load(tidyverse, magrittr, estimatr, 
               modelsummary, gt, gtExtras, car, ggpubr,
               dae, rstatix, semTools, semPlot, gplots,
               psych, kableExtra, conflicted) 

conflicts_prefer(
  dplyr::filter,
  dplyr::lag,
  dplyr::select,
  psych::alpha
)
Read and combine the data
pre1 <- read_csv('data/data1.csv')
pre2 <- read_csv('data/data2.csv')

demo1 <- read_csv('data/data1_demo.csv')
demo2 <- read_csv('data/data2_demo.csv')

demo1 <-demo1 |>
  rename("practice2.1.player.proid" = `Participant id`)
demo2 <-demo2 |>
  rename("practice2.1.player.proid" = `Participant id`)

pre1 <-
  left_join(pre1, demo1, by = "practice2.1.player.proid")
pre2 <-
  left_join(pre2, demo2, by = "practice2.1.player.proid")


data1 = 
  bind_rows(pre1, pre2)
Make variables
dfc <- data2 |> 
  filter(id_in_session <= 142) |> 
  drop_na(time_started_utc) |> 
  filter(index_in_pages >= 30)




#従属変数


dfc <- dfc |> 
  mutate(
         trial_rate_1 = 100 * num_trials_1 / target_trial_1,
         trial_rate_2 = 100 * num_trials_2 / target_trial_2,
         trial_rate_3 = 100 * num_trials_3 / target_trial_3,
         trial_rate_4 = 100 * num_trials_4 / target_trial_4)


dfc %<>%
  mutate(
         s_rate2_1 = 100 * num_correct_1 / num_trials_1,
         s_rate2_2 = 100 * num_correct_2 / num_trials_2 ,
         s_rate2_3 = ifelse(num_trials_3 != 0,100 * num_correct_3 / num_trials_3 ,0),
         s_rate2_4 = 100 * num_correct_4 / num_trials_4 )

dfc %<>%
  mutate(score_1 = num_trials_1 * s_rate_1,
         score_2 = num_trials_2 * s_rate_2,
         score_3 = num_trials_3 * s_rate_3,
         score_4 = num_trials_4 * s_rate_4)

dfctime <- dfc

dfc %<>%
  mutate(num_trials = select(.,
                             num_trials_1, 
                             num_trials_2,
                             num_trials_3,
                             num_trials_4) |> 
           rowMeans())
dfc %<>%
  mutate(target_trial = select(.,
                               target_trial_1,
                               target_trial_2,
                               target_trial_3,
                               target_trial_4) |> 
           rowMeans())
dfc %<>% 
  mutate(s_rate = select(.,
                         s_rate_1,
                         s_rate_2,
                         s_rate_3,
                         s_rate_4) |> 
           rowMeans())
dfc %<>%
  mutate(trial_rate = select(.,
                         trial_rate_1,
                         trial_rate_2,
                         trial_rate_3,
                         trial_rate_4) |> 
           rowMeans())



dfc %<>%
  mutate(s_rate2 = select(.,
                         s_rate2_1,
                         s_rate2_2,
                         s_rate2_3,
                         s_rate2_4) %>% 
           rowMeans())

# インセンティブ達成有無
dfc %<>%
  mutate(get_incentive_1 = s_rate_1 >= 90,
         get_incentive_2 = s_rate_2 >= 90,
         get_incentive_3 = s_rate_3 >= 90,
         get_incentive_4 = s_rate_4 >= 90
  )


dfc %<>%
  mutate(get_incentive = select(.,
                                get_incentive_1,
                                get_incentive_2,
                                get_incentive_3,
                                get_incentive_4) |> 
           rowSums())

dfc %<>%
  mutate(score = num_trials * s_rate)
         

#コントロール
dfc %<>% 
  mutate(nfc = select(.,
                      nfc1, nfc2, nfc3, nfc4, 
                      nfc5, nfc6, nfc7, nfc8, 
                      nfc9, nfc10, nfc11, 
                      nfc12, nfc13, nfc14, 
                      nfc15, nfc16, nfc17, nfc18) |> 
           rowMeans())

dfc %<>%
  mutate(incentive = factor(incentive_p,
                            levels = c(0, 1), 
                            labels = c("Liner","Incentive")),
         frame = factor(frame_positive_p,
                        levels = c(1, 0), 
                        labels = c("Positive", "Negative")))

#フルサンプルを残しておく
dfc_full <- dfc
記述統計準備
# 
# dfc_full |> 
#   select(target_trial, trial_rate, s_rate,s_rate2, score) |> 
#   datasummary_skim()


# Create a list of t-tests
t_tests_list <- list(
  target_trial = t.test(target_trial ~ frame, data = dfc_full),
  trial_rate = t.test(trial_rate ~ frame, data = dfc_full),
  s_rate = t.test(s_rate ~ frame, data = dfc_full),
  s_rate2 = t.test(s_rate2 ~ frame, data = dfc_full),
  score = t.test(score ~ frame, data = dfc_full)
)

# Extract t-values and p-values using map()
new <- data.frame(
  't.value' = map_dbl(t_tests_list, "statistic"),
  'p.value' = map_dbl(t_tests_list, "p.value"))


new$sign <- case_when(
  new$p.value < 0.01 ~ "***",
  new$p.value < 0.05 ~ "**",
  new$p.value < 0.1 ~ "*",
  TRUE ~ "")



# Create a list of t-tests
t_tests_list <- list(
  target_trial = t.test(target_trial ~ incentive, data = dfc_full),
  trial_rate = t.test(trial_rate ~ incentive, data = dfc_full),
  s_rate = t.test(s_rate ~ incentive, data = dfc_full),
  s_rate2 = t.test(s_rate2 ~ incentive, data = dfc_full),
  score = t.test(score ~ incentive, data = dfc_full)
)

# Extract t-values and p-values using map()
newi <- data.frame(
  't.value' = map_dbl(t_tests_list, "statistic"),
  'p.value' = map_dbl(t_tests_list, "p.value"))


newi$sign <- case_when(
  newi$p.value < 0.01 ~ "***",
  newi$p.value < 0.05 ~ "**",
  newi$p.value < 0.1 ~ "*",
  TRUE ~ "")
記述統計1
datasummary((Target =target_trial) + 
              (TrialRate = trial_rate) + 
              (Accurate = s_rate2) + 
              (SRate = s_rate) + 
              (Base = score) ~ 
              frame * ((n = N) + 
                         (M = mean) + 
                         (SD = sd)),
            data = dfc_full,
            #output = 'kableExtra',
            add_columns = new,
            align = 'lrrrrrrrrl'
            ) 
datasummary((Target =target_trial) + 
              (TrialRate = trial_rate) + 
              (Accurate = s_rate2) + 
              (SRate = s_rate) + 
              (Base = score) ~ 
              incentive * ((n = N) + 
                         (M = mean) + 
                         (SD = sd)),
            data = dfc_full,
            #output = 'kableExtra',
            add_columns = newi,
            align = 'lrrrrrrrrl'
            ) 
tinytable_t9j3eh6gu2n708nchavz
Positive Negative
n M SD n M SD t.value p.value sign
Target 105 7.81 2.40 115 6.92 2.51 2.68 0.01 ***
TrialRate 105 91.80 11.43 115 94.78 7.01 -2.31 0.02 **
Accurate 105 96.78 5.70 115 96.57 6.65 -1.63 0.11
SRate 105 89.31 11.99 115 91.74 9.95 0.25 0.80
Base 105 626.78 220.50 115 585.72 208.57 1.42 0.16
tinytable_408qq9tacbfbxb2vv0cx
Liner Incentive
n M SD n M SD t.value p.value sign
Target 108 7.05 2.58 112 7.63 2.38 -1.76 0.08 *
TrialRate 108 93.90 8.89 112 92.83 10.02 0.83 0.41
Accurate 108 95.64 8.02 112 97.67 3.44 -0.20 0.84
SRate 108 90.43 11.67 112 90.73 10.40 -2.42 0.02 **
Base 108 582.95 224.12 112 626.88 204.18 -1.52 0.13
Table 1: Summary statistics (by conditions)
Process the variables
data2 <-data1|> 
  select(where(~any(!is.na(.)))) |>
  nest(session = starts_with("session"))|>
  nest(payment_info = starts_with("payment_info"))

data2 <- data2 |>
  rename_with(\(x) str_remove(x, "participant._"),
              contains("participant._")) |>
  rename_with(\(x) str_remove(x, "participant."),
              contains("participant."))

data2 <- data2 |>
  select(-session, -payment_info)


data2 <- data2 |>
  rename_with(\(x) str_c(x, "_p"),
              starts_with('practice2.1.'))|>
  rename_with(\(x) str_remove(x, "practice2.1.player."),
              contains("practice2.1.player.")) 

data2 <- data2 |>
  select(-one_of('survey.1.player.payoff')) |>
  rename_with(\(x) str_remove(x, "survey.1.player."),
              contains("survey.1.player."))


remove <- c('max_page_index','is_bot',
            'current_app_name','current_page_name',
            'payoff_p')

data2 <- data2|> 
  select(-contains('subsession'),-contains('id_in_group'),-one_of(remove))

# 
# pre2 <-pre2 |>
#   rename_with(\(x) str_remove(x, "_"),
#               contains("_")) %>% 
#   rename_with(\(x) str_remove(x, "_"),
#               contains("_")) 


for (i in 1:4) {
  data2 <- data2 |>
    rename_with(\(x) str_c(x, paste0('_',i)),
                starts_with(paste0('real_effort2.',i,'.')))|>
      rename_with(\(x) str_remove(x, paste0("real_effort2.",i,".player.")),
                  contains(paste0("real_effort2.",i,".player.")))
  }

data2 <- data2 |>
  rename("payoff_all" = payoff)

Table 1 は条件ごとの記述統計である。frame 条件ごとに見ると,Target はネガティブな方が少ない ( t = 2.685, p = 0.008) 。ネガティブなフレーミングは保守的な目標設定をもたらす。TrialRate はネガティブな方が大きい ( t = -2.309, p = 0.022)。難易度の低い目標になっていると言える。Accurate, SRate, Baseに有意な差がない。

incentive条件ごとに見ると,Target はインセンティブありの方が多い( t = 0.834, p = 0.405)。インセンティブ条件は,インセンティブがかかる指標(成功率)だけではなく,目標にも影響を与える。Accurate はインセンティブありの方が多い( t = -2.424, p = 0.017)。インセンティブに従い,成功率が上がる(失敗率が下がる)。

Correlations
# options(modelsummary_format_numeric_html = "mathjax")
# options(modelsummary_model_labels = "model")



dfc_full |> 
  select('Target' = target_trial,
         'TrialRate' = trial_rate,
         'Accurate' = s_rate2,
         'SRate' = s_rate,
         'Base' = score) |>
  datasummary_correlation(output = 'kableExtra') 
Target TrialRate Accurate SRate Base
Target 1 . . . .
TrialRate −.29 1 . . .
Accurate .06 .23 1 . .
SRate −.22 .90 .59 1 .
Base .60 .45 .31 .50 1
Table 2: 相関表

Table 2 によると\(TrialRate\)\(Accurate\)の相関があまり高くない。これは,\(SRate\)を分解した2つの指標がそれぞれ異なる側面を捉えていることを示唆する。

4.3 Main Analysis

分散分析
a <- Anova(lm(num_trials ~ frame*incentive, data = dfc_full))
b <- Anova(lm(target_trial ~ frame*incentive, data = dfc_full)) 
d <- Anova(lm(trial_rate ~ frame*incentive, data = dfc_full))
e <- Anova(lm(get_incentive ~ frame*incentive, data = dfc_full))
c <- Anova(lm(s_rate ~ frame*incentive, data = dfc_full))
f <- Anova(lm(score ~ frame*incentive, data = dfc_full))
g <- Anova(lm(s_rate2~ frame*incentive, data = dfc_full))


list('Target' = b,
     'TrialRate' = d,
     'Accurate' = g,
     'SRate' = c,
     'Base' = f
     )  |>  
  modelsummary(stars = c('*' = .1, '**' = .05, '***' = .01),
               gof_omit = "all",
               estimate = "{statistic}{stars}",
               align = 'lddddd',
               output="kableExtra", 
               coef_omit = 'Residuals',
               booktabs=T) 
Target TrialRate Accurate SRate Base
frame    7.720***   5.731**   0.133     2.681   2.224
incentive    3.642*     0.896     6.115**   0.017   2.521
frame × incentive    1.103      0.505     2.731*    2.816*  0.248
Table 3: Result of ANOVAs. * < .1, ** < .05, *** < .01. Statistics are \(F_{1,216}\).

仮説を検定するために,Taget, Acculateを従属変数,frameincentiveを独立変数としたANOVAを行う。 なお,参考のため,TrialRate, SRate, Baseの結果も合わせて表示している。 Table 3 はANOVAの結果であり,表内の数値はF値を表している。 Figure 2 は主要な従属変数の結果を表示したものである。

Targetを従属変数としたモデルにおいて,frameの主効果が有意 (\(F_{1,216}\) =7.72, p = 0.006 )。ネガティブなフレーミングは保守的な目標設定につながり,結果として取り組み数が小さくなる。仮説1と整合的な結果である。また,TrialRateにおいて,Frameの主効果が有意 (\(F_{1,216}\) =5.731, p = 0.018 )。ネガティブなフレーミングの方が,実際に取り組むことのできる現実的な目標を設定していると言える。言い換えると難易度の低い目標を設定している。

仮説2に関連して,Accurateを従属変数としたモデルにおいてframeの主効果は有意でない。仮説2とは整合しないincentiveが有意 (\(F_{1,216}\) =6.115, p = 0.014 )。成功率に対するインセンティブがある時,実際に成功率が上がる。

仮説3に関連して,Accurate(およびSRate)において,frame × incentive が有意だった (それぞれ\(F_{1,216}\) =2.731, p = 0.1 ; \(F_{1,216}\) =2.816, p = 0.095 )。 Figure 2 にあるように,作業の正確性はネガティブなフレーミングでなおかつインセンティブありの時に強くなる。

ネガティブなフレーミングは,インセンティブ条件のもとで高い成功率(低い失敗率)につながる。特に目標値は成功率90%だったが,ネガティブなフレーミングを受けた参加者の成功率は,インセンティブ条件においては有意に90%より大きい (t =2.778, p = 0.007 が,ポジティブ条件ではそうではない (t =-1.144, p = 0.258 )

symnum.args <- list(cutpoints = c(0, 0.01, 0.05, 0.1, Inf), 
                    symbols = c( "***", "**", "*", "ns")
                    )


# create_means <- \(data, response_var) {
#   means <- data |>
#     group_by(frame, incentive) |>
#     summarise(mean_response = mean({{ response_var }}),
#               se = sd({{ response_var }}) / sqrt(n()),  # Separate calculation
#               .groups = "drop")  # Explicitly set .groups argument
# }
# 
# means <- create_means(dfc_full,target_trial)
a1g <-
  ggline(dfc_full,
         x = "frame",
         y = "target_trial",
         color = "incentive",
         add = c("mean"), # add mean and standard error
         title = "Target") +
  labs(y = "") +
  theme_minimal()+theme(panel.grid=element_blank()) 


a2g <-
ggline(dfc_full,
       x = "frame",
       y = "s_rate2",
       color = "incentive",
       add = c("mean"), # add mean and standard error
       title = "Accurate") +
  labs(y = "") +
  theme_minimal()+theme(panel.grid=element_blank()) 
 

ggarrange(a1g,a2g,
          nrow = 1, ncol = 2, align = "hv",
          common.legend = TRUE)
Figure 2: Observed Effects of Performance Measure’s Framing and Incentive on Employees’ Performance target setting and effort. * < .1, ** < .05, *** < .01.

5 Further Evidence

主要な結果が我々の理論によって生じていることを確認するために,いくつかの追加分析を行った。

5.1 練習ラウンド

練習ラウンドは,業績評価の条件を見せる前に行なってもらっている。もし,分析結果がトリートメントの効果であれば,練習ラウンドでの各群の差は見られないはずである。 Table 4 から,練習ラウンドにおける有意な差はみられない。これは本研究の結果が実験の操作によって生じているということを支持する。

Code
dfc_full <- dfc_full |> 
  mutate(s_rate_p = ifelse(num_trials_p != 0,
                           num_correct_p / num_trials_p,
                           0))



# Create a list of t-tests
t_tests_list <- list(
  target_trial = t.test(num_trials_p ~ frame, 
                        data = dfc_full),
  s_rate2 = t.test(s_rate_p ~ frame, 
                   data = dfc_full)
)

# Extract t-values and p-values using map()
new <- data.frame(
  't.value' = map_dbl(t_tests_list, "statistic"),
  'p.value' = map_dbl(t_tests_list, "p.value"))


# Create a list of t-tests
t_tests_list <- list(
  target_trial = t.test(num_trials_p ~ incentive, 
                        data = dfc_full),
  s_rate2 = t.test(s_rate_p ~ incentive, 
                   data = dfc_full)
)

# Extract t-values and p-values using map()
newi <- data.frame(
  't.value' = map_dbl(t_tests_list, "statistic"),
  'p.value' = map_dbl(t_tests_list, "p.value"))
Code
datasummary((NumTrial = num_trials_p) + (Accurate = s_rate_p) ~ 
              frame * ((M = mean) + 
                         (SD = sd)),
            data = dfc_full,
            #output = 'kableExtra',
            add_columns = new)
datasummary((NumTrial = num_trials_p) + (Accurate = s_rate_p) ~ 
              incentive * ((M = mean) + 
                         (SD = sd)),
            data = dfc_full,
            #output = 'kableExtra',
            add_columns = newi)
tinytable_2e9xljhizfnfo31djgcb
Positive Negative
M SD M SD t.value p.value
NumTrial 6.13 2.15 5.80 1.75 1.25 0.21
Accurate 0.91 0.21 0.94 0.14 -1.12 0.26
tinytable_5ck06f3i4hpp6rh1k60v
Liner Incentive
M SD M SD t.value p.value
NumTrial 5.74 1.89 6.17 2.00 -1.64 0.10
Accurate 0.93 0.19 0.93 0.16 0.07 0.95
Table 4: Summary statistics of the practice round (by conditions). * < .1, ** < .05, *** < .01.

5.2 Need for Cognition (NFC)

Code
dfc_full %<>%
  mutate(mediannfc = median(nfc),
         dnfc = nfc > mediannfc)
dfc_full %<>%
  mutate(dnfc = factor(dnfc,
                       levels = c(FALSE, TRUE), 
                       labels = c("Low NFC","High NFC")))

dfc_full  |> 
  select(
         nfc1, nfc2, nfc3, nfc4, 
         nfc5, nfc6, nfc7, nfc8, 
         nfc9, nfc10, nfc11, 
         nfc12, nfc13, nfc14, 
         nfc15, nfc16, nfc17, nfc18) |> 
  do(alpha(.,check.keys=TRUE)$total,) -> alp



tbl <- dfc_full%$%
  table(frame, incentive, dnfc)
mante <-mantelhaen.test(tbl)

本研究が本研究で意図するように情報の見せ方によって生じている場合,情報を精査して考える人とそうでない人で結果に違いが出るはずである。実験のあと,各参加者はNeed for Cognition (NFC)を測定する質問に答えている。

NFCは Smith and Levin (1996) に従って18の質問で測定した (\(\alpha\) = 0.925)ものを,中央値で分割し,High NFCLow NFCとした。参加者はランダムに割り振られているため,特定のグループに偏ってはいない (Mantel-Haenszel \(\chi^2\) = 0.228, p = 0.633)。Table 5 は,NFCごとに分けた3要因の分散分析の結果である。

Code
a <- Anova(lm(num_trials ~ frame*incentive*dnfc, 
              data = dfc_full))
b <- Anova(lm(target_trial ~ frame*incentive*dnfc, 
              data = dfc_full)) 
d <- Anova(lm(trial_rate ~ frame*incentive*dnfc, 
              data = dfc_full))
e <- Anova(lm(get_incentive ~ frame*incentive*dnfc, 
              data = dfc_full))
c <- Anova(lm(s_rate ~ frame*incentive*dnfc, 
              data = dfc_full))
f <- Anova(lm(score ~ frame*incentive*dnfc, 
              data = dfc_full))
g <- Anova(lm(s_rate2 ~ frame*incentive*dnfc, 
              data = dfc_full))




list('Target' = b,
     'TrialRate' = d,
     'Accurate' = g,
     'SRate' = c,
     'Score' = f) |> 
  modelsummary(
               stars = c('*' = .1, '**' = .05, '***' = .01),
               gof_omit = "all",
               estimate = "{statistic}{stars}" ,
               align = 'lddddd',
               output="gt", 
               coef_omit = 'Residuals',
               booktabs=T)  |> 
  tab_style(
    style = cell_text(style = "italic"),
    locations = cells_column_labels()
  ) |>
  tab_style(
    style = cell_text(style = "italic"),
    locations = cells_body(columns = 1)
  ) 
# dfc_full %>% 
#   filter(incentive == 'Incentive' & frame == 'Positive' & dnfc == 'Low NFC') %$%
#   t.test(trial_rate, mu = 90)
Target TrialRate Accurate SRate Score
frame    9.829***   6.586**   0.153     3.009*  2.638
incentive    4.095**    1.144     5.936**   0.000   2.441
dnfc    0.113      0.036     0.412     0.412   0.142
frame × incentive    0.742      0.418     2.852*    2.798*  0.396
frame × dnfc    1.790      1.886     0.008     1.191   0.003
incentive × dnfc    9.717***   3.940**   0.010     2.028   1.887
frame × incentive × dnfc    0.354      0.143     0.249     0.491   0.396
Table 5: Result of ANOVAs. * < .1, ** < .05, *** < .01. Statistics are \(F_{1,216}\).

分析の結果,Target について,incentive × dnfcが有意だった (\(F_{1,212}\) =0.742, p = 0.39)。これは Figure 3 からわかるように,NFCが低い人ほどインセンティブに反応して高い目標を立てる傾向があることを示している。TrialRateについても,incentive × dnfcが有意だった (\(F_{1,212}\) =0.418, p = 0.519)。目標が高いことと関連して,低いNFCの人は,インセンティブ条件において成功率が下がる傾向がある。NFCが低い人は,作業内容と自身の能力との関係をよく考えずに報酬に飛びつく傾向がある(つまりインセンティブの効果が大きい)と言える。

これらの結果は,incentiveに対する目標設定の反応が,参加者の判断によるものであるということを補強する。一方で,NFCと業績評価のフレーミングとの間に有意な関係は見られなかった。

Code
symnum.args <- list(cutpoints = c(0, 0.01, 0.05, 0.1, Inf), 
                    symbols = c( "***", "**", "*", "ns"))


create_means <- \(data, response_var) {
  means <- data |>
    group_by(frame, incentive,dnfc) |>
    summarise(mean_response = mean({{ response_var }}),
              se = sd({{ response_var }}) / sqrt(n()),  # Separate calculation
              .groups = "drop")  # Explicitly set .groups argument
}

means <- create_means(dfc_full,target_trial)



interaction.ABC.plot(target_trial, 
                     x.factor=incentive,
                     groups.factor=dnfc, 
                     trace.factor=frame,
                     data=dfc_full,
                     title="Target",
                     ggplotFunc=list(
                       theme_minimal(),
                       theme(panel.grid=element_blank()),
                       labs(y = "")
                     ))
Figure 3: Observed Effects of Performance Measure’s Framing, Incentive, and NFC on Employees’ Performance target setting and effort. * < .1, ** < .05, *** < .01.

5.3 最初のラウンドと最後のラウンド

本研究では,最大2分1のラウンドを4回取り組んでもらっている。特に目標設定について,フレーミングによる差が参加者の認知によるものであった場合,その違いはラウンドを追うごとに小さくなっていくと考えられる。そこで,最初のラウンドと最後のラウンドの結果だけを取り出して分析を行なった。最初のラウンドにおいて,frameの目標に対する効果は有意だが,最後のラウンドでは有意でなくなっている。これは,目標設定におけるフレーミングの効果が徐々に消失していることを示唆する。一方で,最初のラウンドでは有意ではなかったTrialRate, Accurate, SRate, Scoreについて,frame × incentive が有意だった。 Figure 4 にあるように,インセンティブによる業績向上の効果は,ネガティブなフレーミングの時により強くなる。これは仮説3に関連する結果である。ネガティブ×インセンティブ条件では,目標の難易度が低い代わりに,作業の正確性が高まり,結果として総スコアも高くなる。ここから,やはりネガティブなフレーミングとインセンティブ条件は互いを弱める関係ではなく,お互いの効果を高め合うような関係にあることがわかる。加えて,この効果はラウンドが進んだ後により強く現れる。

分散分析
a <- Anova(lm(num_trials_1 ~ frame*incentive, data = dfc_full))
b <- Anova(lm(target_trial_1 ~ frame*incentive, data = dfc_full)) 
d <- Anova(lm(trial_rate_1 ~ frame*incentive, data = dfc_full))
e <- Anova(lm(get_incentive_1 ~ frame*incentive, data = dfc_full))
c <- Anova(lm(s_rate_1 ~ frame*incentive, data = dfc_full))
f <- Anova(lm(score_1 ~ frame*incentive, data = dfc_full))
g <- Anova(lm(s_rate2_1 ~ frame*incentive, data = dfc_full))


list('Target' = b,
     'TrialRate' = d,
     'Accurate' = g,
     'SRate' = c,
     'Score' = f
     ) |> 
  modelsummary(stars = c('*' = .1, '**' = .05, '***' = .01),
               gof_omit = "all",
               estimate = "{statistic}{stars}",
               align = 'lddddd',
               output = "kableExtra", 
               coef_omit = 'Residuals',
               booktabs = T,threeparttable = T
               ) 
a <- Anova(lm(num_trials_4 ~ frame*incentive, data = dfc_full))
b <- Anova(lm(target_trial_4 ~ frame*incentive, data = dfc_full)) 
d <- Anova(lm(trial_rate_4 ~ frame*incentive, data = dfc_full))
e <- Anova(lm(get_incentive_4 ~ frame*incentive, data = dfc_full))
c <- Anova(lm(s_rate_4 ~ frame*incentive, data = dfc_full))
f <- Anova(lm(score_4 ~ frame*incentive, data = dfc_full))
g <- Anova(lm(s_rate2_4 ~ frame*incentive, data = dfc_full))


list('Target' = b,
     'TrialRate' = d,
     'Accurate' = g,
     'SRate' = c,
     'Score' = f
     ) |>  
  modelsummary(stars = c('*' = .1, '**' = .05, '***' = .01),
               gof_omit = "all",
               estimate = "{statistic}{stars}",
               align = 'lddddd',
               output = "kableExtra", 
               coef_omit = 'Residuals',
               booktabs = T,threeparttable = T
               ) 
Target TrialRate Accurate SRate Score
frame   13.735***  2.350   3.537*  0.531   3.219*
incentive    3.481*    0.329   2.508   0.000   1.248 
frame × incentive    0.591     0.201   0.035   0.092   0.032 
(a) First Round
Target TrialRate Accurate SRate Score
frame  0.051   1.788     0.030       1.251      1.541 
incentive  0.003   0.695     1.974       0.001      2.143 
frame × incentive  0.739   3.822*    6.818***    8.895***   3.322*
(b) Forth Round
Table 6: Result of ANOVAs of the first and forth (final) rounds. * < .1, ** < .05, *** < .01. Statistics are \(F_{1,216}\).
symnum.args <- list(cutpoints = c(0, 0.01, 0.05, 0.1, Inf), 
                    symbols = c( "***", "**", "*", "ns"))



a1g <-
  ggline(dfc_full,
         x = "frame",
         y = "target_trial_4",
         color = "incentive",
         add = c("mean"), # add mean and standard error
         title = "Target") +
  labs(y = "Target") +
  theme_minimal()+theme(panel.grid=element_blank()) 





#means <- create_means(dfc_full,s_rate)
a2g <-
  ggline(dfc_full,
         x = "frame",
         y = "s_rate2_4",
         color = "incentive",
         add = c("mean"), # add mean and standard error
         title = "Accurate") +
  labs(y = "Accurate") +
  theme_minimal()+theme(panel.grid=element_blank()) 


ggarrange(a1g,a2g,
          nrow = 1, ncol = 2, align = "hv",
          common.legend = TRUE)
Figure 4: Target. * < .1, ** < .05, *** < .01.

6 結論

業績評価指標のフレーミングが従業員の目標設定及び努力とどのように関係するか,及びインセンティブに対する反応がフレーミングによって変わるかについて,実験によって検証した。

分析の結果,ネガティブなフレーミングは,低い目標と関連することが観察された。一方,ネガティブなフレーミングはその指標に対する努力業績を高める直接効果があるわけではない。しかし,フレーミングとインセンティブの交互作用が観察され,インセンティブは,ネガティブなフレーミングと努力との関係を媒介することが示唆された。フレーミングに関連する作業の正確性について,ネガティブなフレームかつインセンティブがある時,より高くなる傾向が見られた。ここから,ネガティブなフレーミングがなされた業績指標にインセンティブをかけることで,努力を引き出すことができる。

本研究は,業績評価システムの設計において新たな側面を提示する。第1に,業績評価指標のフレーミングが従業員の努力に影響を与えるという点である。本研究では,業績指標の表示の仕方が,目標設定の傾向や,インセンティブに対する反応に影響することを発見した。フレーミングが対象の評価に影響したり,インセンティブのフレーミングが努力に与える影響したりすることは検証されてきたが,指標の表示方法というフレーミングが自身の努力に関連する目標設定や実際の努力に影響するかどうかは明らかではなかった。

業績指標は大抵の場合,予算と結びついている。一般に予算は二つの目的を持つとされる(Arnold and Artz 2019)。予算には計画・資源配分に利用されるという側面があり,その目的においては,現実的な予測値が望ましい。一方で,予算は業績評価システムにおける目標値としても用いられる。この目的においては,予算は現実よりも高いものが企業としては望ましい。予算が両者の目的を持つとき,インセンティブ目的で現実から離れた目標を設定することは難しい。つまり,インセンティブ目的で目標を設定する際,その設定自由度は必ずしも高くない。

これは特にマルチタスクの従業員の業績評価システムをデザインするときに重要な限界となる。例えばAとB二つの業務があり,それぞれの業績目標の難易度やインセンティブのウェイトが同じであっても,Bの測定精度が悪いとき,従業員はBに少ない努力を振り向けることとなる。だからと言って,測定精度の低いBに関する業績指標によりインセンティブのウェイトを振り向けると,企業はより多くのリスクプレミアムを支払う必要がある。もし仮に,Bの指標がポジティブにもネガティブにもフレーミングできる場合,ネガティブにフレーミングをするだけで従業員はBの業務により注意と努力を振り向ける可能性がある。また,ネガティブにフレーミングされた業績指標の場合従業員はインセンティブにより強く反応する。これは,インセンティブ契約を変更するよりも低い導入コストで強い努力を引き出すことができる場合があることを示唆する。

第2に,参加型目標設定におけるフレーミングの効果を示した点にも貢献がある。具体的には,目標設定の時に従業員を参加させる場合には,ネガティブなフレーミングは保守的な目標設定につながるという点に注意が必要であることを示した。予算の策定に際しては,実際に業務を行う従業員から得た情報が含まれることがある)(Heinle et al. 2013; Anderson et al. 2010; Groen et al. 2017)。自身が評価を受ける場合,目標が達成しやすいものになるよう影響を与えるインセンティブが生まれる(Van der Stede 2000; Chow et al. 1991)。このような背景において,ネガティブなフレーミングの業績指標においては,より保守的な業績目標の設定を招く可能性がある。

第3に,本研究は業績評価システムの設計におけるフレーミングについての実務的な貢献を持つ。業績指標の見せ方だけで意思決定や努力量が変わるのであれば,先行研究で示されていた報酬と罰というフレーミングよりも実務上導入がしやすい。報酬と罰のフレーミングは,インセンティブ契約の契約内容に関わる。また,多くの企業において,罰を含めた契約は難しい。一方で,本研究で検証した属性フレーミングは,業績指標の表示方法を変えているのみである。そのため,このフレーミングを用いて従業員の行動に働きかける場合,インセンティブ契約自体を変える必要はない。業績の表示方法を変えるだけで努力の方向性や量をコントロールできるのであれば,より柔軟なマネジメントコントロールを可能にする。

本研究は,実験室実験という方法をとったため,他の多くの研究と同様に外的妥当性に関する限界を持つ。また,本研究においては,業績指標が全て非財務指標であった。実際の企業においては,非財務指標は財務指標とともに用いられると考えられるが,アウトカム指標である財務指標とプロセス指標である非財務指標を同時に用いた場合に両者の扱いに違いがあることが指摘されている(Ittner, Larcker, and Meyer 2003; Tan and Lipe 1997)。このようにそもそも主観的重みづけが異なる時,本研究で発見した非財務指標をネガティブにフレーミングすることで努力を振り向ける,という効果は打ち消される可能性がある。逆に,非財務指標をネガティブにフレーミングすることで,財務指標への過度な注目を和らげることができる可能性もある。財務指標と非財務指標を同時に用いた際のフレーミングの効果についての検討は将来の課題としたい。

参考文献

Anderson, S. W., H. C. Dekker, and K. L. Sedatole. 2010. An empirical examination of goals and performance-to-goal following the introduction of an incentive bonus plan with participative goal setting. Management Science 56 (1): 90109.
Arnold, M., and M. Artz. 2019. The use of a single budget or separate budgets for planning and performance evaluation. Accounting, Organizations and Society 73: 50–67.
Banker, R. D., and S. M. Datar. 1989. Sensitivity, precision, and linear aggregation of signals for performance evaluation. Journal of Accounting Research 27 (1): 2139.
Burke, J., K. L. Towry, D. Young, and J. Zureich. 2023. Ambiguous Sticks and Carrots: The Effect of Contract Framing and Payoff Ambiguity on Employee Effort. The Accounting Review 98 (1): 139–162.
Cardinaels, E., and P. M. G. van Veen-Dirks. 2010. Financial versus non-financial information: The impact of information organization and presentation in a Balanced Scorecard. Accounting, Organizations and Society 35 (6): 565–578.
Chen, D. L., M. Schonger, and C. Wickens. 2016. oTreeAn open-source platform for laboratory, online, and field experiments. Journal of Behavioral and Experimental Finance: 10.
Chow, C. W. 1983. The effects of job standard tightness and compensation scheme on performance: An exploration of linkages. The Accounting Review 58 (4): 667685.
Chow, C. W., J. C. Cooper, and K. Haddad. 1991. The effects of pay schemes and ratchets on budgetary slack and performance: A multiperiod experiment. Accounting, Organizations and Society 16 (1): 4760.
Christ, M. H., K. L. Sedatole, and K. L. Towry. 2012. Sticks and Carrots: The Effect of Contract Frame on Effort in Incomplete Contracts. The Accounting Review 87 (6): 1913–1938.
Feltham, G. A., and J. Xie. 1994. Performance measure congruity and diversity in multi-task principal/agent relations. The Accounting Review 69: 429453.
Frederickson, J. R., and W. Waller. 2005. Carrot or stick? Contract frame and use of decision-influencing information in a principal-agent setting. Journal of Accounting Research 43 (5): 709733.
Groen, B. A. C., M. J. F. Wouters, and C. P. M. Wilderom. 2017. Employee participation, performance metrics, and job performance: A survey study based on self-determination theory. Management Accounting Research 36.
Hannan, R. L., V. B. Hoffman, and D. V. Moser. 2005. Bonus versus Penalty: Does Contract Frame Affect Employee Effort? In, edited by A. Rapoport and R. Zwick, 151–169. Berlin/Heidelberg: Springer-Verlag.
Heinle, M. S., N. Ross, and R. E. Saouma. 2013. A theory of participative budgeting. The Accounting Review 89 (3): 10251050.
Hölmstrom, B. 1979. Moral hazard and observability. The Bell Journal of Economics 10: 7491.
Hossain, T., and J. A. List. 2012. The Behavioralist Visits the Factory: Increasing Productivity Using Simple Framing Manipulations. Management Science 58 (12): 2151–2167.
Ittner, C. D., D. F. Larcker, and M. W. Meyer. 2003. Subjectivity and the weighting of performance measures: Evidence from a balanced scorecard. The Accounting Review 78 (3): 725758.
Levin, I. P., and G. J. Gaeth. 1988. How Consumers are Affected by the Framing of Attribute Information Before and After Consuming the Product. Journal of Consumer Research 15 (3): 374.
Levin, I. P., S. L. Schneider, and G. J. Gaeth. 1998. All Frames Are Not Created Equal: A Typology and Critical Analysis of Framing Effects. Organizational Behavior and Human Decision Processes 76 (2): 149–188.
Lipe, M. G., and S. Salterio. 2002. A note on the judgmental effects of the balanced scorecard’s information organization. Accounting, Organizations and Society 27 (6): 531–540.
Locke, E. A., and G. P. Latham. 2002. Building a practically useful theory of goal setting and task motivation: A 35-year odyssey. American Psychologist 57 (9): 705–717.
Merchant, K. A. 1990. The effects of financial controls on data manipulation and management myopia. Accounting, Organizations and Society 15 (4): 297313.
Merchant, K. A., and W. A. Van der Stede. 2023. Management control systems: Performance measurement, evaluation and incentives. 5th ed. New York: Pearson.
Milgrom, P. R., and J. Roberts. 1992. Economics, organization, and management. Prentice-hall international editions. Prentice-Hall.
Smith, S. M., and I. P. Levin. 1996. Need for Cognition and Choice Framing Effects. Journal of Behavioral Decision Making 9 (4): 283–290.
Tan, H.-T., and M. G. Lipe. 1997. Outcome effects: The impact of decision process and outcome controllability. Journal of Behavioral Decision Making 10: 315325.
Tversky, A., and D. Kahneman. 1981. The framing of decisions and the psychology of choice. Science 211 (4481): 453–458.
Tversky, A., and D. Kahneman. 1986. Rational choice and the framing of decisions. The Journal of Business 59 (4): S251–S278.
Van der Stede, W. A. 2000. The relationship between two consequences of budgetary controls: Budgetary slack creation and managerial short-term orientation. Accounting, Organizations and Society 25 (6): 609622.

Footnotes

  1. 目標値を低く設定した場合,2分より前にトライアルが終わる可能性がある。↩︎