2010년, 이탈리아 연구자 세 명이 뜻밖의 결론으로 이그노벨상 경영학 부문을 받았다. 컴퓨터 모형에서는 직원들을 무작위로 승진시키는 조직이 오히려 더 잘 운영될 수 있다는 것이었다. 9년 뒤, 실제 기업을 분석한 연구가 발표됐다. 농담처럼 들리던 그 결론이 왜 마냥 황당하지만은 않은지 드러난 것이다.

이탈리아 연구자 알레산드로 플루키노(Alessandro Pluchino), 안드레아 라피사르다(Andrea Rapisarda), 체사레 가로팔로(Cesare Garofalo)가 살펴본 것은 피터의 법칙이었다. 원래 맡은 일을 잘한다는 이유로 승진해도, 새 자리에서는 다른 능력이 필요할 수 있다는 것이다. 이 모형에서는 승진 전 성과와 승진 후 성과가 무관하다고 가정하면, 최고 실적자를 올리는 것보다 무작위로 승진시키는 편이 나을 수도 있었다. 모형을 움직이는 핵심 가정이지만, 현실의 인사 제도에도 그대로 적용되는 법칙이라는 뜻은 아니다.[14]

2019년 경제학자 앨런 벤슨(Alan Benson), 대니엘 리(Danielle Li), 켈리 슈(Kelly Shue)는 미국 131개 기업의 영업사원 약 3만 9천 명을 분석했다. 7년 동안 1,553명이 관리직으로 승진했다. 기업들은 대개 가장 많이 팔던 사람을 골랐다. 실적은 숫자로 확인할 수 있고, 승진 이유도 설명하기 쉬웠다.

그런데 데이터에는 불편한 역관계가 나타났다. 승진 전 판매 실적이 높았을수록 승진 후 그 사람의 부하 직원들은 판매 실적이 낮은 경향을 보였다. 팀 성과를 평가할 수 있었던 관리자들을 비교하면, 승진 전 매출이 두 배 높을 때 부하 직원 1인당 매출은 평균 약 6.1% 낮은 경향을 보였다. 이는 통계적 연관성이지, 영업을 잘한 사람이 반드시 나쁜 관리자가 된다는 뜻은 아니다.[1]

기업들은 훌륭한 영업사원을 찾아내는 데는 능숙했다. 하지만 정작 필요한 사람은 훌륭한 관리자였다.

문제는 선발 절차가 없었다는 데 있지 않다. 후보자에게 꼼꼼하게 순위를 매겼지만, 정작 알고 싶은 것을 제대로 예측하지 못하는 기준을 쓴 것이다. 이미 자격을 갖춘 후보자들이 비슷비슷하고 점수 차이도 미래 성과를 거의 알려 주지 않는다면, 순위를 더 매기는 데 무슨 의미가 있을까?

독일의 한 연구재단은 조금 별난 방법을 시험했다. 전문가 심사에 추첨을 더한 것이다. 비유가 아니다. 정말 추첨통을 가져다 놓았다.

추첨통에 들어간 연구계획서 85건

2017년 가을, 폭스바겐재단(VolkswagenStiftung)은 파격적인 연구 아이디어를 지원하기 위한 제안서를 심사했다. 594건이 접수됐다. 1차 심사를 거쳐 119건이 남았고, 전문가 위원회는 그중 85건이 지원 자격을 충족한다고 판단했다. 이어 위원회가 지원하고 싶은 17개 과제를 먼저 골랐다.

여기서부터 평범한 공모와 달라졌다. 전문가가 이미 선택한 17건을 포함한 적격 제안서 85건 모두의 번호를 실제 추첨통에 넣었다. 거기서 번호 17개를 다시 뽑았다. 위원회의 선택과 5건이 겹쳤다. 따라서 최종 지원 대상은 서로 다른 29개 과제가 됐다.[9]

폭스바겐재단: 어떻게 뽑았고 결과는 어땠나
594접수된 제안서

85두 단계 심사 통과

17전문가 위원회 선정
17추첨통에서 선정
두 목록에 모두 포함된 과제 5건

29실제 지원받은 서로 다른 과제
그렇다면 어느 방식이 더 나은 결과를 냈을까?
논문 발표 비율은 동률이었다.전문가가 고른 연구자와 추첨으로 선정된 연구자 중 논문을 발표한 비율은 같았다.
전문가 선정60%논문 발표
추첨 선정60%논문 발표
혼합 선발 방식을 도입한 뒤약 17% → 약 25%지원 대상자 중 여성의 비율이 높아졌다
결론:추첨은 전문가 심사를 보완할 수 있다. 연구 결과 발표 여부로 보면 두 방식에서 뚜렷한 우열은 나타나지 않았고, 지원 대상자의 구성은 더 다양해졌다.
이 수치는 2017년 추첨 한 번만이 아니라 Experiment! 프로그램 전체에 관한 것이다. 폭스바겐재단의 2024년 평가.

선택이 다섯 건 겹쳤다고 해서 전문가가 잘못 골랐다는 뜻은 아니다. 재단은 기존 전문가 심사와 나란히 다른 연구비 배분 방법을 시험한 것이다.[9]

하지만 추첨이 끝난 뒤 더 뜻밖의 일이 있었다. 재단은 지원받는 연구자들에게 자신의 과제가 전문가 심사로 선정됐는지, 추첨으로 뽑혔는지 알려 주지 않았다. 재단은 연구자들을 ‘실력으로 연구비를 받은 사람’과 ‘운이 좋아 당첨된 사람’으로 나누고 싶지 않았던 것이다.[10]

왜 선정 방식을 감췄을까? 리더십 실험이 실마리를 줄 수 있다. 누군가를 ‘최고’라고 발표하는 행위 자체가 다른 사람들의 행동을 바꿀 수 있기 때문이다.

선발된 상사가 오히려 팀의 발목을 잡을 때

연구비와 달리, 관리자를 임명하면 팀 안의 관계가 바로 달라진다. 선발은 누가 이끌지 결정할 뿐 아니라 다른 사람들에게 이런 신호도 보낸다. ‘저 사람의 판단을 더 믿어도 된다.’

2020년 실험에서는 176명이 44개 팀을 이뤄 수치 문제를 풀었다. 리더는 무작위로 정하거나, 과거 답변의 정확도 또는 자신감에 따라 골랐다. 가장 자신만만한 사람이 이끈 팀은 무작위로 리더를 정한 팀보다 구성원들이 가진 정보를 잘 활용하지 못했다. 과거 답변의 정확도를 기준으로 리더를 뽑아도 설득력 있는 이점이 나타나지 않았다.[2]

프로젝트 회의를 떠올려 보자. 한 사람은 장비 가격을 알고, 다른 사람은 물류 사정을 잘 알며, 또 다른 사람은 비슷한 프로젝트를 막 끝냈다. 그런데 상사가 먼저 자신의 예상 수치를 말한다. 특별히 뛰어나다는 이유로 승진한 사람의 말이니, 그 숫자에 무게가 실린다.

실험 참가자들은 처음 추정한 값에 너무 매달려 동료들의 정보를 충분히 반영하지 못했다. 팀이 가진 지식의 일부가 그렇게 사라졌다. 최종 답변의 정확도 차이에 관한 증거는 정보 활용 방식의 차이만큼 뚜렷하지 않았다.

1998년의 소규모 실험실 연구에서도 비슷한 결과가 나왔다. 이름의 알파벳순으로 리더를 정한 집단이 체계적인 절차로 리더를 뽑은 집단보다 생존 과제에서 좋은 성적을 냈다. 다만 실제 기업의 인사 선발을 시험한 연구는 아니었다.[3]

그래도 엄격하게 선발해야 할 때

안전 분야의 자격을 갖춘 전문가와 훈련도 받지 않은 사람을 놓고 추첨하자는 이야기는 아니다. 중요한 역량을 측정할 수 있다면 당연히 확인해야 한다.

관리 능력도 어느 정도 측정할 수 있다. 구조화된 면접과 실제 업무에 가까운 과제는 앞으로의 직무 성과를 예측하는 데 도움이 된다.[11]

2026년 연구에는 555명이 참여했다. 관리자가 되기를 가장 열망하는 사람들이 무작위로 임명된 사람들보다 확실히 뛰어나다는 증거는 없었다. 반면 경제적 의사결정 능력 등 구체적인 역량을 검사하면 관리의 질을 더 잘 예측할 수 있었다.[4]

연구진은 현직 매장 관리자 225명도 분석했다. 역량, 관리의 질, 매출 사이에서 관찰된 관계를 바탕으로 다른 선발 방식을 적용했을 때 연간 매출이 기존 방식보다 약 16% 높아질 수 있다고 추정했다. 이는 모형의 예측이지, 새로운 인사 정책을 실제 시행해 측정한 효과가 아니다. 추첨 방식과 직접 비교한 것도 아니다.

그러니 질문은 단순히 ‘경쟁 선발인가, 추첨인가’가 아니다. 어떤 점수가 미래 업무 성과를 예측하고, 어떤 점수는 그럴듯한 후보자 순위표만 만드는가?

‘추첨이 이겼다’는 두 연구를 다시 계산해 보니

우리는 얼핏 추첨에 유리해 보이는 연구 두 편의 원자료를 다시 살펴봤다. 두 연구 모두 중요한 한계가 있었다.

인도네시아 실험에서는 참가자들이 집단 자금을 배분하는 공무원 역할을 맡았다. 시험으로 선발된 참가자들이 추첨으로 임명된 참가자들보다 다른 이들에게 배분한 돈의 비율이 낮았다. 그런데 실험 전체를 끝낸 집단만 분석하는 대신 자금 배분 과제에서 활용 가능한 모든 결정을 포함하자 차이가 −9.4%포인트에서 −4.5%포인트로 줄었고 통계적으로 설득력 있는 차이라고 보기도 어려워졌다. 이는 공정성을 종합적으로 측정한 결과가 아니라 행동 지표 하나를 분석한 결과다.[5]

학생 팀에 관한 다른 연구에서는 발표된 효과의 수치를 재현했지만, 팀 구성 방식을 적용한 단위가 고작 네 개의 학급이었다. 이 점은 결과를 인과적으로 해석하는 데 제약이 된다.[6]

그렇다고 두 연구를 반박한 것은 아니다. 구체적인 계산과 한계는 아래의 추첨 도구 뒤에서 설명한다.

그럼 어떻게 뽑아야 할까? 자격 심사와 추첨 중 하나만 고를 필요는 없다. 두 방식을 순서대로 활용할 수 있다.

자격 → 예측 → 추첨

먼저 자격 기준을 세운다. 이 일에 필요한 지식, 경험, 역량을 갖춘 사람은 누구인가? 다음으로 예측력을 살핀다. 자격을 통과한 후보자들 사이의 차이가 누가 일을 더 잘할지 신뢰할 만하게 알려 주는가? 그렇다면 그 정보를 활용하면 된다. 그렇지 않다면 자격을 갖춘 사람들 사이에서 추첨하는 편이 면접과 점수를 끝없이 추가하는 것보다 합리적일 수 있다.

이것은 우리가 제안하는 실용적인 판단 기준이지, 실험으로 입증된 보편적인 공식이 아니다. ‘모두 최소 자격을 갖췄다’와 ‘추가 순위가 아무 정보도 주지 않는다’는 전혀 다른 이야기다. 전자만으로 후자를 단정할 수 없다. 잘못 선택했을 때의 비용, 직원들의 동기, 새 관리자에 대한 팀의 신뢰도 고려해야 한다. 승진 기회는 노력할 유인이 되므로, 모든 승진을 추첨으로 정하면 그 유인이 약해질 수 있다.[12]

팀 구성에 관한 연구도 같은 점을 일깨운다. 중요한 것은 관리자의 개인 역량만이 아니라 임명 후 사람들이 어떻게 함께 일하느냐다.[13] 아무리 훌륭한 인재도 나쁜 조직에서는 제 능력을 발휘하기 어렵다.

마지막으로 하나 더. 자격을 갖춘 사람이 추첨에서 뽑혔다고 해서 그를 ‘객관적으로 가장 뛰어난 후보자’라고 소개할 필요는 없다. 그는 그 역할을 맡게 됐을 뿐이다. 둘은 다른 이야기다.

이그노벨상을 받은 모형은 특정 조건에서 최고 실적자를 승진시키는 것이 실수가 될 수도 있음을 보여 줬다. 영업사원 데이터에서는 실제 기업에서 그 문제의 흔적을 발견했다. 폭스바겐재단은 전문가 심사와 추첨이 하나의 절차 안에서 공존할 수 있음을 보여 줬다.

추첨은 지식을 대신하지 못한다. 다만 우리가 실제보다 더 많이 안다고 가장하지 않도록 막아 준다.

직접 추첨해 보기

선택지들을 충분히 검토했고 모두 받아들일 만하지만 어느 하나를 더 선호할 믿을 만한 근거가 없다면, 이번에는 우연에 맡겨 보자.

선택지

입력: 0 / 2

연구를 어떻게 검증했나

우리가 정확히 무엇을 다시 계산했는지 설명하겠다. 두 연구의 원자료를 사용했지만, 수치를 재계산했다고 해서 실험 자체를 독립적으로 반복한 것은 아니다.

Kuipers(2026): 시험 선발과 무작위 임명

실험에서 시험 또는 추첨으로 임명된 ‘공무원’들이 다른 참가자들에게 배분한 돈의 비율을 비교했다. 먼저 실험을 끝까지 마친 집단만 분석하고, 다음에는 자금 배분 과제에서 활용 가능한 결과를 낸 집단을 모두 포함했다.

분석 대상 시험 선발과 추첨의 차이
실험 전체를 마친 집단 −9.4%포인트; 95% 신뢰구간: −16.5 ~ −2.4
자금 배분 과제에서 활용 가능한 모든 결정 −4.5%포인트; 95% 신뢰구간: −10.5 ~ +1.4

음수는 시험으로 선발된 참가자들이 다른 사람들에게 더 적은 돈을 나눠 줬다는 뜻이다. 두 숫자는 동일한 결과지표에 대해 우리가 수행한 두 가지 분석이지, 원저자가 보고한 서로 다른 효과 두 개가 아니다. 추첨 집단의 약 55%, 시험 선발 집단의 약 48%가 실험 전체를 끝마쳤다. 이처럼 큰 탈락 비율은 결론에 대한 확신을 떨어뜨린다. 자금 배분은 여러 결과지표 중 하나였으므로 다중검정 문제도 함께 고려해야 한다. 추정치 차이는 결과가 표본 선택에 민감하다는 사실을 보여 주지만, 원래 연구가 틀렸다는 증거는 아니다.

Fischer 외(2023): 무작위로 구성한 학생 팀

OSF의 원자료로 발표된 계수를 독립적으로 재현했다. 서면 과제에서 학생들이 자율적으로 꾸린 팀의 점수는 무작위로 구성한 팀보다 낮았으며, 그 차이는 −0.4151 표준편차였다. 그러나 팀 구성 규칙이 적용된 단위는 네 개의 수업 반뿐이었다. 두 코호트 각각에서 두 규칙이 서로 다른 반 한 곳씩에 적용됐다. 학생들이 반에 무작위로 배정됐다는 설명은 있지만, 팀 구성 규칙 자체가 반에 무작위로 배정됐다는 사실은 확인되지 않았다.

결과의 민감도를 알아보기 위해 각 코호트의 두 반 사이에서 팀 구성 규칙을 바꾼다고 가정했다. 그러면 가능한 배정은 네 가지뿐이므로, 단측 검정에서 얻을 수 있는 가장 작은 p값은 0.25, 관찰된 차이에 대한 조건부 양측 p값은 0.50이다. 이 수치는 원연구의 p값을 수정한 것이 아니다. 이 순열 계산은 반 수준에서 규칙을 무작위 배정했다고 가정했을 때의 제약을 보여 줄 뿐, 실제 연구 설계를 대신하지 않는다.

두 분석을 볼 때는 수치의 재현, 인과효과의 확립, 현실의 기업 조직으로의 일반화를 구별해야 한다. 원자료 링크는 참고문헌 [5]와 [6]에 있다.

참고문헌

  1. Benson, A., Li, D., & Shue, K. (2019). Promotions and the Peter Principle. Quarterly Journal of Economics. DOI.
  2. Büchel, B., Klößner, S., Lochmüller, M., & Rauhut, H. (2020). The Strength of Weak Leaders. Experimental Economics. DOI.
  3. Haslam, S. A., et al. (1998). Inspecting the Emperor’s Clothes. Group Dynamics. DOI.
  4. Weidmann, B., et al. (2026). How Do You Identify a Good Manager? Quarterly Journal of Economics. DOI.
  5. Kuipers, N. (2026). Bureaucratic Selection and Weberian Values. Journal of Politics. DOI; Harvard Dataverse 원자료.
  6. Fischer, M., Rilke, R. M., & Yurtoglu, B. B. (2023). When, and Why, Do Teams Benefit from Self-Selection? Experimental Economics. DOI; OSF 원자료.
  7. Adam, D. (2019). Science Funders Gamble on Grant Lotteries. Nature. DOI.
  8. Ackerley, D. (2020). Grant Lottery Systems: A Winner Responds. Nature. DOI.
  9. Volkswagen Foundation. Give Chance a Chance.
  10. Research on Research Institute. The Experimental Research Funder’s Handbook.
  11. Sackett, P. R., et al. (2022). Revisiting Meta-Analytic Estimates of Validity in Personnel Selection. Journal of Applied Psychology. DOI.
  12. Lazear, E. P., & Rosen, S. (1981). Rank-Order Tournaments as Optimum Labor Contracts. Journal of Political Economy. DOI.
  13. Chemin, M. (2021). Does Appointing Team Leaders and Shaping Leadership Styles Increase Effort? Journal of Economic Behavior & Organization. DOI.
  14. Pluchino, A., Rapisarda, A., & Garofalo, C. (2010). The Peter Principle Revisited: A Computational Study. Physica A, 389(3), 467–472. DOI; 2010년 이그노벨상 경영학 부문 수상 기록.
  15. 폭스바겐재단(2024년 5월 30일).Everyone Is Equal in the Lottery Drum.Experiment! 프로그램 평가: 지원 대상자의 연구 성과 발표와 수혜자 구성.재단 보고서.