정확한 근거를 마련하기 위한 기업 담당자들의 고민들을 위해 한양대학교 이윤수 교수님을 모시고, 진단도구 개발에 대해 어떻게 접근해야 하는지 알아보고자 합니다.

이윤수 교수(한양대학교 교육공학과)는 펜실베니아주립대학교에서 HRD/OD전공 박사 학위를 취득했으며, 다양한 분석 방법론을 활용한 HRD 연구를 수행하며 약 100여 편의 논문을 게재했습니다. 연구뿐만 아니라 현대자동차, SK 등 주요 리딩 기업과 협력하여 진단도구 개발 프로젝트를 진행하며, 학계와 현장에서 직면하는 실제 문제 해결에 주력하고 있습니다.

현재 한양대학교 교육공학과 연구실에서 People Analytics와 고급 통계 방법론을 기반으로 실무 적용 연구를 수행하며, 연구실 창업 기업인 PAI Company도 함께 운영하고 있습니다.

다음은 이누리 기자가 한양대학교 교육공학과 이윤수 교수를 인터뷰한 내용입니다.

Q. 교수님께서 처음 데이터 분석에 관심을 갖게 된 계기는 무엇이십니까?

대학원에 진학하면서 자연스럽게 양적연구를 접했고, 어릴 때부터 수학과 통계를 좋아했던 터라 흥미를 느끼게 되었습니다. 여러 데이터를 분석하면서 다른 사람이 미처 보지 못한 패턴을 발견하거나 숫자 뒤에 숨겨진 의미를 파악해내는 과정이 매우 재미있었습니다. 학자로서 논문 작성을 위해 데이터를 다루는 일이기도 했지만, 하루 종일 통계 소프트웨어를 다뤄도 시간이 어떻게 가는지 모를 만큼 즐거웠던 기억이 납니다.

Q. 디지털 기술(예: AI, 머신러닝, 빅데이터 분석)이 HR 진단도구 개발에 어떻게 적용되고 있을까요?

당분간은 AI가 HRD/HRM에 미칠 영향이 큰 화두가 될 것으로 예상합니다. 다만 HR 진단도구 개발을 AI만으로 자동화하기에는 아직 이른 시기라고 생각합니다. 요즘 생성형 AI가 진단문항을 그럴듯하게 만들어내긴 하지만, 이론적 타당성과 통계적 검증을 충족하는 문항을 자동으로 개발해주지는 못합니다. 과거에도 통계적 뒷받침 없이 만들어진 여러 진단도구가 결국 통계적으로 검증되지 못해 사장된 사례가 많습니다.

물론 생성형 AI가 어느 정도 수준의 데이터 분석을 해내고 있지만, 지금 시점에서는 고급 통계분석 수준까지 정확하게 해결해주기에는 아직 역부족인 것 같습니다. 따라서 AI가 진단도구를 완전히 개발해내기보다는, 다양한 문항 풀 확보나 대상에 맞춘 톤 조정, 해외 도구 번안 같은 보조적인 영역에서 유용하게 활용될 수 있다고 봅니다.

머지않은 미래에는 AI가 도구 개발까지 수행할 것으로 기대하지만, 그 시점이 오면 AI의 산출물을 전문적으로 검증할 수 있는 역량이 더욱 중요해질 것입니다. 그래서 저도 그러한 전문성을 기르기 위해 다양한 경험을 쌓고 있습니다.

Q. 지금까지 개발하거나 참여한 진단도구 프로젝트 중 가장 기억에 남는 사례는 무엇입니까?

그동안 지식은폐, 마이크로매니지먼트, 직원침묵, 조직문화, 팀 역할(TREO), 괜찮은 일자리(decent work), 직장 내 번영(thriving at work), 관리자 코칭행동, 글로벌 취업역량, STEAM 아동 미래역량 등 여러 진단도구를 개발하고 타당화해왔습니다.

가장 기억에 남는 내용은 조직문화 진단도구 개발이었습니다. 국내에서는 주로 Quinn의 경쟁가치모형만 활용하는 경향이 있지만, 해외에는 흥미로운 조직문화 측정도구가 많이 존재합니다.

저희 연구실에서는 OCD(Organizational Culture Dimensions)와 OCP라는 진단도구를 발굴해 논문으로 정리했는데요, OCD는 참여 문화, 협력 문화, 효율적 정보전달 문화, 학습 문화, 고객 중심 문화, 민첩한 적응 문화, 전략 지향 문화, 공평하고 공정한 보상 문화, 통제 문화, 친밀한 의사소통 문화, 공감/수용 문화, 연결된 문화 등 다양한 유형을 측정할 수 있습니다.

OCP 역시 곧 논문으로 발표될 예정인데, 제가 현대자동차 자문교수로 있으면서 팀 진단도구 개발에도 활용했던 도구입니다. 두 진단도구 모두 다양한 조직문화 유형을 측정할 수 있다는 장점이 있으니, 필요하신 분들은 활용해보시면 좋겠습니다.

Q. 기존 Quinn의 경쟁가치 모형이 있음에도 개발하게 되신 배경이 궁금합니다.

조직문화를 연구할 때는 크게 유형적 접근과 차원적 접근으로 나눌 수 있습니다. 유형적 접근은 두드러지는 특성에 따라 조직문화를 미리 정의된 유형으로 분류하는 방식이고, 그 대표적인 예가 Quinn의 경쟁가치 모형에 기반한 OCAI(Organizational Culture Assessment Instrument)입니다. 저 역시 경쟁 가치 모형이 널리 사용되어 여러 조직이 동일한 기준으로 조직문화를 비교할 수 있다는 점은 분명한 장점이라 생각합니다.

그러나 최근 AI 등 기술 환경의 변화, 세대와 다양성 이슈처럼 복합적이고 빠르게 변하는 조직 현실을 고려하기에는 경쟁 가치 모형이 다소 단순화되어 있다는 문제의식을 느꼈습니다. 현장에서도 이런 문제점을 오래전부터 공감했지만, 마땅한 대안이 없었지요. 일부 조직에서는 자체적으로 조직문화 진단도구를 만들기도 했지만, 이론적 근거가 부족하거나 과학적 절차를 충분히 거치지 않은 경우가 대부분이었습니다.

이러한 배경에서, 저는 이론적으로 타당하면서도 과학적인 절차를 거쳐 개발된 조직문화 진단도구가 필요하다고 판단했습니다. 특히 조직문화의 새로운 유형을 탐색하고 정의할 수 있도록, 기존 유형적 접근 대신 보다 다양한 기준을 적용할 수 있는 차원적 접근을 시도했습니다.

그 결과, 경쟁력, 사회적 책임, 직원, 혁신, 보상강조, 성과지향, 안정성의 7개 차원으로 구성된 OCP와 참여 문화, 협력 문화, 효율적 정보전달 문화, 학습 문화, 고객 중심 문화, 민첩한 적응 문화, 전략 지향 문화, 공평하고 공정한 보상 문화, 통제 문화, 친밀한 의사소통 문화, 공감/수용 문화, 연결된 문화의 12개 차원을 측정할 수 있는 OCD를 발굴하게 되었습니다.

Q. OCP 진단도구는 OCD와 어떤 차이가 있고, 각 조직문화 진단도구의 강점은 무엇인가요? 활용도의 차이가 있다면 설명부탁드립니다.

두 측정도구 모두 조직문화의 다양한 면모를 여러 차원에서 측정함으로써, 각 조직이 가진 새로운 조직문화 유형을 식별하거나 정의할 수 있다는 장점이 있습니다. 다만, 이처럼 차원적 접근에 기반한 진단도구들은 학자마다 차원의 명칭과 범위가 달라 차원 간 상호배타성을 완전히 보장하기 어렵다는 한계가 존재합니다. 따라서 조직문화를 폭넓게 파악하면서도 지나치게 복잡하지 않도록, 적절한 개수의 차원을 가진 도구를 선택하는 것이 중요합니다.

OCP와 OCD는 각각 7개, 12개 차원으로 조직문화를 측정하며, 두 도구 모두 다양한 차원을 포괄하면서도 각 차원의 상호배타성이 높은 것으로 확인되었습니다. 이는 제가 직접 수행한 측정도구 타당화 연구에서도 검증된 부분입니다. 만약 차원의 개수가 너무 많다고 느껴진다면 OCP(7개 차원)를 활용해 간결하게 조직문화를 파악할 수 있고, 좀 더 세부적이고 다양한 관점에서 면밀히 들여다보고 싶다면 OCD(12개 차원)를 활용하면 됩니다. 특히, OCD는 ‘학습 문화’라는 차원을 다루고 있어, 학습조직이나 조직학습을 중시해온 조직이라면 이를 직접 측정하고 평가할 수 있다는 강점이 있습니다. 결과적으로, 조직이 어떤 부분에 초점을 두느냐에 따라 적절한 진단도구를 선택하고 활용하시면 좋을 것 같습니다.

Q. HR 진단도구를 설계할 때 가장 중요한 원칙이나 기준은 무엇일까요?

측정도구는 더할 게 없을 때 완벽해지는 것이 아니라 더이상 뺄 게 없을 때 완벽해진다고 믿고 그렇게 개발을 하고 있습니다. 당연히 타당도나 신뢰도를 통계적으로 검증하고, 내용타당도나 이론적 적합성도 고려합니다. Rasch 모형을 활용해서 문항의 난이도나 적합도 등 가용할 수 있는 지표는 모두 고려하고 합니다. 하지만 그러다보면 진단도구가 길어지고 복잡해집니다. 실제로 많은 사람들이 설문조사에 응답하는 것을 꺼려하고 정성을 다하지 않습니다. 그래서 직관적이고 가독성이 좋으며 통계적 최소 기준을 충족시키는 선에서 짧은 도구를 개발하려고 노력합니다.

저는 “측정도구는 더할 것이 없을 때가 아니라, 더 이상 뺄 것이 없을 때 완벽해진다”라는 원칙을 중요하게 생각합니다. 물론 타당도와 신뢰도를 통계적으로 검증하고, 내용타당도나 이론적 적합성도 꼼꼼히 고려합니다. Rasch 모형 등 가용한 통계분석 기법을 활용해 문항 난이도나 적합도 등 다양한 지표를 살펴봅니다. 그런데 이렇게 하면 문항이 많아지고 도구가 복잡해지기 쉽습니다. 그런데 실제 현장에서는 설문에 길게 응답하기를 꺼려하거나 충분한 정성을 들이지 않는 경우가 많습니다. 그래서 가독성을 높이면서도 통계적 기준을 충족하는, 즉 짧지만 정교한 도구를 만드는 데 집중하고 있습니다.

Q. 마지막으로, HR담당자들이 진단도구 개발할 때 알아두어야 할 부분에 대해서 말씀부탁드립니다.

제가 자주 목격하는 실수 두 가지를 말씀드리겠습니다. 하나는 어떤 개념을 측정하려면 최소 세 문항 이상이 필요하다는 것입니다. 어느 조직에서 리더십 한 문항, 조직문화 한 문항, 직무만족 한 문항 이런 식으로 측정하는 경우를 보곤 합니다. 이는 마치 회사 면접에서 단 하나의 질문만 던지고 지원자를 평가하는 것과 마찬가지입니다. 적어도 통계적으로 신뢰로운 측정치를 확보하려면, 하나의 개념에는 세 문항 이상이 필요합니다.

두번째는 경험 기반 문항 도출 뒤 통계적 검증을 반드시 병행하라는 것입니다. 경험 많은 직원이나 고성과자의 인터뷰를 통해 문항을 도출하는 것은 좋지만, 그들이 제시하는 의견이 통계적으로 편향되거나 중요한 요소를 간과했을 가능성도 있습니다.

따라서 현장 전문가의 인사이트를 반영하되, 이를 반드시 통계적으로 검증해야 합니다. 이를 위해서는 통계 지식과 데이터 리터러시가 어느 정도 필요할 것입니다. 모든 담당자가 통계 전문가가 될 수도 없고 그럴 필요도 없겠지만 데이터 기반 HR/HRD/HRM을 위해서 필요한 최소한의 통계 지식과 데이터 리터러시는 앞으로 매우 중요한 역량이 될 것입니다.