양적 평가에서 질적인 연구평가, 한국에선 가능할까?

안녕하세요?

과학동아 2017년 12월호를 보니, 그간 한국의 연구평가라고 해야 할까요? 일단 연구개발(R&D)에 관해서 평가를 하는데, 특집으로 다루었는 기사가 있었습니다. 이 기사에서는 한국의 R&D평가를 기존의 양적 평가에서 연구의 질적인 평가로 가야 한다고 하면서, 해외의 사례도 소개하고 있습니다. 그러나 저 개인적으로는 이 기사를 읽고나서 다소 회의적인 시선으로 바라보았으며, 그 내용에 대하여 포스팅을 하고자 합니다.

제가 첫 대학원에 들어갔던 것도 어느덧 거의 12년 전이 되어 가는데, 그때는 정말 SCI급 논문이라고 해서 국제적으로 인정받는 학술지에 논문을 게재하기 위해서 모든 실험실이 목을 매고 있었습니다. 그게 지금도 변하지는 않았는지, 과학동아의 기사에 의하면, 2001년에 SCI급 저널에 게재된 논문의 비율은 전체의 1.63% 수준이었다고 합니다.

하지만 논문의 수를 따지는 R&D 방식이 도입이 되고 나서, 2015년에는 전체의 3.788%로 증가가 되었다고 합니다. 그러나 기사의 내용에 의하면, 논문수 상위 50개국 중에서 논문의 '피인용지수'는 31위에 그치고 있다고 합니다. 그만큼 기사에서는 R&D-국내 연구 개발이 양적인 성장에 비해서, 질적인 성장이 따라오지 못했다고 지적하고 있습니다.

그러면서 기사는 일본의 이화학 연구소, 독일의 막스플랑크 연구소, 미국의 국립보건원(NIH)의 사례를 언급하면서, 선진국의 연구 방식과 질적인 정도를 측정하기 위해서 '피어리뷰(동료평가)'제도를 운영하고 있다는 것을 언급하고 있습니다. 그리고 우려가 되는 동료의 연구를 대충 평가하거나 필요 이상으로 높이 평가하는 것을 막기 위해서, 외부 전문가로 구성된 위원회가 심층적으로 많은 시간을 들여서 연구를 평가 하는 방식이 있다고 합니다.

여기까지만 들었다면, 이 '피어리뷰'라고 연구자가 다른 연구자의 연구를 평가하는 것이 질적인 평가 방법으로 적절해 보이기는 하지만, 제 생각에는 한국에 적용하기에는 아직은 문제가 많으리라 생각이 듭니다. 우선 제가 경험한 바로는 한국의 연구원 인력풀-이게 다른 분야라면 제대로 평가할 전문성이 부족하다는 문제가 있고, 같은 분야의 경우 소위 '한 다리 건너서는 다 아는 사이'라는 문제가 있어서 제대로 된 평가가 되겠냐는 문제가 있습니다.

이 문제는 외부 전문가를 초빙해서 일정 주기로 심사 위원회 위원을 교체하면, 제대로 된 '피어 리뷰'가 가능은 하지만, 국내에서 이런 평가단을 갖출 수 있는 재력이 있는 조직이라고는 아마, '정부'외에는 없을 것이라는 생각이 듭니다. 다만, 이 양적 평가기준이 되는 SCI급 저널에 싣려 있는 논문의 수라는 것도 어느정도는 질적인 것을 측정할 수 있기도 합니다.

실제로 SCI급 저널이라고, 세계적으로 알아주는 학술지라고 해도, 학술지마다 수준이라고 해야 할까요? IF(임팩트 팩터)라는 점수가 위 그림에서 묘사가 된 것처럼, 학술지 자체가 얼마나 질이 좋은 학술지냐는 것을 결정하는 수치 자료가 있기는 합니다. 그래서 연구의 평가를 지금처럼 양적인 평가로 하게 된다고 하면, 저 학술지의 편집장들이 평가를 하고 있다고 볼 수 있습니다.

물론 더 높은 임팩트 팩터의 저널에 게재되는 논문이 일반적으로 수준이 높다고 볼 수는 있습니다. 하지만 분야에 따라 평균적으로 이 임팩트 팩터가 낮을 수 밖에 없는 연구-동물 번식 생리학과 같은 연구가 이런 경향을 띄고 있으며, 심지어 이 보다도 연구 전체적으로 피인용 횟수가 적은 분야가 있어서, 논문을 받아줄 학술지의 '평균적인' 임팩트 팩터가 낮은 경우도 심심치 않게 볼 수 있습니다.

거기다가 이 학술지의 편집자들에게 연구의 성과물인 논문의 평가를 맡기는 것도 문제가 있는 것이, 이 사람들은 대게 '서면'으로만 조사를 하지, 직접 연구실을 방문해서 인터뷰를 한다거나 하는 작업을 하지는 못합니다. 결국 이 한계 때문에 과거에 황우석과 같은 사례가 나오는 것을 막을 수 없었습니다.

결국 귀결이 되는 것은, 제대로 된 피어리뷰(동료평가)가 되기 위해서는 돈이 많이 들 수 밖에 없다는 것입니다. 그리고 된다고 해도 또 다른 문제가 남아 있게 되는게, 기사에 따르면 제대로 된 피어리뷰가 되기 위해서는 심층적으로 연구실 멥버 전원에 대한 평가위원과의 연구실 멤버들이 인터뷰를 해야 합니다. 그런데 외부-특히 외국에서 평가 위원을 데려와야 할 만큼 빈약한 국내 인재풀을 생각해보면, 인터뷰가 '영어'로 진행이 될 것인데, 아마 이에 따른 의사소통 문제는 분명히 따라오게 될 것입니다.

개인적으로 너무 암울하게만 봤나요? 하지만 비용에 따른 제약과 언어소통 등의 문제로 논문이 싣리는 학술지의 임팩트 팩터를 따지거나 논문수를 따지는 것이 현실입니다. 하지만 질적인 평가를 도입하기 위해-특히 아직까지 돈이 되는 것이 나오지 않은 생명과학 분야에서는 어느 기관이나 지자체의 재력으로는 무리이고, 거의 정부가 나서야 겨우 쓸만한 질적인 평가 시스템이 나오지 않을까 합니다.