피어리뷰 한 리뷰

1. 모 저널에서 리뷰 요청이 왔다. IF가 높다고 하긴 어렵지만 나름 유명한 저널의 자매지인데 (친자매는 아니고 사촌지간쯤 되지 않을까..) 왜 PI급도 아니고 이렇다 할 주저자 논문도 없는 내게..? 

1-1. 심지어 그것도 내가 메일을 늦게 확인하는 동안 1주일이 지나서 reminder 메일까지 왔다. 그때 발견한 것(..) 

 

2. 호기심, 의아함, 왠지 재밌을 것 같다, 각잡고 비판적으로 논문을 읽을 수 있는 기회! (..)라고 생각해서 교수님께 라이트 하게 여쭤는 보고 냉큼 accept 눌러버렸다.

 

3. 속마음은 사실 (1) 지금 내가 남 논문 리뷰하고 앉아있을 때가 아닌데... (얼른 논문 쓰고 내 거 해야 함) (2) 내가 남 연구 이래라저래라 왈가왈부할 짬이 되나... (ㅋ) 였지만 뭐 이렇게 하다 보면 논문 하고도 친해지고 하는 거 아닐까. 하는 마음도 있었긴 하고. 이거 하고 나서 내 논문도 좀 박차를  가해서 쓰면 어떻겠나. 싶은 생각도 들고 

 

4. 아무튼간에 리뷰 요청받고 논문도 다운로드하고 무엇을 해야 하는지 찬찬히 들여다보니 다시금 '어.. 이거 내가 해도 되는 건가...!' 하는 생각이 잠깐 들었으나!! 

 

5. 논문을 다운로드 받아 보니 생각보다 그 양이 너무 짧고! 주제도 나름 익숙한 내용이고..! 조금 각 잡고 더 들여다보니 아니 이거 논문이라고 쓴 거야? 하는 수준의 (..라고 함부로 판단할 수 없지만 그럼에도 불구하고 이건 논문으로 나오기 힘들겠다는 그런 생각이 강하게 드는) 논문이었고, PI급들에게 돌리기 민망할 수 있겠다는 생각도 잠깐 들고.. 

 

6. 그런데 이 리뷰를 돌리는게 논문을 작성한 사람들이 추천을 넣는 경우도 있다고 들었고, 저널 편집부에서 서치 해서 요청 뿌리고 하는 정도의 루트가 있다고 알고 있어서... 나 같은 쪼렙이 리뷰하게 해서 적당히 통과되려는 거 아니야? 하는 (음모론자 등장) 생각도 잠깐 했다. 

 

7. 그러거나 말거나 논문을 일단 뽑았고, 찬찬히 들여다보고 있으니 오만가지 생각이 다 드는 것이지... 

- 아 내가 논문을 쓸 때도 이런 부분을 주의해야겠구나 

- 이거 진짜 왜 나한테 리뷰 왔지... 나 앞으로 쓰는 논문 내가 쓰는 리뷰가 다 발목 잡는 거 아니야? ㅠㅠ (애초에 논문 잘 쓰면 문제 될 일 없음, 자의식 과잉 및 논문부터 일단 내고 고민해라)

- 보게 된 논문이 약간... (내가 보기에는) 분명한 문제가 있어 보였는데, 공교롭게도 이런 논문이 내게 (..!!) 따위의 자의식 가득 음모론이 스멀스멀 피어나는 기분... 

 

*이런 부분

- 사용한 프로그램의 버전 및 파라미터 꼼꼼하게 작성

- 문장 내에 절 형태로 무언갈 쓸 때, 결과를 서술할 때 주어가 누락되는 문장이 없도록 하기

- 프로그램의 성능에 대한 서술을 작성할 때 눈으로 확인 가능한 결과가 아닌 경우 근거를 충분히 갖추고 그 전개가 이해되기 쉽도록 서술하기

- 결과물 해석이나 고찰 등에서 애매한 표현이나 뭉뚱그리는 식의 표현 사용을 지양하기 

- 결과물 중 표나 그림이 있을때 거기에 포함된 용어의 의미 등을 명료하게 정리하기 

 

8. 그리고는 리뷰를 해야 하니 거기서 하라고 한 것이 무엇인지 살펴봤는데 크게 두 가지 할 일로 구성되어 있었다.

 (1) 저자들에게 하는 피드백

 논문을 제출하는 입장에서 논문을 내고 나면 리비전이 오거나 게재 거절 통보를 받거나 하게 되는데, 리비전이 오면 내가 작성한 이 논문에 대해 리뷰어들이 남긴 피드백을 보고 논문을 향상해 다시 제출하게 된다. 이번에 하게 된 일은 누군가가 받을 리뷰를 작성한 일인 셈이다. 대략적인 구성은 있을 줄 알았는데, 이 부분은 오히려 요구사항이나 정해진 포맷이 특별히 없었다.

 (2) 에디터에게 하는 피드백

  논문 저자들에게 다이렉트로 가는 리뷰 (피드백) 외에 편집부-에디터에게 이 논문에 대해 어떻게 평가하는지를 몇 가지 항목으로 나누어서 물어보고 있다. 문항들을 보니 저널 특이적인 것처럼 보이지는 않고, 기본적으로 논문으로 출판될 수 있을지, 게재 가불 여부를 결정하는 데 필요한 정보들을 수집하는 것으로 보이고, 작성하는 단계에서 기본적으로 신경 쓰면 좋을 요소들일 것 같다. 

 

  1) 연구 설계가 (study design) 연구 질문 (research question)에 답하기에 적절하고 (적절한 대조군 사용 여부를 포함) 적절한 근거를 바탕으로 한 결론을 제시하고 있습니까? 

  2) 재현이 가능할 정도의 충분한 연구과정 (method)이 서술되어 있습니까?

  3) 통계치의 사용과 불확실성에 대한 처리가 적절하게 되었습니까?

  4) 서술이 명료하게 되어 있습니까?

  5) 본문에 제시된 그림 (젤 전기영동 등의 사진 포함)에 명백히 드러나는 조작으로부터 자유롭습니까?

  6) 에디터에게 추가적으로 보내는 코멘트 

 

9. 하모. 그래서 논문도 두어차례 꼼꼼히 읽고 일반적인 관점에서 그냥 봤을 때 보완이 필요한 부분, 어떻게 수정되면 좋겠다 하는 부분 등을 좀 추려봤고, 나름 받아봤던 리뷰들처럼 Major issues, Minor issues 나눠서 어떻게 작성할지 구상도 해 보고... 이걸 이제 진짜 리뷰처럼 (이미 비슷한 걸 써 놓긴 했다만) 옮겨야 한다고?! 하면서 리뷰어 가이드라인을 또 뒤져봤다. 

 

10. 본격적으로 쓰자! 하기 전에 들여다보길 잘했다고 생각한 지점은 -사실 리뷰 하는 창 가이드에 대부분이 쓰여있고, 말 그대로 논문 리뷰하는 거고 큰 틀에서 뭘 해야 할지 등은 명백하므로 크게 어렵진 않았고 추가적인 뭐가 대단히 필요한 것은 아니었지만- 이 저널이 출판하는 논문이 무엇인지 를 한번 짚어볼 수 있다는 점에서 (..) 그러했다. 왜 논문을 제출할 때 이 논문을 받아주는 저널을 찾고 찾아서 내게 되는데, 제아무리 연구 디자인, 수행, 논문 작성 과정에 문제가 없어도 해당 저널에서 출판하는 류의 논문이 아니면 길 잘못 든 것이니까 아주 기본적으로 확인해 봤어야 하는 것이다. 물론 해당 저널은 종합적으로 다양한 분야의 논문을 출판해 주는 곳이라 "논문이 이 저널에서 출판되기에 적합한가"라는 물음이 매우 크리티컬 한 것은 아니었다만. 제출할 때 신경 써야 한다는 점 도 그렇고 무슨 일을 할 때 (..) 시작하는 시점에서 짚고 넘어가야 하는 것이 무엇인가? 를 잘 알고 시작해야겠다는 (..) 점을 새롭게 다시금 (모르는 것은 아니었을 테지만) 일깨워줬다는 데에서 한 문단씩이나 할애해서 구구절절 적고 있다는 소식.. 

 

11. 그렇게 여차저차해서 저자들에게 보내질 리뷰를 쓰고, 에디터에게 보내질 리뷰에 대한 답과 그에 대한 코멘트도 달고 하고 나니 시간이 훌쩍 갔다. 영문으로 쓰는 것에 대한 부담도 있고, 이 리뷰를 해서 논문 게재 가불가 판명이 날 테니... 약간의 부담감도 있고, 리뷰인데 엉망으로 쓰여 있으면 신뢰도도 떨어지고 문제가 있을 테니 (..) 거진 한 문장마다 퇴고 탈고를 몇 번씩 했던 것 같다. 다 쓰고 입력하는 란에다 다 입력해서 preview로 뽑아보고 또다시 전체적으로 수정하고, grammarly 돌려서 문법 확인하고 문법 고친 뒤에 의미 달라진 것 있나 확인하고 최근에 (논문 작성하는걸 잠깐 손을 놔 버려서) 이렇게까지 공들여 뭔갈 써본 적이 있나 (..!) 생각하면서.. 마무리를 좀 해놓고. 뭔가 이렇게 내도 되나?! 하는 생각에 일단 밥부터 먹자 하고 밥 먹고 와서 다시 전체적으로 확인하고 제출 버튼을 눌렀다. 오늘 마감이라고 독촉하는 메일(가까운 시일 내에 네가 제출할 것이라고 믿는다라고 왔다 ㅋㅋ )도 왔고.. 다행히도 잘 마친 것 같다. 그렇게 리뷰를 하면 8월의 리뷰어 명단에 포함되게 된단다. 제출하고 나니 메일로 제출이 잘 되었고 이렇게 전달될 거다 하는 메일이 왔고, 그 수신된 메일을 활용해서 <리뷰어 활동을 했습니다> 인증도 가능하다고 한다. 아싸 CV 한 줄 생겼다 ^^:; 

 

12. 뭔가 논문을 발표하거나, 어떤 목적으로 논문을 볼 때 대개 수용적인 태도로 보게 되고, 얘네 이렇게 했으니 따라 해 봐야지 이런 식의 자세로 접하게 되는데, 각 잡고 (물론 이거 리젝 시켜야지!! 하고 보는 것은 절대로 아니다.) 이 논문에서 문제로 보고 있는 것이 무엇이고, 그것의 해결을 위해 어떤 연구를 고안하고, 어떤 절차대로 수행하였으며, 그 결과가 어떻게 나왔고, 그로부터 어떤 결론을 내리고 그 과정에 타당한 근거가 적절히 쓰이고 활용되었는지... (헉헉)를 면밀히 들여다보는 과정은 꽤나..! 시간을 들여 해 볼 법한 일이라고 생각했다.  논문을 비판적으로 볼 수 있는 시각이 생기는 것에 더해서 "constructive" 한 코멘트를 고민하기 위해 나라면 어떻게 할 텐데, 어떤 식으로 하면 더 좋으려나 를 생각하는 과정에서 내가 보고 있는 것을 어떻게 향상해야 할지, 혹은 앞으로 작성할 논문에서 내가 리뷰어라면? 이런 지점이 문제가 될 수도 있겠다 하는 걸 생각해 볼 수 있는 눈이 생긴 것 같아 좋았다. 

 

13. 아 왠지 다 쓰고 다 내고 정리라고 이 글을 쓰고 있자니... 뭔가 부족하게 리뷰해준 게 생각나고 좀 그러네... 하지만 큰 틀에서 필요한 조언들은 먼저 다 한 것 같다. 살짝 구체적인 부분이니까 ㅎ ^^ 그건 이제 그 저자들이 해결할 바이겠지. 님들 파이팅 나 파이팅 ^^!!