학술회의 데이터를 활용한 학술적 위상의 계량적 평가방법

1. ’09 한국문헌정보학회 춘계 학술대회 학술회의 데이터를 활용한 학술적 위상의 계량적 평가방법 정 상 원 서울대학교 의생명지식공학연구실

2. 목차 • SEDE Project • 여러가지 평가방법 • 학술회의 • 학술회의 데이터를 이용한 평가방법 • 학술적 위상 평가 모델 • 위상 평가모델의 검증 • 결론 본 연구는 2006년도 정부(교육과학기술부)의 재원으로 한국학술진흥재단의 지원을 받아 수행된 연구임 (KRF-2006-511-H0001).

3. 1.the SEDE Project http://www.eventography.org • 온톨로지 기반 학술회의 정보의 (반)자동 수집 • 학술적으로 의미있는 정보의 추출방법 개발

4. 1.the SEDE Project: Scenario Event Data Extractor 학술회의간 유사도 Event Data Crawler Web Scholarly Event Ontology SKOS 주제영역 KOS SDI Service http://www.eventography.org Text Analyzer 전문가 찾기 학술적 위상 평가 지식구조 분석

5. 2.평가방법: Citation, Usage Journal Impact Factor -Eugene Garfield, Chem. LIS, Linguistics Eignefactor Score (2006) Article Influence Score -Carl Berstrom, Biology h-index (2005) -G. Hirsh, Physics SCImago Journal Rank (SJR) indicator Félix Moya-Anegón, Philosophy g-index (2006) -L. Egghe, Math. Scholarly Usage of Resources - Johan Bollen, Comp. Sci.

6. 2.평가방법: 학술저널 편집위원

7. 2.평가방법: 학위논문 지도이력 A=논문지도횟수; C: 심사위원 참여횟수; M=A+∑(1/논문당 심사위원 수)

8. 3.학술회의 • 학술커뮤니케이션과 학술회의 • 학술회의 엘리트집단

9. 3.1.학술커뮤니케이션과 학술회의 출처: http://internet.unib.ktu.lt/physics/TEXTS/communication/Chap3.htm

10. 3.1.학술커뮤니케이션과 학술회의 • 신속한 지식의 전파 • 동료 연구자들로부터 인정 • 경력개발

11. 3.1.학술커뮤니케이션과 학술회의 Biomedical Informatics Home http://139.91.190.38/InfobiomedWiki/index.php/BIOMEDICAL_INFORMATICS:_CONTEXT,_SYNERGIES_AND_TECHNOLOGY

12. 3.2.학술회의 엘리트집단 엘리트로 참여? 조직위원장 (OCC: Organizing Committee Chair) 조직위원회 위원(OCM: Organizing Committee Member) 프로그램위원장(PCC: Program Committee Chair) 프로그램위원회 위원(PCM: Program Committee Member) 세션좌장 (SC: Session Chair) 초청강연자 (ISP: Invited Speaker) 상수상자 (AW: Award Winner)

13. 3.2.Organizing Committee Chair/Member

14. 3.2.Program Committee Chair/Member

15. 3.2.Invited Speaker

16. 3.2.Award Winner

17. 3.4.Elite Group 참여이력 Conference Co-Chair of CIDM’07, Program Co-Chair for ICPR'08, SDM'06 Conf. Co-Chair for ANNIE'93 to '96 and '99 to '03. program committee of several top conferences. keynote speaker on ISIT'08, ANNIE’06, MCS 2002 and ANNIE'97 co-organized ICDM 2003; SDM 2005, WAM2002, Web Mining

18. 4.학술회의 데이터를 이용한 평가방법 • 학술회의 참여빈도에 의한 평가 • 학술회의 평가

19. 4.1.학술회의 참여와 SNA Frank v. Harmelen: general chair of ISWC2004 Peter Mika(2006) 중심성(핵심, 근접, 매개 중심성)이 높은 연구자들은 컨퍼런스의 좌장, 학술저널의 편집위원회 구성원이며,대부분 논문출판실적이 좋음 Ian Horrocks: general chair of ISWC2002 Dieter Fensel: general chair of ISWC2003

20. 4.1.학술회의 참여 빈도에 의한 평가(1) 연구자들의 학술회의 참여빈도와 학문적 명성은 상관관계가 높다.

21. 4.1.학술회의 참여 빈도에 의한 평가(2) 협회, 편집위원회, 저널심사, 학위논문심사 및 연구 프로젝트 심사, 학위논문 지도, 학술회의 참여 등을 점수화 함.

22. 4.2.학술회의 평가(1) 학술회의의 프로그램 위원회 구성원들의 피인용횟수를 이용한 탐색결과의 순위부여

23. 4.2.학술회의 평가(2) 고품질의 학술회의는 프로그램위원의 총수, 출판물 총수, 공저자 횟수, SNA 중심성이 높다.

24. 5.학술적 위상 평가모델 • 과학자의 학술적 위상 평가모델 • 학술회의의 학술적 위상 평가모델 • 학술회의 시리즈의 학술적 위상 평가모델

25. 5.1.과학자의 학술적 위상 평가모델

26. 5.1.과학자의 학술적 위상 평가모델 정의 (1) 엘리트집단 참여 횟수 가중치 학자 S의 위상지수 주제분야 정규화 인수 엘리트집단의 유형 특정 주제분야 학술회의의 총수

27. 5.2.학술회의 학술적 위상 평가모델

28. 5.2.학술회의 학술적 위상 평가모델 정의 (2) 과학자의 위상지수(정의 1) 학술회의 위상지수 특정 주제분야 특정 학술회의의 엘리트그룹 구성원 총수

29. 5.3.학술회의 시리즈 평가모델

30. 5.3.학술회의 시리즈 평가모델 정의 (3) 학술회의 위상지수(정의 2) 학술회의 시리즈 위상지수 특정 주제분야의 특정 학술회의 시리즈(e.g., JCDL)에 속한 학술회의의 총수 (e.g., JCDL 2001-2008)

31. 6.평가모델의 검증 Bioinformatics 분야 학술회의에 참여하는 엘리트집단의 계량서지학적 지표 분석 total citation h-index

32. 6.1.학술회의 데이터 수집(1)

33. 6.1.학술회의 데이터 수집(2) 33/59

34. 6.1.학술회의 데이터 수집(3) Event Data Extractor

35. 6.1.학술회의 데이터 수집(4) Event Data Extractor

36. 6.2.엘리트집단과 표본추출(1) 27/27 조직위원장 (OC Chair) 조직위원회 위원(OC Member) 53/333 프로그램위원장(PC Chair) 54/93 프로그램위원회 위원(PC Member) 126/1160 세션좌장 (SC: Session Chair) 75/698 초청강연자 (ISP: Invited Speaker) 74/74 상수상자 (AW: Award Winner) 49+78/127 536/2,512

37. 6.2.엘리트집단과 표본추출(2)

38. 6.3.비 엘리트집단과 표본추출 비 엘리트집단 어떤 학술회의에 적어도 한편의 논문(포스터)을 제출하였으나 엘리트집단에 포함되지않은 연구자들

39. 6.4.Total citation,h-index 관측

40. 6.4.Total citation,h-index 관측

41. 6.5.통계분석 엘리트집단의 계량서지학적 지표들이 비엘리트집단의 그것보다 높은가? 귀무가설(HO) • 계량서지학적 지표상으로 8개의 집단간에는 차이가 없다. 대립가설(HA) • 계량서지학적 지표상으로 적어도 하나의 집단은 다른 집단과 차이가 있다. 유의수준: 0.05 통계패키지: SAS 9.1, StatDirect 2.7

42. 6.5.기술통계량; 정규분포 검정 비모수통계 정규분포를 따르지 않는다.

43. 6.6.Kruskal-Wallis ANOVA 계량서지학적 지표상으로 집단간에 유의미한 차이가 있는가? p-value <0.05 • 계량서지학적 지표상으로 8개의 집단간에는 차이가 없다는 • 귀무가설 기각

44. 6.7.Dwass, Steel, Chritchlov-Flinger 다중비교 어떤 집단이 다른 집단과 통계적으로 유의미한 차이를 보이는가? ISP>OCC>PCC>OCM>AW>SC>PCM>NEG

45. 6.8.분석결과: 학술적 위상 엘리트집단 비엘리트집단 ISP 가장 높은 가중치 동일한 가중치 평균 citations=5,570.22 평균 h-index=25.068 엘리트집단 평균 citations=837; h-index=11

46. 7.결론 연구의 의의 • 과학자의 학술적 위상에 대한 새로운 평가방법을 제시함 • 새로운 학술회의 품질평가 모델을 제시함 향후 연구 평가모델의 일반화(사회과학, 인문학 …)

47. The SEDE Project Event Data Extractor Event Similarity Event Data Crawler Web Scholarly Event Ontology SKOS KOS SDI Service http://www.eventography.org Text Analyzer Expert Finder Prominence Metrics Knowledge Structure Analysis

48. 질의응답 감사합니다! 정상원 senator@snu.ac.kr http://www.eventography.org http://bike.snu.ac.kr/~senator

49. 참고문헌 • Bakker, P., & Rigter, H. (1985). Editors of medical journals: Who and from where. Scientometrics, 7(1), 11-22. • Castillo, M. (2008). The editorial board welcomes new members. American Journal of Neuroradiology, 29(1), 1-4. • Chan, K. C., Fung, H.-G., & Lai, P. (2005). Membership of editorial boards and rankings of schools with international business orientation. Journal of International Business Studies, 36(4), 452-469. • Daim, T., Monalisa, M., Dash, P., & Brown, N. (2007). Time lag assessment between research funding and output in emerging technologies. Foresight, 9(4), 33-44. • Drott, M. C. (1995). Reexamining the role of conference papers in scholarly communication. Journal of the American Society for Information Science, 46(4), 299-305. • Egghe, L. An improvement of the h-index: the g-index. • Egghe, L. (2006a). An improvement of the h-index: the g-index. ISSI Newletter, 2(1), 8-9. • Egghe, L. (2006b). Theory and practise of the g-index. Scientometrics, 69(1), 131-152. • Elmacioglu, E., & Lee, D. (2007). Oracle, Where Shall I Submit My Papers.Unpublished manuscript. • Gibbons, J. D. (1990). U.S. Institutional Representation on Editorial Boards of U.S. Statistics Journals. The American Statistician, 44(3), 210-213. • Gibbons, J. D., & Fish, M. (1991). Rankings of Economics Faculties and Representation on Editorial Boards of Top Journals. The Journal of Economic Education, 22(4), 361-372. • Glänzel, W., Schlemmer, B., Schubert, A., Irps, H. A. S., & Budapest, H. (2005, June 2-4). A transactional matrix analysis of national attendance on international scientific meetings. Paper presented at the 2005 Annual Conference of the Canadian Association for Information Science (CAIS): Data, Information, and Knowledge in a Networked World, London, Ontario, Canada. • Glänzel, W., Schlemmer, B., Schubert, A., & Thijs, B. (2006). Proceedings literature as additional data source for bibliometric analysis. Scientometrics, 68(3), 457-473. • Glänzel, W., & Schoepflin, U. (1995). A bibliometric study on ageing and reception processes of scientific literature. Journal of Information Science, 21(1), 37-53.

50. 참고문헌 • Godin, B. (1998). Measuring knowledge flows between countries: The use of scientific meeting data. Scientometrics, 42(3), 313-323. • Hirsch, J. E. (2005). An index to quantify an individual's scientific research output. Proceedings of the National Academy of Sciences, 102(46), 16569-16572. • Hollander, M., & Wolfe, D. A. (1999). Nonparametric Statistical Methods New York: John Wiley & Sons. • ICSM (2007). Steering Committee Guidelines for the program committee selection: International Conference on Software Maintenance. • IEEE (2006). Guidelines for Program Committee Selection and Composition (Version 1.1 ed.): International Conference on Program Comprehension. • Johan Bollen, H. V. d. S. (2008). Usage impact factor: The effects of sample characteristics on usage-based impact metrics. Journal of the American Society for Information Science and Technology, 59(1), 136-149. • Kam C. Chan, R. C. W. F. (2003). Membership On Editorial Boards And Finance Department Rankings. The Journal of Financial Research, 26(3), 405-420. • Kranakis, E., & Leydesdorff, L. (1989). Teletraffic conferences: Studying a field of engineering science. Scientometrics, 15(5), 563-591. • Kuhn, M., & Wattenhofer, R. (2008, April 26-28). The layered world of scientific conferences. Paper presented at the The 10th Asia-Pacific Web Conference, APWeb 2008, Shenyang, China. • Lariviere, V., Archambault, E., & Gingras, Y. (2008). Long-term variations in the aging of scientific literature: From exponential growth to steady-state science(1900-2004). Journal of the American Society for Information Science and Technology, 59(2), 288-296. • Lisée, C., & Larivière, V. (2008). Conference proceedings as a source of scientific information: A bibliometric analysis. Journal of the American Society for Information Science and Technology, 59(11), 1776-1784. • Lyon, W. S. (1986). Scientometrics with some emphasis on communication at scientific meetings and through the "invisible college". Journal of Chemical Information and Computer Sciences, 26(2), 47-52. • Marchionini, G., Solomon, P., Davis, C., & Russell, T. (2006). Information and library science MPACT: A preliminary analysis. Library & Information Science Research, 28(4), 480-500. • Martens, B., & Saretzki, T. (1993). Conferences and courses on biotechnology. Describing scientific communication by exploratory methods. Scientometrics, 27(3), 237-260. • Martens, B., & Saretzki, T. (1994). Quantitative analysis of thematic structures in the field of biotechnology: A study on the basis of conference data. Scientometrics, 30(1), 117-128. • Michela Montesi, J. M. O. (2008). From conference to journal publication: How conference papers in software engineering are extended for publication in journals. Journal of the American Society for Information Science and Technology, 59(5), 816-829.