本計畫以「學術生產力」、「學術影響力」、「學術卓越性」三大構面作為世界大學不分領域科研論文質量表現之評比,共採用八個指標,分別為「近十一年論文數」、「當年論文數」、「近十一年論文被引次數」、「近二年論文被引次數」、「近十一年論文平均被引次數」、「近二年h指數」、「高被引文章數」及「高影響期刊論文數」等;並移除「卓越領域數」指標。以上述八項指標評鑑學校整體在學術品質及數量上於近期與長期累積的科研論文成果,並考量學校規模及優質研究進行綜合評比,各指標之內容比重如表一。
表一:不分領域評比構面、指標及權重表
| 構面 |
2009年不分領域指標 |
權重 |
| 學術生產力 |
近十一年論文數(1998-2008) |
10 |
20 |
| 當年論文數(2008) |
10 |
| 學術影響力 |
近十一年論文被引次數(1998-2008) |
10 |
30 |
| 近二年論文被引次數(2007-2008) |
10 |
| 近十一年論文平均被引次數(1998-2008) |
10 |
| 學術卓越性 |
近二年h指數(2007-2008) |
20 |
50 |
| 高被引文章數(1998-2008) |
15 |
| 高影響期刊論文數(2008) |
15 |
(1) 學術生產力:近十一年論文數、當年論文數
論文發表數是書目計量最基礎的指標,由於論文是經由同儕審查後發表於專業的期刊,因此是合理衡量一國或一機構學術研究競爭力的指標,間接反映機構及各領域的科技活動進展之程度。本計畫作為學術論文研究能量的評鑑部分,鎖定科技研究論文,觀察其於數量上之表現,「近十一年論文數」為其一指標,即利用ESI資料庫所統計出各校1998至2008年間11年來發表於SCI與SSCI之文獻數量,「當年論文數」則於2009年1月1日至1月31日從WOS資料庫中檢索該校2008當年SCI與SSCI論文發表數,以作為另一指標。
(2) 學術影響力:近十一年論文被引次數、近二年論文被引次數、近十一年論文平均被引次數
論文被引次數是一篇論文在特定期間內被引用的次數。此指標大略反映一篇論文在一領域內的科學影響力,被高度引用的論文不僅反映出一篇論文的品質與重要性,亦是論文在國際上可見度的直接表現。近二年論文被引次數和影響係數一樣,考量二年的論文被引次數,代表的是短期影響力,而十一年論文被引次數則代表長期影響力。而平均被引次數則能評估該學校每篇論文之被利用程度或影響程度,並能將學校教職研究人數差距的因素調整降低,為考量論文品質與學校規模的指標。
本計畫作為學術論文研究品質的評鑑部分,「近十一年論文被引次數」採用ESI資料庫統計之各校1998至2008年間11年來SCI及SSCI論文所被引用的數量,「近二年論文被引次數」即採用WOS資料庫上該校前兩年(2007年至2008年)SCI與SSCI論文發表數至檢索日期之所有被引用之次數總和。「近十一年論文平均被引次數」則利用「近十一年論文被引次數」除以「近十一年論文數」指標即可得之。
(3) 學術卓越性:近二年h指數、高被引文章數、高影響期刊論文數
本計畫作為優質研究成果之評鑑部分,嘗試利用近二年h指數、高被引文章及具影響力期刊之角度評估各校優質研究比例,藉以推究該校整體科研論文卓越研究之表現。「近二年h指數」指標中,h指數(h-index)係由Hirsch於2005年提出,其定義為:「一所學校擁有h篇被引次數達h次或以上次數的論文,且其他論文被引次數皆小於或等於h次時,該校即得到其h指數」。由於h指數同時兼具評量論文數量與質量的特性,本計畫嘗試將其公式延伸至校級評估,統計學校近二年間(2007至2008年)所有SCI及SSCI論文的h指數,藉以瞭解各校於近兩年內之論文質量綜合表現。
「高被引文章數」指標首先根據1998至2008年ESI資料庫所提供之「Highly Cited Papers」數據,其定義為近十一年內SCI與SSCI收錄文章中,各年各領域內被引次數排行前1%之文章數。「高影響期刊論文數」指標則採用JCR資料庫所統計各領域內影響係數排名前5%的期刊,利用此期刊名單分析各校2008年當年論文中,發表於前5%期刊之論文數量。影響係數是指該期刊前兩年發表的文獻在當年的平均被引用次數。亦即一種期刊的影響因素越高,也說明這些文獻的研究成果影響越大,間接反映該期刊的學術水準高。由於各領域涵蓋的期刊數差異很大,若取影響係數排名前1%的期刊,可能會過分強化小學門的表現,因此以各領域內影響係數排名前5%之期刊為高影響期刊。