評鑑中心於2008年8月29日發佈世界大學科研論文質量評比,為求更清楚呈現本評比的運用與限制,以及本年度新增特色,茲將常見問題整理如下:
1.本次的評比特色?
2.本次評比的適用對象為何?
3.2008年評比與2007年評比有何不同?
4.本評比分領域之劃分依據為何?
5.本次評比為何跟去年指標內容幾乎相同?
6.本次評比為何要移除「卓越領域數」指標?
7.不分領域的排名為何有兩種,該以哪一種為準?
8.分領域的排名為何沒有提供考量教師數的排名?
9.分領域與不分領域為何採用統一指標?
10.本計畫採用分領域之科研論文質量評比,與上海交大分領域學術評比有何不同?
11.本次評比可否代表大學排名?
12.本次評比可否代表大學的整體學術能力?
13.本次評比與上海交大「世界大學學術排名」有何不同?
14.本次「科研論文質量評比」與英國《泰晤士報高等教育增刊》的世界大學排名有何不同?
15.本次「科研論文質量評比」是否有考慮學校規模因素?
16.為何「科研論文質量評比」不採計人文藝術學科的論文?
17.為何「科研論文質量評比」的指標之一h指數僅統計兩年?
18.為何有些學校感覺排名應該要比某些學校好但卻排名在後面?
19.分數接近的學校是不是代表其科研論文表現差不多?
20.排名較落後的學校是不是代表學術表現較差?
21.為何不將二百名後學校以201-250、251-300等區間名次標示分數接近學校的排名?
22.「科研論文質量評比」採用的指標是否太偏量化數據而不注重質化表現?
23.以人文社會科學為主要領域的學校排名是否會較為落後或無法進入排名?
24.以醫學院為主的學校,排名是否會較為前面?
25.規模較大的學校是否排名會比較前面?
26.如何看待各國進榜學校數量與名次與心中預期不同?
27.為什麼評比指標這麼多,是不是可以整併?
28.為何第一名與第二名學校之間總分差距非常大?
1.本次的評比特色?
此次進行論文質量評比的特色為:高達80%為品質指標(此評分系統是第一個應用「h指數」反映學校論文品質的系統),且短期指標占55%,彰顯短期努力績效。但此次評比僅是「科研論文質量評比」,不是涵蓋教學、研究及行政之「大學評比」,亦不是著重聲譽或非凡成就的「學術表現評比」。所設計指標適合作為新興國家研究型大學的參考。
[回最上面]
2.本次評比的適用對象為何?
本科研論文質量評比的適用對象為研究型大學,特別是針對新興國家的學校,透過客觀且能反映出短期努力的指標,讓這些大學能了解其在世界排行的地位及優勢,得知自己與其他大學的差距,並能追蹤學校論文質量每年的進步情形。
[回最上面]
3.2008年評比與2007年評比有何不同?
(1) 2008年提供分領域評比排名
有鑑於領域特性的關係,以醫學院為主的學校,在世界大學科研論文評比排名較為前面,故2008年首次推出以六大領域評比排名,主要分為:農學(AGE)、臨床醫學(MED)、工學(ENG)、生命科學(LIFE)、理學(SCI)及社會科學(SOC)等六大領域。
(2) 2008年指標移除「卓越領域數」指標
卓越領域數的指標在進行分領域排名時功能降低,同時為使分領域與不分領域採用統一指標,故將卓越領域數指標移除。
(3) 加強短期指標權重至55%
「卓越領域數」指標移除後,考量學術生產力、學術影響力、學術卓越性三大評估構面,並維持比重各佔20%、30%、50%,強調研究品質在學術論文質量評比的重要性,故將卓越領域數之權重10%,分別給予「高被引文章數」及「高影響期刊論文數」兩項指標,各占15%。故2008年長期指標權重為45%,短期指標權重為55%。
[回最上面]
4.本評比分領域之劃分依據為何?
本評比首先參考上海交大與泰晤士報的分領域範疇,並諮詢各領域專家將學術領域劃分為六個分領域,跨領域則不進行處理,而六個領域名稱及其包含之子領域如下所列:
(1)農學(AGE):農業科學(Agricultural Sciences)、植物與動物科學(Plant & Animal Science)、環境/生態學(Environment/Ecology)。
(2)臨床醫學(MED):臨床醫學(Clinical Medicine)、精神病學(Psychiatry)。
(3)工學(ENG):電腦科學(Computer Science)、工程(Engineering)、材料科學(Materials Sciences)。
(4)生命科學(LIFE):生物與生化(Biology & Biochemistry)、微生物學(Microbiology)、免疫學(Immunology)、神經科學與行為(Neuroscience & Behavior)、藥理學與毒物學(Pharmacology & Toxicology)、分子生物與遺傳學(Molecular Biology & Genetics)。
(5)理學(SCI):化學(Chemistry)、地球科學(Geosciences)、數學(Mathematics)、物理學(Physics)、太空科學(Space Science)、心理學(Psychology)。
(6)社會科學(SOC):一般社會科學 (Social Sciences , General)、經濟與商業(Economics & Business)。
[回最上面]
5.本次評比為何跟去年指標內容幾乎相同?
學術評比指標乃長期連續性測量之工具,本評比希望能長期觀察世界各大學之延續性表現,瞭解各學校歷年表現之消長,故沿用相同指標長期以便比對去年評比結果,進而追蹤學校之成長趨勢。
[回最上面]
6.本次評比為何要移除「卓越領域數」指標?
卓越領域數的指標在進行分領域排名時功能降低,同時為使分領域與不分領域採用統一指標,故將卓越領域數指標移除。
[回最上面]
7.不分領域的排名為何有兩種,該以哪一種為準?
以原排名為準,而考量教師數之排名僅為參考。本評比於去年發表過後,若干單位提出考量學校教師數的建議,然在考量規模也是一種實力的前提下,本評比仍維持去年作法。但今年額外列出考量教師數之排名,提供各方參考。
[回最上面]
8.分領域的排名為何沒有提供考量教師數的排名?
將排名進行分領域處理,即已考量領域特性,教師數造成的影響將會縮小,因此分領域排名時較不需考量教師數的影響。再者,蒐集分領域教師數於實際執行上具有相當之困難度,故而無法在分領域評比時考量教師數。
[回最上面]
9.分領域與不分領域為何採用統一指標?
通常在同一評比下,都會採用相同指標,再加上本評比設計之指標可有效衡量不分領域及分領域之科研論文質量表現,自然就採用同一套指標。採用統一指標的另一優點為,方便於同一個基礎下比較某學校整體及分領域之科研表現。
[回最上面]
10.本計畫採用分領域之科研論文質量評比,與上海交大分領域學術評比有何不同?
二種分領域排名在指標設計上有所不同,上海交大2008年分領域學術評比採用的指標與其不分領域之六項指標相同,本計畫之2008年分領域評比採用之九項指標亦與不分領域評比相同。另一方面,在領域分類上,上海交大分領域學術評比共分成臨床醫學、工學、生農科學、理學及社會科學五大領域,本計畫將生農科學分開,共分成農學、臨床醫學、工學、生命科學、理學及社會科學等六大領域。
[回最上面]
11.本次評比可否代表大學排名?
不可,此次科研論文質量評比僅針對世界各大學所發表之科研論文,分別就質量與數量、長期及短期角度設計指標,僅能呈現出各大學在科學與社會科學論文上的質量,無法延伸解釋至教學、研究及行政等績效綜合評比。
[回最上面]
12.本次評比可否代表大學的整體學術能力?
不完全可以,因為除了論文外,尚有研究計畫、專利、專書、產學合作等,都是大學整體學術能力的一部分。不過科研論文的質量除人文領域外,經常被用來推估學校的學術能力。
[回最上面]
13.本次評比與上海交大「世界大學學術排名」有何不同?
上海交通大學的「世界大學學術排名」採用的各項指標中,包括諾貝爾獎、高被引學者與Nature、Science的文章等指標,追求的都是非常傑出的研究成果,尤其是諾貝爾獎,並非大多數學校可以達到的目標,因此無法反應大多數學校的研究表現。而「科研論文質量評比」乃設計一套包含多數學校現階段經努力即可達成的短期指標,只要學校一有進步,成果隔年即可反映在排名上。
[回最上面]
14.本次「科研論文質量評比」與英國《泰晤士報高等教育增刊》的世界大學排名有何不同?
英國《泰晤士報高等教育增刊》(The Times Higher Education Supplement)所進行之世界大學排名,其強調同儕評量、企業雇主評量,權重達50%,易受主觀意識影響,尤其是其問卷形式的大學排名給分,很容易成為大學聲望評比,而忽略大學的實際表現,而「科研論文質量評比」則以較為客觀的數據進行大學排名。
[回最上面]
15.本次「科研論文質量評比」是否有考慮學校規模因素?
是,一所學校論文的多寡,自然和該校規模有一定關係,因此本評比利用平均被引次數指標平衡學校規模的影響,然在最後排名中,仍可看出規模的影響。由於學校規模在某種程度上亦可代表學校實力,因此本評比僅能盡量尋找一個平衡點,為進一步考量規模因素,今年的評比特別提供考量教師數學校排名作為參考。
[回最上面]
16.為何「科研論文質量評比」不採計人文藝術學科的論文?
由於藝術人文領域之研究範疇地域性色彩較濃、研究成果常以非英語或專書發表,而A&HCI收錄文獻以英語期刊論文為主,故本評比不採計A&HCI期刊論文。
[回最上面]
17.為何「科研論文質量評比」的指標之一h指數僅統計兩年?
由於h指數是相當敏感的指數,二年論文數已相當大量(以哈佛大學為例,其2005-2006年論文數為28,951篇),足以產生客觀的質量綜合指數。我們試取十一年(1996-2006)論文數最高的哈佛大學與東京大學及分散於中間及後面的學校共47間,進行長期與短期的h指數相關係數分析,發現二年h指數(2005-2006)與十一年h指數(1996-2006)的相關係數為.967,具有高度相關性,實無必要進行十一年h指數的計算。
[回最上面]
18.為何有些學校感覺排名應該要比某些學校好但卻排名在後面?
由於本評比進行的是「科研論文質量評比」,僅能忠實反應各大學當時之論文質量表現,並非「學術評比」或「大學評比」,故可能與其他大學排名有所不同。不同的評比指標、學校規模大小、有無醫學院,甚至人文社會科學占該大學比例等問題,皆會影響評比結果。
[回最上面]
19.分數接近的學校是不是代表其科研論文表現差不多?
是,由於各指標第一名學校相較其他學校數值特別高,故後面學校總分差距相當些微,加以本評比所給予的名次,只是方便讀者得知大致排名,並無意圖顯示任何絕對差距,意即排名接近且分數差距細微的學校,不宜單以名次斷定表現優劣,而應將其視為科研論文表現不分軒輊的學校。
[回最上面]
20.排名較落後的學校是不是代表學術表現較差?
不是,排名較後面的學校僅代表在科研論文的質量表現上不若其他學校,但是無法延伸至其整體學術表現甚至是學校聲望。面對任何名次,在解釋上應特別注意評比指標的不同、學校規模大小、有無醫學院,甚至人文社會科學占該大學比例等問題。
[回最上面]
21.為何不將二百名後學校以201-250、251-300等區間名次標示分數接近學校的排名?
若將分數接近的學校以201-250、251-300相同區間名次顯示,有難以訂定區間範圍的困難,且極有可能此區間的最後一名與下一區間的第一名差距不大,但兩者卻被分成二級。由於同區間名次內學校數該設定多少難以界定,且細微的差距不宜被區分為二種等級,故本評比並未採區間名次標示。
[回最上面]
22.「科研論文質量評比」採用的指標是否太偏量化數據而不注重質化表現?
本評比以可客觀取得的數據為依據,評估各大學之科研論文質量表現,一般在探討科研論文績效表現時,量化的分析指標較能提供客觀的描述基準,尤其量化指標較適合進行排名,故本評比採量化指標為主,但在量化指標上加入觀測論文品質之概念,共有80%的品質指標,可謂是以質化為主的量化數據評比。
[回最上面]
23.以人文社會科學為主要領域的學校排名是否會較為落後或無法進入排名?
是,本評比的對象是科研論文,資料來源為SCI資料庫與SSCI資料庫,並不包含人文科學的論文(A&HCI)。同時,雖包含社會科學論文,但由於社會科學的論文數較少(SCI收錄7,565種期刊,SSCI收錄2,306種),因此以人文社會科學為主的學校,如果該校沒有其他相對較強的科學領域,就很難在本評比排名結果中出現。
[回最上面]
24.以醫學院為主的學校,排名是否會較為前面?
是,由於領域特性的關係,醫學領域文章發表量與被引次數相較其他領域高出許多(1997年至2007年的臨床醫學(Clinical Medicine)領域論文數共有1,952,646篇,被引次數22,430,015次;工程(Engineering)領域論文數為748,139篇,被引次數為2,734,738次);故於本評比中,有醫學院或附設醫院的學校其表現會比沒有相關系所的學校更加優異,從2008年起本評比增加以分領域排名之方法進行年度排名。
[回最上面]
25.規模較大的學校是否排名會比較前面?
是,本評比今年雖使用平均被引次數等指標平衡學校規模的影響,然在最終排名中,仍可看出規模的影響。而今年增加考量教師人數的排名作為參考值,可了解教師數的規模對於排名的影響程度。例如在西雅圖的華盛頓大學的學生數大約在40,000人左右(教師數約4,800人),故排名較前面,今年為第4名,但考量教師數的排名則為第13名。
[回最上面]
26.如何看待各國進榜學校數量與名次與心中預期不同?
本評比並非「大學聲望評比」或「大學學術評比」,故可能與不同對象心中認知的大學排名有所不同。除外,在該國家進入排名榜的學校中,也許實際名次與心中預期並不相同,但同國家入榜學校間的相對位置仍符合社會預期。
[回最上面]
27.為什麼評比指標這麼多,是不是可以整併?
2007年評比與上海交大評比總分的相關係數為0.896,名次的相關係數為0.853;而2008年評比與上海交大2007年評比總分之相關係數為0.907,名次的相關係數為0.874,與2007年結果相較略有上升。同時,八個指標與上海交大總分的相關檢定皆達顯著,亦通過統計迴歸的顯著性檢定。換言之,短期指標的考量造成評比指標數目的增加,但這可使學校的努力能在次年看到成果。
[回最上面]
28.為何第一名與第二名學校之間總分差距非常大?
第一名與第二名差距過大是學術評比普遍存在的問題,2008上海交大評比第一名與第二名之總分差距約30分之多。泰晤士報評比為縮小分數差距,分數依Z分數進行調整,其總分差距的縮小實來自人為調整。本評比曾嘗試以T分數調整並縮小第一名與第二名學校的差距,但為忠實呈現原始差距,還是決定未予調整。由於排名榜中第一名哈佛大學規模較大(學生數約20,000人,全職教師數約3,369人),有醫學院且醫學院表現極佳(1997年至2007年之十一年臨床醫學論文數即有42,126篇,被引次數為1,048,531次),加上該校其他領域論文質與量的表現皆非常優異,八個指標中,除了平均被引次數指標外,皆為最高分,與其他學校相較之下,表現顯得特別傑出;第二名Johns Hopkins University的規模不算小(學生數約20,000人,教師數約3,370人),亦有醫學院且擁有不少醫學領域文章(1997年至2007年之十一年臨床醫學論文數有24,274篇,被引次數為552,123次),然其長短期文章數與被引次數皆明顯落後哈佛大學;外加其於高被引文章數和高影響期刊論文數表現皆與哈佛大學有相當落差,故第一名與第二名學校之總分差距甚大。
[回最上面]