Harran Üniversitesi
Büyük Veri Koordinatörlüğü

Büyük Veri Koordinatörlüğü / URAP World metodoloji

URAP World metodoloji

GİRİŞ
 
Küreselleşmenin araştırma ve geliştirme alanlarında hızlı değişimlere yol açmasıyla birlikte, uluslararası rekabet ve iş birliği dünya çapındaki üniversitelerin gündeminde öncelikli konular haline gelmiştir. Bu rekabet ve iş birliği ortamında, üniversitelerin performanslarına göre sıralanması yaygınlaşmış ve tartışılan bir araştırma alanı olmuştur. Tüm üniversiteler, mevcut akademik performanslarını değerlendirmek ve gelişimlerini güçlendirmeye yönelik stratejik planlar oluşturabilmek için dünyadaki diğer üniversiteler arasındaki konumlarını bilmeye ihtiyaç duymaktadır. Bu ihtiyacı karşılamak amacıyla, 2003 yılından bu yana ARWU-Jiao Tong (Çin), THE (Birleşik Krallık), Leiden (Hollanda), QS (Birleşik Krallık), Webometrics (İspanya), HEEACT/NTU (Tayvan) ve SciMago (İspanya) gibi çeşitli göstergelere dayalı olarak üniversiteleri sıralayan sistemler geliştirilmiştir. 
 
Web of Science, Scopus ve Google Scholar gibi yaygın ve güvenilir bilgi kaynaklarından elde edilen bibliyometrik verilerin kullanımı, bu sıralama sistemlerinin nesnelliğine katkı sağlamıştır. Bununla birlikte, çoğu sıralama sistemi dünya çapında en iyi 700-1000 üniversiteyi kapsamakta ve bu listede genellikle gelişmiş ülkelerdeki kurumlar yer almaktadır. Dünyanın diğer ülkelerindeki üniversitelerin de küresel ve ulusal düzeydeki konumlarını bilmeye hakkı ve ihtiyacı vardır. Bu durum, bizi daha kapsamlı bir çoklu kriterli sıralama sistemi geliştirmeye yönlendirmiştir. Böylece, daha fazla üniversitenin akademik ilerleme durumlarını gözlemleme şansı olacaktır. 
 
AMAÇ VE KAPSAM 
 
URAP sıralama sistemi, akademik kaliteye odaklanmaktadır. URAP, 3.000 yükseköğretim kurumunu (HEI) akademik performanslarına göre sıralamak amacıyla veri toplamıştır. Her bir yükseköğretim kurumunun genel puanı, "Sıralama Göstergeleri" bölümünde açıklanan çeşitli performans kriterlerine dayanmaktadır. Sıralamaya, Çin Bilimler Akademisi ve Rusya Bilimler Akademisi gibi devlete bağlı akademik kurumlar dahil edilmemiştir. 3.000 yükseköğretim kurumunun verileri işlenmiş ve en iyi 2.500'ü puanlandırılmıştır. Böylece URAP, dünyadaki tüm yükseköğretim kurumlarının yaklaşık %12'sini kapsayarak en kapsamlı üniversite sıralama sistemlerinden biri haline gelmiştir. 
 
URAP sıralama sistemi tamamen güvenilir açık kaynaklardan elde edilen objektif verilere dayanmaktadır. Sistem, üniversiteleri çoklu kriterlere göre sıralamaktadır. Mevcut sıralama sistemlerinin çoğu hem kurum büyüklüğüne hem de disiplinlere bağımlıdır. AIT ve CIT göstergeleri, disiplinler arası yayın eğilimlerindeki farklılıkların etkisini en aza indirmek için konu bazında ayarlama sağlamaktadır. 2017 itibarıyla URAP, yayın kalitesini artırmak amacıyla makale ve atıf göstergelerine yeni bir filtre eklemiştir. Bu filtre, her bir disiplin alanında Dergi Etki Faktörüne göre ilk üç çeyrekte yer alan dergilerde yayınlanan makalelere odaklanmaktadır. URAP araştırma ekibi, mevcut göstergeleri iyileştirmek için yeni yöntemler üzerinde çalışmaya devam etmektedir. 
 
URAP sıralama sisteminin amacı, dünya üniversitelerini en iyi veya en kötü şekilde etiketlemek değildir. Amacımız, üniversitelerin belirli akademik performans göstergelerine göre gelişim alanlarını belirlemelerine yardımcı olmaktır. Diğer sıralama sistemlerine benzer şekilde, URAP sistemi de ne kesin ne de kusursuzdur ve yeni fikirlere ve iyileştirmelere açıktır. Mevcut sıralama sistemi, devam eden araştırmalarımız ve meslektaşlarımızın yapıcı geri bildirimleri doğrultusunda sürekli olarak güncellenecektir. 
 
DÜNYA SIRALAMA GÖSTERGELERI 
 
URAP 2022-2023 Dünya Sıralaması, 6 akademik performans göstergesine dayanmaktadır. URAP akademik performans temelli bir sıralama olduğu için yayınlar, metodolojinin temelini oluşturmaktadır. Yayınların hem niteliği hem de niceliği ile uluslararası araştırma iş birliği performansı göstergeler olarak kullanılmıştır. Göstergeler, veri kaynakları ve kapsadıkları süre aşağıdaki tabloda özetlenmiştir. 
 

Gösterge	Amaç	Kapsam	Veri Kaynağı
Makale	Güncel Bilimsel Üretkenlik	2022	InCites
Atıf	Araştırma Etkisi	2018-2022	InCites
Toplam Doküman	Bilimsel Üretkenlik	2018-2022	InCites
Makale Etki Toplamı	Araştırma Kalitesi	2018-2022	InCites
Atıf Etki Toplamı	Araştırma Kalitesi	2018-2022	InCites
Uluslararası İş Birliği	Uluslararası Kabul	2018-2022	InCites

 
Her göstergenin ayrıntılı açıklaması aşağıda verilmiştir:
 
Makale (Article) :
Güncel bilimsel üretkenliği ölçen bu gösterge, Dergi Etki Faktörü'ne göre ilk üç çeyrekte (Q1, Q2, Q3) yer alan dergilerde yayınlanan makaleleri kapsar. 1000'den fazla yazarlı makaleler değerlendirme dışı bırakılmıştır. Bu gösterge genel sıralamada %21 ağırlığa sahiptir.
 
Atıf (Citation) :
Araştırma etkisini ölçen bu gösterge, 2018-2022 yılları arasında yayınlanan belgelerin aynı dönemde aldığı toplam atıf sayısına göre hesaplanır. 1000'den fazla yazarlı dergilerde yayınlanan makalelerin atıfları hariç tutulmuştur. Atıf göstergesi genel sıralamada %21 etkiye sahiptir.
 
Toplam Doküman (Total Document) :
Bilimsel üretkenliğin sürdürülebilirliğini ve devamlılığını ölçen bu gösterge, 2018-2022 döneminde yayınlanan tüm akademik çıktıları (dergi makaleleri, konferans bildirileri, incelemeler, mektuplar, tartışmalar, senaryolar vb.) kapsar. Toplam doküman sayımlarında herhangi bir filtreleme uygulanmamıştır. Bu gösterge genel sıralamada %10 ağırlığa sahiptir.
 
Makale Etki Toplamı (Article Impact Total - AIT) :
Bu gösterge, kurumun 2018-2022 yılları arasında 24 farklı disiplin alanındaki normalleştirilmiş CPP'sinin (Makale Başına Atıf) dünya ortalamasına (World CPP) oranına göre düzeltilmiş bilimsel üretkenlik ölçüsüdür. Kurumun CPP'sinin dünya ortalamasına oranı, o alanda kurumun performansının dünya ortalamasının üzerinde mi yoksa altında mı olduğunu gösterir. Bu oran, ilgili alandaki yayın sayısıyla çarpılır ve 24 alanın tamamında toplanır. Formül şu şekildedir:

Bu gösterge, kurumun bilimsel üretkenliği ile her bir alandaki  yayınların alan-normalize etkisi arasında denge kurmayı amaçlamaktadır.  Genel sıralamada %18 ağırlığa sahiptir.
Atıf Etki Toplamı (Citation Impact Total - CIT) :
Bu  gösterge, 2018-2022 yılları arasında 24 farklı disiplin alanında kurumun  normalleştirilmiş CPP'sinin (Makale Başına Atıf) dünya ortalamasına  (World CPP) oranına göre düzeltilmiş araştırma etkisini ölçer. Kurumun  CPP'sinin dünya ortalamasına oranı, o alanda kurumun performansının  dünya ortalamasının üzerinde mi yoksa altında mı olduğunu gösterir. Bu  oran, ilgili alandaki atıf sayısıyla çarpılır ve 24 alanın tamamında  toplanır. Bu gösterge, kurumun bilimsel etkisi ile her bir alandaki  yayınların alan-normalize etkisi arasında denge kurmayı amaçlamaktadır.  Formül şu şekildedir:

Bu göstergenin genel sıralamaya katkısı %15’tir.
 
Uluslararası İş Birliği (International Collaboration) :
Uluslararası İş Birliği: Bir üniversitenin küresel kabulünün bir ölçüsüdür. Yabancı üniversitelerle iş birliği içinde yayınlanan toplam makale sayısına dayanan uluslararası iş birliği verileri, 2018-2022 yılları için InCites'tan alınmıştır. Bu göstergenin genel sıralamadaki ağırlığı %15'tir.
 
VERI TOPLAMA VE PUANLAMA
 
Veriler, yükseköğretim kurumlarının listelerini sağlayan Web of Science ve InCites'den toplanmaktadır. İlk aşamada en fazla yayına sahip 3000 yükseköğretim kurumu değerlendirmeye alınmış ve veri işleme sonrasında bu 3000 kurum sıralanmıştır. Sıralamanın güvenilirliği büyük ölçüde kullanılan verilerin kalitesine bağlıdır. Güvenilir veri sağlamak amacıyla ön işleme ve veri temizleme teknikleri uygulanmıştır. İstatistiksel analizler, göstergelerimizin temelini oluşturan ham bibliyometrik verilerin yüksek oranda çarpık dağılımlar sergilediğini göstermiştir. Bu nedenle, gösterge değerleri medyanın üstü ve altı olmak üzere iki grupta lineer olarak puanlanmıştır. Göstergelere ağırlık puanlarının atanması için uzmanlardan oluşan bir grupla Delphi sistemi uygulanmıştır. Toplam 600 puan aşağıdaki şekilde göstergelere dağıtılmıştır:
- Makale: %21
- Toplam Doküman: %10
- Atıf: %21
- Makale Etki Toplamı: %18
- Atıf Etki Toplamı: %15
- Uluslararası İşbirliği: %15
 
Türkiye Üniversite Sıralamalarında kullanılan kriterlere https://newtr.urapcenter.org/Methodology adresinden ulaşabilirsiniz.
 
DÜNYA ALAN SIRALAMASI FORMÜLASYONU (2021-2022 SIRALAMASINDAN İTIBAREN)
 
Web of Science kategorileri 78 farklı akademik alana ayrılmıştır. Bu kategorilerin tam listesini ve detaylarını aşağıdaki bağlantıda bulabilirsiniz:
 

• Web of Science Kategorileri Listesi

 
Çeşitli çalışma alanlarında sıralanan üniversite sayılarını gösteren detaylı tablo şu bağlantıda sunulmaktadır:
 

• URAP Alanlarında Listelenen Üniversite Sayıları

 
Formülasyon
 
1. URAP'ın 2021-2022 alan sıralaması için 78 konu belirlendi.
2. Bu 78 konunun her biri için, o konudaki 5 yıllık (2016-2021) makale sayısı hesaplandı. (STAworld)
3. Dünyadaki toplam makale sayısı (5 yıl) bulundu. (TAworld)
4. Bu 78 konunun her biri için, o konudaki makale sayısı (5 yıl) hesaplandı ve dünyadaki toplam makale sayısına (5 yıl) oranı hesaplandı.
5. Her alan için hesaplanan oranın üç katı sınır değer olarak belirlendi. (Sınır değer = ((STAworld)i/TAworld)*3) 0<i<79
6. İlgili üniversitenin makale sayısının toplam makale sayısına oranı hesaplandı.
7. Bu hesaplamalarda son 5 yıla ait makale sayıları dikkate alınmış ve hesaplamalar 78 alan için tekrarlanmıştır.
8. Bir üniversitenin bir konuda yayınladığı makale oranı, o konunun dünya için belirlenen sınır değerini aşıyorsa ve bu sınır değeri %40'ın üzerindeyse, o üniversitenin toplam makale sayısı ilgili konunun sınır değeri ile çarpılarak ilgili konudaki makale sayısı olarak kabul edilir.
9. (Konu OranıÜniversite> Sınır Değeri & Sınır Değeri > %40 → (STAüniversite)i = TAüniversite * Sınır Değeri) 0<i<79
10. Bir üniversitenin bir bilim alanında yayınladığı makale oranı, o konunun dünya için belirlenen sınır değerini aşıyorsa ve bu sınır değeri %40'ın altındaysa, o üniversitenin toplam makale sayısının %40'ı ilgili konudaki makale sayısı olarak kabul edilir.
11. (Alan Oranıüniversite > Sınır Değeri & Sınır Değeri < 40% → (STAüniversite)i = TAüniversite * 0,40) 0<i<79
12. Bir üniversitenin bir konu hakkında yayınladığı makalelerin oranı, dünya için belirlenen o konunun sınır değerini aşmıyorsa, hiçbir değişiklik yapılmamıştır. (Konu Oranıüniversite ≤ Sınır Değeri → hiçbir işlem yapılmamıştır) 0<i<79
 
SIKÇA SORULAN SORULAR
 
S1: URAP kar amacı gütmeyen bir kuruluş mudur?
C1: Evet, URAP kar amacı gütmeyen bir kuruluştur.
 
S2: Bir üniversite sıralamalara nasıl girebilir veya bir üniversite neden sıralanmayabilir?
C2: URAP sıralamalarına dahil olmak için bir üniversitenin belirli kriterleri karşılaması gerekir:
- Akademik bir kurum (Üniversite) olmalıdır.
- Üniversitenin birden fazla 4 yıllık lisans bölümü olmalıdır.
- Üniversite 4 yıldan uzun süredir kurulmuş olmalı ve ilk lisans mezunlarını vermiş olmalıdır.
- Yukarıdaki kriterleri karşılayan tüm üniversiteler analiz için dikkate alınır. URAP'ın sıralama sistemi, makale sayısı ve atıf sayısı gibi metrikler de dahil olmak üzere üniversitelerin bilimsel çıktılarına dayanmaktadır. Bir üniversitenin URAP'ta sıralanması için sıralama metodolojisinin göstergelerine göre en yüksek puanlara sahip ilk 3000 üniversite arasında olması gerekir.
 
S3: ESCI (Yeni Kaynaklar Atıf Endeksi) verilerini dahil ediyor musunuz?
C3: 2022'den itibaren ESCI verileri Toplam Atıf (Son 5 yıl) ve Toplam Belgeler (Son 5 yıl) verilerine dahil ediliyor.
 
S4: Üniversite isimleri değişirse veya üniversiteler birleşir/ayrılırsa üniversite bilgilerini güncelleyebilir misiniz?
C4: Veritabanımız olarak InCites'ı kullanıyoruz ve bu nedenle isimleri doğrudan değiştiremeyiz veya üniversite birleşmelerini yansıtamayız. Bu durumlarla karşılaşırsanız, yardım için InCites ile iletişime geçmeniz önerilir. Değişiklikler veritabanına yansıtıldığında, yaklaşan URAP sıralamasına dahil edilecektir.
 
S5: Metodolojide hangi "yıl aralıkları" kullanılıyor?
C5: Her yıl tutarlı bir metodoloji sürdürürken, "yıl aralığı" yıllık olarak ayarlanmaktadır. Örneğin, URAP 2022-2023 Dünya Sıralaması için seçilen "yıl aralıkları" şu şekildedir:
- Makale: 2021-2021 Yayınları (Son 1 yıl)
- Atıf: 2017-2021 Yayınları (Son 5 yıl)
- Toplam Belge: 2017-2021 Yayınları (Son 5 yıl)
- Makale Etkisi Toplamı: 2017-2021 Yayınları (Son 5 yıl)
- Atıf Etkisi Toplamı: 2017-2021 Yayınları (Son 5 yıl)
- Uluslararası İş Birliği: 2017-2021 Yayınları (Son 5 yıl)
 
S6: Üniversitemizin Ham Verilerini Sağlayabilir misiniz?
C6: Ne yazık ki, üniversitemizin InCites ile olan anlaşması nedeniyle ham veri taleplerini karşılayamıyoruz. Ancak, üniversiteniz bir InCites üyeliğine sahipse (genellikle üniversitenizin kütüphane birimi tarafından yönetilir), kurumunuzun yayın bilgilerine InCites aracılığıyla erişebilmelisiniz. Böyle bir üyelik yoksa, bu bilgileri tüm üniversitelerin erişebildiği Web of Science platformundan edinebilirsiniz.
 
Kolaylığınız için, "Sıralamalar" bölümünden Excel formatındaki sıralama analizlerinden oluşturulan puan tablolarını yıllara göre kategorize edilmiş olarak alabilirsiniz.
 
S7: Türk Üniversite Sıralamaları:
https://newtr.urapcenter.org/