| |  Anasayfa
Yardım sayfalarımızda, sitemiz ve kalite ile ilgili sorularınıza yanıt bulabilirsiniz. 
İstatistlik ve SPSS Kullanımı
|
|
Bilgi Bankası » İstatistik - En Küçük Kareler Yöntemi
En Küçük Kareler Yöntemi, basit doğrusal, çoklu regresyon modellerinin çözümlenmesinde kullanıldığı gibi, çok denklemli ekonometrik modellerin çözümünde de kullanılan tekniklerin temelidir.
Kurulan regresyon modellerinde gözlemler, anakütle gözlem değerlerinden herhangi şekilde alınmış gözlemler olduğunu düşünürsek, aldığımız gözlem değerlerinden başka aynı sayıda olan fakat farklı olasılıklarla çok daha fazla gözlem alınabilmektedir. Kurulan regresyon modeli ilgilenilen problemle ilgili örnek olarak alınmış gözlem değerleri kullanılarak hesaplanmaya çalışılır. Bu nedenle kurduğumuz modeldeki değerler tahmini değerler olacaktır. Tahmin edilmeye çalışılan sonuç değişkeni (Y) ve sebep değişkeni katsayıları (a ve b vs.) şapka olarak göstererek, tahmini regresyon denklemi yazılmaktadır. Sapka olarak gösterilen ve tahmin olarak adlandırılan katsayıların gerçek katsayılara en yakın şekilde hesaplanması için çeşitli yöntemler geliştirilmiştir. Bunlardan en iyisi "En Küçük Kareler Yöntemi" olarak isimlendirilen yöntemdir.
| Kurulan regresyon modeli, |
Y = a + bX ise, |
| Regresyon tahmini modeli, |
 olarak gösterilmektedir. | Tahmin modelindeki katsayıların hesaplanması ve katsayılarının problem kütleyi (anakütle) iyi yansıtıyor mu, yani güvenliliğinin sınanması işlemleri sırasıyla gerçekleştirilecektir.
Regresyon analizi uygulamalarında, kurulan matemetiksel modeldeki bağımsız değişken veya değişkenlerin bağımlı değişkeni ne oranda etkilediğine katsayılar dahilinde bakılır.
Regresyon analizi için kurulan modelde, bağımlı ve bağımsız değişkenin yanısıra hata terimi olarak isimlendirilen değişken yer almaktadır. Hata teriminin modele alınma nedenlerinden bahsedersek;
- Modele alınan Y ve X değişkenleri yapılan araştırmalarda yanlış ölçülmüş olabilir,
- Seçilen değişkenler Y ve X'ler hatalı sayıda alınmış örnekler olabilir,
- İster basit regresyon, ister çoklu regresyon modeline bakılıyor olsun, kurulacak modelde bağımlı değişkene (sonuç değişkeni), etki eden model dışında da bağımsız değişkenler (sebep değişkenleri) olabilir. Hisse senedinin fiyatını bağımlı, faiz oranlarını bağımsız değişken olarak alır, basit doğrusal regresyon modeli kurarsak, hisse senedinin fiyatını etkileyen sermaye arttırımları ve temettü ödemeleri, ekonomi ile ilgili haberler vs. başka unsurlar da vardır.
Bu unsurlar genel olarak ei hata terimi olarak alınır, minimum olması beklenir.
Hata terimini minimum yapan yöntem en küçük kareler yöntemi olup, bu yöntem katsayı değerlerinin hesaplanmasında kullanılmaktadır.
İnceleme
Basit doğrusal regresyonda kullanımı
i=1, 2, ……, n'e kadar gözlem içerdiğini düşünelim. Yukarıdaki tahmini regresyon modelinde yer alan ve katsayıları ile hata teriminin hesaplanması, i=1'den n'e kadar elimizde olan Y ve X gözlem değerleri kullanılarak aşağıda verilen birtakım matemetiksel hesaplamalar ile gerçekleşmektedir.
Katsayıların anlamı ve hesaplanışı
Katsayılardan (parametre olarak da ifade edilir)  katsayısı; sabit değer olarak tanımlanır ve X değişkeninin değeri sıfır iken,  değişkeninin alacağı değeri gösterir. Doğru üzerinde gösterimde doğrunun başlangıç noktası olarak adlandırılır.
Katsayılardan (parametre olarak da ifade edilir)  katsayısı; eğim olarak tanımlanır ve X değişkeninin bir birim arttığında, değişkenin artış oranını gösterir. Doğru üzerinde gösterimde doğrunun eğimi olarak adlandırılır.
Hata terimi ei; minimum olması beklenen hata terimi'dir.
Hesaplamalarda kullanılan ve katsayılarının hesaplanması;
 veya 
Not 1: olarak da ifade edilmektedirler.
Not 2: olarak da ifade edilmektedirler. Katsayıların hesaplanmasından sonra, olarak gösterilen bir regresyon tahmini değerleri, regresyon denkleminde ve katsayıları yerine koyulmak suretiyle hata terimini gözardı ederek bulunan değerdir.
Hata terimi ei, Yi'nin gerçek değeri ile tahmini değeri arasındaki farktan oluşur.
Regresyon modeli kurulup, gerekli işlemler yapıldıktan sonra modelin uygunluğuna, parametrelerin anlamına bakmak gerekmektedir.
Basit Doğrusal Modelin Belirlilik Katsayısının Hesaplanması
Kurulan regresyon modelindeki gözlem değerlerinin modele uyumuna belirlilik katsayısı ile bakabiliriz.
Bulunan belirlilik katsayısı, bağımsız değişken değerlerindeki değişimlerin ne kadarının (%) kurulan regresyon modeli ile açıklandığını gösterir. Değer 0 ile 1 arasında değişmektedir. 1'e yaklaştıkça modelin uygunluğu artmaktadır.
Basit Doğrusal Modelin Güven Aralığının Bulunması ve Hipotez Testinin Hesaplanması
En Küçük Kareler Yöntemi ile hesaplanan (sabit değer) ile (eğim) katsayısının hesaplanmasını ve ne ifade ettiğini yukarıda anlatmıştık.
Kurulan regresyon modelindeki katsayıların anakütle değerlerine ne kadar yakın olduğu yani güvenirliliği, katsayıların standart hatalarına bakılarak ölçülmektedir.
Standart hata, anakütleden örnek olarak alınan gözlem değerleri için kullanılan terimdir. Standart hata, ilgilenilen bağımsız değişkenin gözlem değerleri toplamlarının karesi alınarak, gözlem sayısı ile çarpılmış olan ilgilenilen bağımsız değişkenin ortalamadan farkları toplamına bölünmesi ile hesaplanan değerdir. Hesaplanışı güven aralığı içerisinde gösterilecektir. Anakütleyi temsil edeni standart sapmadır.
Standart hatalar, katsayıların değerlerinden küçük olmalıdır, s ile gösterilir.
Basit Doğrusal regresyon modelinde standart hataların hesaplanışı:
  
  
 formülleriyle hesaplanmaktadır.
Not:  = bağımsız değişken gözlem değerlerinin karelerinin toplamı.
Not:  bağımsız değişken gözlem değerlerinin ortalamadan farklarının karelerinin toplamı
( ).
Güvenirlikten emin olmak için aralık tahmini ve hipotez testleri uygulanmalıdır. Güven Aralığının hesaplanması:
Güven aralıkları hesaplanırken örneklem sayısı dikkate alınarak test yapılmaktadır.
(n <30) ® t testi uygulanarak güven aralıkları hesaplanmaktadır.
(n >= 30) ® z testi uygulanarak güven aralıkları hesaplanmaktadır.
Testler t ve z testleri hesaplanışları, hipotez testinde kullanılıyor olup, aynı şekilde hesaplanmaktadırlar. Örnek alınan gözlem değerlerinin sayısı dikkate alınarak sadece t ve z hesap tablolarındaki değerleri farklıdır. İstatistik kitaplarında tablo değerleri yayınlanmaktadır. Güven aralıkları için t veya z tablo değerlerinden yararlanacağız.
için güven aralığı;
için güven aralığı;
| n: |
Gözlem sayısı |
| k: |
modeldeki değişken sayısı |
| n-k: |
serbestlik derecesidir. Tablo değerine bakarken kullanılır. | Eşitliğin ilk kısmı güven aralığının alt sınırıdır. İkinci kısım ise üst sınır değeridir. Anakütleden çekilecek her örnek için seçilen anlamlılık seviyesinde (a = 0,05 ise her 100 örnekten 95'i) gerçek anakütle parametresi olan katsayıyı içerecektir.
Güven aralığı, bakılacak a veya b katsayıları için, hipotez testi kurularak, kurulan hipotezdeki değerin güven aralığına girip girmediği ile bakılarak anlamlandırılır. Aşağıda hipotez testi ile birlikte anlatılmaktadır.
Hipotez testi
Hipotez testi, her iki katsayı için de ayrı ayrı yapılmaktadır. Hipotez testinde temel hipotez H0 hipotezidir.
Katsayılardan b katsayısının, yani eğimi gösteren katsayının 1'e eşit olduğu gösterilirse; H0 : b = 1 hipotezi kurulur. Bu hipoteze karşıt olarak katsayı eğiminin 1'e eşit olmadığını gösteren bir hipotez kurarsak (H0 : b ¹ 1), çift yönlü bir hipotez testi yapmış oluruz.
Katsayı ile H0 hipotezinin uygunluğuna yukarıda anlatılan güven aralığı yaklaşımıyla bakılırsa;
Kurulan hipotezde kullandığımız katsayı değeri (b=1) yukarıdaki formül kullanılarak bulunmuş güven aralığı değerlerinin içinde kalıyorsa, H0 kabul edilir. Yani kullanılan tahmini katsayı değeri istatistiki olarak anlamsızdır. Güven aralığı dışında kalıyorsa, H0 reddedilir.
Bizim tahmini kullandığımız istatistiki olarak anlamlıdır ve 1 değerinden önemli ölçüde farklıdır denmektedir. Katsayılardan a katsayısı için de H0 : a = 0 ve H1 : a ¹ 0 şekilde hipotez testi kurulup aynı şekilde test edilebilir.
Güven aralıkları testi dışında; katsayıların 0'dan farklı yani anlamlılığı, H0 hipotezi H0 : b = 0 kurularak test edilebilir.
Kurulan hipotez her bir katsayı için ayrı ayrı olarak kurulmalıdır.
Seçilen örnekleme büyüklüğüne göre (n <30 ® t, n >=30 ® z testi) hesaplanır. Aşağıda formülü verilen hesap değerlerinde, hipoteze göre katsayı değeri yerine değer verilir. H0 : b = 0 hipotezi kurulmuşsa, formülde b=0 alınacaktır.
Test değerlerinde aynı formül kullanılmakta olup, sadece tablo değerleri değişmektedir.
t veya z tablolarından a = 0,05 veya a = 0,01 gibi seviyelerde ve n-k serbestlik derecelerinde (k=değişken katsayısı idi) tablo değerleri bulunur.
Örnek değeri dikkate alınarak yapılan t veya z testine göre;
thes > ttab H0 reddedilir.
Hipotez testi uygulanan katsayı sıfırdan farklı ve anlamlıdır sonucuna varılır. H0 kabul ise, katsayı anlamsızdır sonucuna varılır.
Aynı şekilde; zhes > ztab ise H0 yine reddedillir.
Çoklu regresyonda kullanımı:
Çoklu regresyon modelinde bağımsız değişkeni açıklayan birden fazla bağımlı değişken modelde yer almaktadır. Ekonomik modeller, genellikle birden fazla sebebin sonucu olarak gelişen olaylardır.
Çoklu regresyon modelleri en küçük kareler yöntemi kullanılarak çözümlenebilmektedir. Kurulan çoklu regresyon modeli genel olarak aşağıdaki gibi kurulmaktadır.
Y = a + b.X2 + c.X3+ .... + z.Xk + ei
İki bağımsız değişkeni içeren modelin en küçük kareler yöntemi ile çözümü,
Y = a + b.X2 + c.X3 + ei
Kurulan çoklu regresyon modeli de basit doğrusal regresyonda olduğu gibi tahmini denklem kurularak hesaplanmaktadır.
, ei hata terimi olmadan aşağıdaki şekilde yazılabilir. 
 olmaktadır.
aşağıda yer alan denklemler yardımıyla katsayıların çözümlenmesi mümkündür.
Katsayıların anlamı ve hesaplanışı
Basit doğrusal regresyon modelinde anlatıldığı gibi çoklu regresyon modelinde de fonksiyonlarda gözlem değerlerinin ortalamalarından farkları alınan değerler kullanılacaktır.
Regresyon modeli kurulup, gerekli işlemler yapıldıktan sonra modelin uygunluğuna, katsayıların anlamına bakmak gerekmektedir.
Modelin uygunluğu, belirlilik katsayısı olarak isimlendirilen ve çoklu modellerde de R2 olarak isimlendirilen istatistik terimi ile hesaplanabilir.
Çoklu Regresyon Modelinin Belirlilik Katsayısının Hesaplanması
Kurulan çoklu regresyon modelindeki gözlem değerlerinin modele uyumuna belirlilik katsayısı ile bakabiliriz.
R2 kullanımı çoklu modellerde uygun olmamaktadır. Çoklu modellerde, modele yeni bir değişken ilave edildiğinde R2 değeri her zaman artmaktadır. Payın değeri artarken payda aynı kalmaktadır.
Bu nedenle düzeltilmiş çoklu belirlilik katsayısı  kullanılıp, aşağıdaki şekilde hesaplanmaktadır.
|
Düzeltilmiş çoklu belirlilik katsayısı |
| R2= |
Çoklu belirlilik katsayısı |
| n= |
Örnek olarak seçilen gözlem sayısını |
| k= |
Modeldeki değişken katsayısı | Hesaplanan belirlilik katsayısı, bağımlı değişkendeki değişimlerin ne kadarının bağımsız değişkenler tarafından açıklandığını (%) olarak göstermektedir.
0 £ R2 £ 1 arasında değerler alır. 1'e yakın değerler olması regresyon modelinin uygun olduğunu göstermektedir.
Çoklu Regresyon Modelinin Güven Aralığının Bulunması ve Hipotez Testi Hesaplanması
En Küçük Kareler Yöntemi ile hesaplanan bağımsız değişkenin katsayılarının güvenirliliğinin test edilmesi basit doğrusal regresyon modelindeki hesaplama yöntemine benzemektedir.
Basit doğrusal regresyondaki adımlar çoklu modelde her katsayı için ayrı ayrı yapılmaktadır.
Basit doğrusal regresyonda olduğu gibi çoklu modelde de katsayıların standart hataları güvenirlilikte ve hesaplamalarda kullanılacak olması nedeniyle hesaplanmaktadır.
Çoklu regresyon modelinde standart hataların hesaplanışı:
Standart hata katsayıların değerlerinden küçük olmalıdır.
| Not: |
Büyük Xler, (X2, X3) bağımsız değişken gözlem değerleridir. |
| Not: |
Küçük xler, (x2, x3) bağımsız değişkenlerin ortalamalarından farklarının alınmış şeklidir.  |
| |
 |
| n: |
örnek olarak seçilen gözlem sayısı |
| k: |
modeldeki değişken sayısı |
Hesaplamalarda kullandığımız , ve  katsayıları anakütlenin a, b ve c katsayılarının birer tahminidir. Kullandığımız , ve katsayılarının ortalama ve beklenen değerleri a, b ve c katsayılarına eşit olsa da anakütle parametresine kesin eşitliği söylenemez. Tahmin değerlerinin güvenirliliğine standart hata ve varyansının küçüklüğüne bakarak anakütleye yakınlığı görülür.
Güven Aralığının ve hipotez testinin hesaplanması:
Çoklu regresyon modelinde katsayıların güven aralıkları, basit regresyon modelinde olduğu gibi her bir parametre için ayrıca hesaplanmaktadır.
Çoklu regresyon modelinde basit regresyonda olduğu gibi katsayıların anlamlılığı herbir katsayı için ayrıca hesaplanmak üzere H0 hipotezi katsayıları 0'a eşitlenerek örnekleme büyüklüğüne göre (n < 30) ® t, n >= 30 ® z testi) ile bakılmaktadır.
Çoklu modeldeki katsayıların ayrı olarak test edilmesi modeldeki anlamsız katsayıların tespiti için önemlidir.
Yine güven aralığı hesaplaması da her bir katsayı için basit regresyonda olduğu gibi ayrı ayrı olarak hesaplanmaktadır.
Çoklu regresyon modelinde en çok kullanılan test parametrelerin birlikte hipotez testi olan F testi'dir.
Kurulan hipotez H0 : b = c = ... z = 0 karşıt hipotezi H1 : b ¹ c ¹ ... z ¹ 0 şeklindedir.
Regresyon modelinin anlamlılığı bütünüyle test edilmiş olur.
| n: |
örnek olarak seçilen gözlem sayısı |
| k: |
modeldeki değişken sayısı |
F değeri hesaplandıktan sonra tablo değeri ile karşılaştırılmaktadır. F tablo değeri, a = 0,05 veya a = 0,01 gibi seviyelerde ve f1 = k - 1, f2 = n - k tablodaki serbestlik derecelerinde F dağılımı tablosundan bulunan değerdir.
Sonuç olarak; Fhes > Ftab ise H0 hipotezi reddedilir. Katsayılar 0'dan farklı ve anlamlı ve çoklu regresyon modelinin uygun olduğu söylenmektedir.
Sonuç
En Küçük Kareler yöntemi kullanılarak, basit doğrusal regresyon ve çoklu regresyon modellerinde regresyon denklemlerindeki katsayılar, anlamları ve test edilmeleri aşamaları anlatılmıştır.
Regresyon analizinde modele alınan katsayılar, hipotez testi sonucu anlamlı veya anlamsızdır sonucunu içermektedir. Fakat alınan örnek sayıları problemden probleme farklılık gösterebilmektedir. Çok büyük bir kütleden oluşan problemde az sayıda örnek sayısı alınması hipotez testi sonucunu yanıltabilir. Belirli örnek sayısında katsayılar anlamsız çıkmışken örnek sayısı daha çok arttırıldığında test, katsayı anlamlıdır sonucunu verebilir. Bu nedenle problem olan kütleden seçilen örnekleme sayısına dikkat edilmelidir.
Katsayıların değerleri regresyon analizinin uygunluğu hakkında sonuçlar vermektedir. Seçilen modeldeki herhangibir bağımsız değişkenin (sebep değişkeni) katsayısı yeterli örnekleme alındığı halde anlamsızdır sonucunu veriyorsa, modeldeki değişken modelden çıkarılmalıdır.
Regresyon modelindeki bağımsız değişken katsayıları modelin durumu, anlamlılığı, gücü hakkında bilgi verdiği halde bağımlı ve bağımsız değişkenler arasındaki ilişkinin yönünü ve kuvvetini göstermemektedir. Bu nedenle korelasyon analizi ile bağımlı ve bağımsız değişken veya değişkenler arasındaki ilişkiyi korelasyon analizi ile ölçeriz.
|
Glossary
|
|
| Olasılık |
Bir olayın aynı koşullar altında gerçekleşmek koşuluyla meydana gelecek tüm sonuçlarına olasılık denmektedir. |
| Anakütle |
Üzerinde araştırma yapılan yani problemi oluşturan topluluğun genelidir. |
|
