Analisis Regresi Sederhana

Regresi sederhana adalah teknik statistik yang digunakan untuk memodelkan hubungan linier antara satu variabel dependen (yang ingin diprediksi) dan satu variabel independen (sebagai predictor). Metode ini sangat populer karena konsepnya yang mudah dipahami, implementasinya yang cepat, serta kemampuannya memberikan insight awal tentang pola data.

1. Konsep Dasar

Model regresi sederhana dapat dituliskan dalam bentuk persamaan linear:

Y = + X +

• Y : variabel dependen (output).
• X : variabel independen (input).
• : intercept, nilai Y ketika X = 0.
• : slope atau koefisien regresi, menunjukkan perubahan ratarata Y untuk tiap satu satuan perubahan X.
• : error term, selisih antara nilai observasi dengan nilai yang diprediksi oleh model.

2. Asumsi Model Regresi Sederhana

1. Linearitas Hubungan antara X dan Y bersifat linear.
2. Independensi Observasi tidak saling memengaruhi.
3. Homoskedastisitas Variansi error konstan di seluruh rentang X.
4. Normalitas error Distribusi error mengikuti distribusi normal.

Jika satu atau lebih asumsi tidak terpenuhi, hasil estimasi koefisien dapat bias atau tidak efisien.

3. Estimasi Koefisien dengan Metode Kuadrat Terkecil (Ordinary Least Squares OLS)

OLS berusaha meminimalkan jumlah kuadrat residual (selisih antara nilai observasi dan nilai prediksi):

SS_res = (Y )

Rumus penaksiran dan adalah:

4. Evaluasi Model

4.1 Koefisien Determinasi (R)

R mengukur proporsi variasi Y yang dapat dijelaskan oleh X:

R = 1 (SS_res/SS_tot)

Nilai R berkisar antara 01. Semakin mendekati 1, model dianggap lebih baik.

4.2 Uji Signifikansi Koefisien (ttest)

Untuk mengetahui apakah signifikan secara statistik, dapat dilakukan uji t dengan hipotesis:

• H: = 0 (tidak ada hubungan linier)
• H: 0

Statistik t dihitung sebagai t = / SE(), lalu dibandingkan dengan nilai kritis pada tingkat signifikansi yang dipilih (biasanya 0,05).

4.3 Analisis Residual

Plot residual terhadap nilai prediksi atau terhadap X membantu memeriksa asumsi homoskedastisitas dan linearitas. Pola nonrandom dapat mengindikasikan pelanggaran asumsi.

5. Contoh Praktis

Misalkan sebuah perusahaan ingin mengestimasi penjualan (Y) berdasarkan biaya iklan (X). Data yang dikumpulkan selama 8 bulan adalah:

Dengan menghitung ratarata, varians, dan kovarians, didapat:

• = 5,5
• = 15,125
• 1,25
• 8,125

Sehingga persamaan regresi: Penjualan = 8,13 + 1,25Biaya Iklan. Artinya setiap tambahan 1 juta rupiah pada biaya iklan diperkirakan menambah penjualan sebesar 1,25 juta rupiah.

6. Kelebihan dan Keterbatasan

Kelebihan

• Sederhana dan mudah diinterpretasikan.
• Komputasi cepat, cocok untuk dataset kecilmenengah.
• Memberikan dasar untuk model yang lebih kompleks (regresi berganda, regresi nonlinier).

Keterbatasan

• Sensitif terhadap outlier; satu nilai ekstrim dapat mengubah koefisien secara signifikan.
• Asumsi yang dilanggar dapat menghasilkan estimasi bias.

7. Langkah Praktis Memulai Analisis Regresi Sederhana

1. Pengumpulan Data Pastikan data lengkap, bersih, dan relevan.
2. Eksplorasi Data Visualisasikan scatter plot X vs Y untuk menilai linearitas.
3. Penghitungan Koefisien Gunakan OLS secara manual atau melalui software (Excel, Python, R).
4. Uji Asumsi Analisis residual, tes normalitas (ShapiroWilk), dan heteroskedastisitas (BreuschPagan).
5. Evaluasi Model Periksa R, nilai p untuk , serta plot prediksi vs aktual.
6. Interpretasi & Pengambilan Keputusan Terapkan model untuk prediksi, lakukan analisis sensitivitas, dan pertimbangkan tindakan bisnis.

8. Referensi & Bacaan Lanjutan

• Montgomery, D. C., & Peck, E. A. (1992). Introduction to Linear Regression Analysis. Wiley.
• Harrell, F. E. (2015). Regression Modeling Strategies. Springer.
• Dokumentasi pandas dan scikitlearn untuk implementasi Python.