Da die Zusammenhänge zwishen den Prediktoren und dem Preis linear zu sein scheinen, wird als erstes der Algorithmus Linear Regression getestet. Der Vorteil dieses Algorithmus ist, dass er leicht zu interpretieren ist. Nötig ist hier allerdings, dass die Daten skaliert werden.
In [1]:
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
plt.style.use('Solarize_Light2')
import folium
import os
os.chdir('D:\Data\Projects\Regression\Taxi Fare Prediction_Linear Regression')
from sklearn.linear_model import LinearRegression
from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error, mean_absolute_error
from sklearn.preprocessing import StandardScaler
In [2]:
df = pd.read_csv('train_clean_features.csv')
df.head()
Out[2]:
Train und Test¶
In [3]:
x = df.drop(['fare_amount', 'pickup_datetime'], axis=1)
y = df.fare_amount
In [4]:
X_train, X_test, y_train, y_test = train_test_split(x, y, test_size=0.25, random_state=42)
X_train.shape, X_test.shape, y_train.shape, y_test.shape
Out[4]:
Skalieren¶
In [5]:
sc = StandardScaler()
sc.fit(X_train)
X_train =sc.transform(X_train);
X_test =sc.transform(X_test);
Definition für RMSE¶
In [15]:
def rmse(pred, true):
return np.sqrt(((pred - true) ** 2).mean())
Baseline¶
In [16]:
from sklearn.dummy import DummyRegressor
dummy = DummyRegressor(strategy='mean')
# Model trainieren
dummy.fit(X_train, y_train)
# predict und MAE
dummpred = dummy.predict(X_test)
mean_absolute_error(y_test, dummpred)
rmse(y_test, dummpred)
Out[16]:
Lineare Regression¶
In [6]:
lr = LinearRegression()
lr.fit(X_train, y_train)
Out[6]:
In [8]:
y_pred = lr.predict(X_test)
In [17]:
mean_absolute_error(y_test, y_pred)
rmse(y_test, y_pred)
Out[17]:
Besser als die Baseline!
In [19]:
lr.intercept_
Out[19]:
In [34]:
coeff = pd.DataFrame({'Feature': x.columns, 'Coeff': list(lr.coef_)})
In [38]:
coeff= coeff.sort_values('Coeff', ascending=False)
coeff
Out[38]:
In [39]:
import statsmodels.api as sm
In [41]:
model = sm.OLS(y_train, X_train)
results = model.fit()
print(results.summary())
Verbesserung der Vorhersage mit dem Random Forest Regressor¶
In [42]:
#rf = RandomForestRegressor()
#rf.fit(X_train, y_train)
#y_pred_rf = rf.predict(X_test)
#rmse(y_test, y_pred_rf)
Out[42]:
Der Random Forest Regressor ist noch ein wenig besser.
In [45]:
# Sammlung der fitted sub-estimators
rf.estimators_
Out[45]:
In [47]:
rf.decision_path
Out[47]:
Plotten der wahren und vorhergesagen Preise¶
y_test, y_pred_rf in ein DF
Die ersten 100 Werte in seaborn plotten
Die Reihenfolge bei einer Liste ist unveränderlich
In [57]:
prices = pd.DataFrame({'Real': y_test[:100], 'Predicted': list(y_pred_rf)[:100]})
In [61]:
plt.figure(figsize=(10,8))
sns.kdeplot(prices.Real)
sns.kdeplot(prices.Predicted);
Speichern des Models¶
Speichern des trainierten Models
In [43]:
import pickle
In [48]:
# save the model to disk
filename = 'finalized_rf.sav'
pickle.dump(rf, open(filename, 'wb'))