Kaggle「超」がつく初心者へ！まずはランキングでビリをとってみよう

#ライブラリー読み込み
import numpy as np 
import pandas as pd 
from sklearn.neighbors import KNeighborsClassifier
from sklearn.linear_model import LogisticRegression
import lightgbm as lgb
from  sklearn.tree import DecisionTreeRegressor

import os
print(os.listdir("../input"))



#訓練データを読み込む
tf_train = pd.read_csv("../input/train.csv")

#テスト用のデータを読み込む
tf_test = pd.read_csv("../input/test.csv")

#正解データを読み込む
tf_gender_submission = pd.read_csv("../input/gender_submission.csv")
#tf_train.head()
display(tf_train.head())

display(tf_train.dtypes)


#カテゴリ変数をone_hot表現に置き換えるための設定
#one_hot_columns = ['Cabin','Embarked']
one_hot_columns = ['Embarked']

#男女について数値に変換する
genders = {'male': 0, 'female': 1}
# Sexをgendersを用いて数値に変換
tf_train['Sex'] = tf_train['Sex'].map(genders)
tf_test['Sex'] = tf_test['Sex'].map(genders)


#####################
#説明変数と目的変数を分ける
#####################

#目的変数を取得する
Y_train = tf_train.loc[:, "Survived"]

#ここでは特徴量と思われるカラムを選択する
columns = ["Pclass", "Sex", "Age","SibSp", "Parch",'Fare','Embarked']
X_train  = tf_train.loc[:, columns]
X_test  = tf_test.loc[:, columns]


#one-hot表現
X_train = pd.get_dummies(X_train,
                       dummy_na=True,
                       columns=one_hot_columns)

X_test = pd.get_dummies(X_test,
                       dummy_na=True,
                       columns=one_hot_columns)

display(X_train)


#欠損値の穴埋めをする(testのときにデータと正解値の行数が一致しなくなるため)
#しかし、テストにつかうデータに対して、欠損値に穴埋めしてよいのかという疑問は残る
X_train = X_train.fillna(method="ffill")
X_test = X_test.fillna(method="ffill")


cols_model = set(X_train.columns.values)
cols_score = set(X_test.columns.values)

diff1 = cols_model - cols_score
print('モデルのみに存在する項目: %s' % diff1)

diff2 = cols_score - cols_model
print('スコアのみに存在する項目: %s' % diff2)


#######################################
## アルゴリズムに通す
#######################################
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler

pipelines ={
    'knn': Pipeline([('scl',StandardScaler()),
                       ('est',KNeighborsClassifier())]),

    'logistic': Pipeline([('scl',StandardScaler()),
                          ('est',LogisticRegression(random_state=1))])    
}
#LGBMClassifier

pipelines["logistic"].fit(X_train, Y_train)


#予測する
predicted_survived = pipelines["logistic"].predict(X_test)

#念の為nullチェック
print(X_test.isnull().any())

#ここからデータの検証に入る
from sklearn.metrics import mean_absolute_error

#０に近づくほど精度が高いモデルと言える
y = tf_gender_submission.Survived
error = mean_absolute_error(y, predicted_survived)
print("error:%f" % error)

#提出用にデータ編集
#Id,SalePrice
df_submit = pd.DataFrame( columns=['PassengerId','Survived'])
df_submit["PassengerId"] = tf_test["PassengerId"]
df_submit["Survived"] =  predicted_survived
display(df_submit)
df_submit.to_csv("Submission_data.csv", index = False)