下載資料

請你先到資料科學競賽網站選擇第一個任務，登入後下載3份資料

– 這個任務的資料下載是需要經過申請的，請你找助教申請帳號。

F01

– 你會得到3個檔案，分別是「train.csv」、「test.csv」以及「sample_submission.csv」。

讀取資料

最開始你顯然是需要將檔案讀進來

library(data.table)

train_dat <- fread('train.csv', data.table = FALSE)
test_dat <- fread('test.csv', data.table = FALSE)
submit_dat <- fread('sample_submission.csv', data.table = FALSE)

我們的目標很簡單，希望用「train.csv」的資料建立一個對「LVD」預測的分數，並且把這個分數應用到「test.csv」上，最終將檔案以「sample_submission.csv」為模板寫出，接著上傳資料。

插補資料

你應該有發現資料中是存在missing的，最簡單的方式就是先使用「平均值」將其進行插補：

interest_var <- colnames(train_dat)[-1:-2]

train_dat[,'GENDER'] <- as.factor(train_dat[,'GENDER'])
test_dat[,'GENDER'] <- as.factor(test_dat[,'GENDER'])

for (i in 1:length(interest_var)) {
  if (class(train_dat[,interest_var[i]])[1] %in% c('numeric', 'integer')) {
    m_val <- mean(train_dat[,interest_var[i]], na.rm = TRUE)
  } else {
    m_val <- names(which.max(table(train_dat[,interest_var[i]])))
  }
  train_dat[train_dat[,interest_var[i]] %in% NA, interest_var[i]] <- m_val
  test_dat[test_dat[,interest_var[i]] %in% NA, interest_var[i]] <- m_val
}

使用極限梯度提升機進行分析

極限梯度提升機(eXtreme Gradient Boosting Machine)是最好用的分類方法，我們使用它作為基本的方法進行實驗。

– 由於我們沒有辦法得到「test.csv」的結果，我們必須從原始樣本中切割出一部分「驗證組」，這樣才能看看準確度：

library(xgboost)

set.seed(0)

train_idx <- sample(1:nrow(train_dat), nrow(train_dat) * 0.8)

train_X_mat <- model.matrix(~ ., data = train_dat[train_idx,-1:-2])
xgb.data_train <- xgb.DMatrix(data = train_X_mat[,-1], label = train_dat[train_idx,'LVD'])

valid_X_mat <- model.matrix(~ ., data = train_dat[-train_idx,-1:-2])
xgb.data_valid <- xgb.DMatrix(data = valid_X_mat[,-1], label = train_dat[-train_idx,'LVD'])

xgb_fit <-  xgb.train(data = xgb.data_train, watchlist = list(eval = xgb.data_valid),
                      early_stopping_rounds = 10, eval_metric = 'auc', verbose = FALSE,
                      nthread = 2, nrounds = 200, objective = "binary:logistic")

讓我們將這個模型直接用於預測「測試組資料」，並取得自己的答案：

test_X_mat <- model.matrix(~ ., data = test_dat[,-1])
submit_dat[,'p_LVD'] <- predict(xgb_fit, test_X_mat[,-1])

將檔案寫出，你就可以回剛剛的資料科學競賽網站上傳，並拿到第一個分數(0.8784)

fwrite(submit_dat, file = 'my_submission.csv', na = '', row.names = FALSE, quote = FALSE)

調整參數及換模型

你可以使用「help()」函數看看「xgb.train()」有哪些參數可以調整。
另外，你也可以換一些模型進行實驗，舉例來說我們可以有以下選擇：

支持向量機(Support Vector Machine)

library(e1071)

svm_fit <- svm(LVD ~ ., data = train_dat[,-1], type = 'C-classification')

pred_test <- predict(svm_fit, test_dat, decision.values = TRUE)
submit_dat[,'p_LVD'] <- attr(pred_test, "decision.values")

隨機森林(Random forest)

library(randomForest)

train_dat[,'LVD'] <- as.factor(train_dat[,'LVD'])

rf_fit <- randomForest(LVD ~ ., data = train_dat[,-1])

pred_test <- predict(rf_fit, test_dat, type = 'prob')
submit_dat[,'p_LVD'] <- pred_test[,2]

彈性網路(Elastic Net)

library(glmnet)

train_dat[,'LVD'] <- as.integer(as.character(train_dat[,'LVD']))

train_X_mat <- model.matrix(~ ., data = train_dat[,-1:-2])
train_X_mat <- train_X_mat[,-1]
train_Y_mat <- matrix(as.matrix(train_dat[,"LVD"]), ncol = 1)

fit_glmnet <- cv.glmnet(x = train_X_mat, y = train_Y_mat, family = 'binomial', alpha = 0.5)

test_X_mat <- model.matrix(~ ., data = test_dat[,-1])
test_X_mat <- test_X_mat[,-1]
pred_test <- predict(fit_glmnet, test_X_mat, s = "lambda.1se")
submit_dat[,'p_LVD'] <- as.numeric(pred_test)

多調調參數或使用其他的模型，發揮創意(k-fold交叉驗證、集成模型)，得到最好的準確度吧！

Lesson 1 左心室功能障礙分類挑戰

下載資料

讀取資料

插補資料

使用極限梯度提升機進行分析

調整參數及換模型