Update all examples

Author: anh9895

examples/exam_adaboost_classification.py

@@ -16,7 +16,7 @@
 
 # Define param bounds
 
-# param_grid = {            ==> This is for GridSearchCV, show you how to convert to our MetaSearchCV
+# param_grid = {            ==> This is for GridSearchCV, based on this, you can convert to our MetaSearchCV bounds
 #     'n_estimators': [50, 100, 200],                  # Number of weak learners to use
 #     'learning_rate': [0.01, 0.1, 0.5, 1.0],          # Weight applied to each classifier at each boosting iteration
 #     'base_estimator__max_depth': [1, 3, 5],          # Depth of the base decision tree
@@ -25,11 +25,11 @@
 # }
 
 param_bounds = [
-    IntegerVar(lb=20, ub=100, name="n_estimators"),  # Số lượng weak learners
-    FloatVar(lb=0.01, ub=1.0, name="learning_rate"),  # Tốc độ học
-    IntegerVar(lb=2, ub=5, name="estimator__max_depth"),  # Độ sâu của cây quyết định cơ sở
-    IntegerVar(lb=2, ub=6, name="estimator__min_samples_split"),  # Số lượng mẫu tối thiểu để một node được chia
-    IntegerVar(lb=1, ub=4, name="estimator__min_samples_leaf"),  # Số lượng mẫu tối thiểu tại một node lá
+    IntegerVar(lb=20, ub=100, name="n_estimators"),
+    FloatVar(lb=0.01, ub=1.0, name="learning_rate"),
+    IntegerVar(lb=2, ub=5, name="estimator__max_depth"),
+    IntegerVar(lb=2, ub=6, name="estimator__min_samples_split"),
+    IntegerVar(lb=1, ub=4, name="estimator__min_samples_leaf"),
 ]
 
 # Initialize and fit MetaSearchCV
@@ -43,7 +43,8 @@
     scoring="AS",  # or any custom scoring like "F1_macro"
     seed=42,
     n_jobs=2,
-    verbose=True
+    verbose=True,
+    mode='single', n_workers=None, termination=None
 )
 
 searcher.fit(X_train, y_train)

examples/exam_adaboost_regression.py

@@ -22,8 +22,7 @@
 data.X_test = scaler_X.transform(data.X_test)
 
 data.y_train, scaler_y = data.scale(data.y_train, scaling_methods=("standard", "minmax"))
-data.y_train = data.y_train.ravel()
-data.y_test = scaler_y.transform(data.y_test.reshape(-1, 1)).ravel()
+data.y_test = scaler_y.transform(data.y_test)
 
 # Define param bounds
 
@@ -36,11 +35,11 @@
 # }
 
 param_bounds = [
-    IntegerVar(lb=20, ub=100, name="n_estimators"),  # Số lượng weak learners
-    FloatVar(lb=0.01, ub=1.0, name="learning_rate"),  # Tốc độ học
-    IntegerVar(lb=2, ub=5, name="estimator__max_depth"),  # Độ sâu của cây quyết định cơ sở
-    IntegerVar(lb=2, ub=6, name="estimator__min_samples_split"),  # Số lượng mẫu tối thiểu để một node được chia
-    IntegerVar(lb=1, ub=4, name="estimator__min_samples_leaf"),  # Số lượng mẫu tối thiểu tại một node lá
+    IntegerVar(lb=20, ub=100, name="n_estimators"),
+    FloatVar(lb=0.01, ub=1.0, name="learning_rate"),
+    IntegerVar(lb=2, ub=5, name="estimator__max_depth"),
+    IntegerVar(lb=2, ub=6, name="estimator__min_samples_split"),
+    IntegerVar(lb=1, ub=4, name="estimator__min_samples_leaf"),
 ]
 
 # Initialize and fit MetaSearchCV
@@ -54,7 +53,8 @@
     scoring="MSE",  # or any custom scoring like "F1_macro"
     seed=42,
     n_jobs=2,
-    verbose=True
+    verbose=True,
+    mode='single', n_workers=None, termination=None
 )
 
 searcher.fit(data.X_train, data.y_train)

examples/exam_decision_tree_classification.py

@@ -15,26 +15,26 @@
 
 # Define param bounds
 
-# param_grid = {            ==> This is for GridSearchCV, show you how to convert to our MetaSearchCV
-#     'criterion': ['gini', 'entropy', 'log_loss'],       # Hàm đo mức độ phân tách (classification)
-#     'splitter': ['best', 'random'],                     # Cách chọn cách chia tại mỗi node
-#     'max_depth': [None, 5, 10, 20, 30],                 # Độ sâu tối đa của cây
-#     'min_samples_split': [2, 5, 10],                    # Số lượng mẫu tối thiểu để một node được chia
-#     'min_samples_leaf': [1, 2, 4],                      # Số lượng mẫu tối thiểu tại một node lá
-#     'max_features': [None, 'sqrt', 'log2'],             # Số đặc trưng tối đa khi tìm split tốt nhất
-#     'max_leaf_nodes': [None, 10, 20, 50],               # Giới hạn số lượng node lá
-#     'ccp_alpha': [0.0, 0.01, 0.05, 0.1],                 # Complexity parameter để cắt tỉa cây (post-pruning)
+# param_grid = {            ==> This is for GridSearchCV, base on this, you can convert to our MetaSearchCV bounds
+#     'criterion': ['gini', 'entropy', 'log_loss'],
+#     'splitter': ['best', 'random'],
+#     'max_depth': [None, 5, 10, 20, 30],
+#     'min_samples_split': [2, 5, 10],
+#     'min_samples_leaf': [1, 2, 4],
+#     'max_features': [None, 'sqrt', 'log2'],
+#     'max_leaf_nodes': [None, 10, 20, 50],
+#     'ccp_alpha': [0.0, 0.01, 0.05, 0.1],
 # }
 
 param_bounds = [
-    StringVar(valid_sets=("gini", "entropy", "log_loss"), name="criterion"),  # Hàm đo mức độ phân tách (classification)
-    StringVar(valid_sets=("best", "random"), name="splitter"),  # Cách chọn cách chia tại mỗi node
-    IntegerVar(lb=2, ub=15, name="max_depth"),  # Độ sâu tối đa của cây
-    IntegerVar(lb=2, ub=10, name="min_samples_split"),  # Số lượng mẫu tối thiểu để một node được chia
-    IntegerVar(lb=1, ub=5, name="min_samples_leaf"),  # Số lượng mẫu tối thiểu tại một node lá
-    StringVar(valid_sets=("sqrt", "log2"), name="max_features"),  # Số đặc trưng tối đa khi tìm split tốt nhất
-    IntegerVar(lb=2, ub=30, name="max_leaf_nodes"),  # Giới hạn số lượng node lá
-    FloatVar(lb=0.0, ub=0.1, name="ccp_alpha"),  # Complexity parameter để cắt tỉa cây (post-pruning)
+    StringVar(valid_sets=("gini", "entropy", "log_loss"), name="criterion"),
+    StringVar(valid_sets=("best", "random"), name="splitter"),
+    IntegerVar(lb=2, ub=15, name="max_depth"),
+    IntegerVar(lb=2, ub=10, name="min_samples_split"),
+    IntegerVar(lb=1, ub=5, name="min_samples_leaf"),
+    StringVar(valid_sets=("sqrt", "log2"), name="max_features"),
+    IntegerVar(lb=2, ub=30, name="max_leaf_nodes"),
+    FloatVar(lb=0.0, ub=0.1, name="ccp_alpha"),
 ]
 
 # Initialize and fit MetaSearchCV
@@ -48,7 +48,8 @@
     scoring="AS",  # or any custom scoring like "F1_macro"
     seed=42,
     n_jobs=2,
-    verbose=True
+    verbose=True,
+    mode='single', n_workers=None, termination=None
 )
 
 searcher.fit(X_train, y_train)

examples/exam_decision_tree_regression.py

@@ -21,31 +21,30 @@
 data.X_test = scaler_X.transform(data.X_test)
 
 data.y_train, scaler_y = data.scale(data.y_train, scaling_methods=("standard", "minmax"))
-data.y_train = data.y_train.ravel()
-data.y_test = scaler_y.transform(data.y_test.reshape(-1, 1)).ravel()
+data.y_test = scaler_y.transform(data.y_test)
 
 # Define param bounds
 
-# param_grid = {            ==> This is for GridSearchCV, show you how to convert to our MetaSearchCV
+# param_grid = {            ==> This is for GridSearchCV, base on this, you can convert to our MetaSearchCV bounds
 #     'criterion': ['squared_error', 'friedman_mse', 'absolute_error', 'poisson'],  # (regression)
-#     'splitter': ['best', 'random'],                     # Cách chọn cách chia tại mỗi node
-#     'max_depth': [None, 5, 10, 20, 30],                 # Độ sâu tối đa của cây
-#     'min_samples_split': [2, 5, 10],                    # Số lượng mẫu tối thiểu để một node được chia
-#     'min_samples_leaf': [1, 2, 4],                      # Số lượng mẫu tối thiểu tại một node lá
-#     'max_features': [None, 'sqrt', 'log2'],             # Số đặc trưng tối đa khi tìm split tốt nhất
-#     'max_leaf_nodes': [None, 10, 20, 50],               # Giới hạn số lượng node lá
-#     'ccp_alpha': [0.0, 0.01, 0.05, 0.1],                 # Complexity parameter để cắt tỉa cây (post-pruning)
+#     'splitter': ['best', 'random'],
+#     'max_depth': [None, 5, 10, 20, 30],
+#     'min_samples_split': [2, 5, 10],
+#     'min_samples_leaf': [1, 2, 4],
+#     'max_features': [None, 'sqrt', 'log2'],
+#     'max_leaf_nodes': [None, 10, 20, 50],
+#     'ccp_alpha': [0.0, 0.01, 0.05, 0.1],
 # }
 
 param_bounds = [
-    StringVar(valid_sets=("squared_error", "friedman_mse", "absolute_error", "poisson"), name="criterion"),  # (regression)
-    StringVar(valid_sets=("best", "random"), name="splitter"),  # Cách chọn cách chia tại mỗi node
-    IntegerVar(lb=2, ub=15, name="max_depth"),  # Độ sâu tối đa của cây
-    IntegerVar(lb=2, ub=10, name="min_samples_split"),  # Số lượng mẫu tối thiểu để một node được chia
-    IntegerVar(lb=1, ub=5, name="min_samples_leaf"),  # Số lượng mẫu tối thiểu tại một node lá
-    StringVar(valid_sets=("sqrt", "log2"), name="max_features"),  # Số đặc trưng tối đa khi tìm split tốt nhất
-    IntegerVar(lb=2, ub=30, name="max_leaf_nodes"),  # Giới hạn số lượng node lá
-    FloatVar(lb=0.0, ub=0.1, name="ccp_alpha"),  # Complexity parameter để cắt tỉa cây (post-pruning)
+    StringVar(valid_sets=("squared_error", "friedman_mse", "absolute_error", "poisson"), name="criterion"),
+    StringVar(valid_sets=("best", "random"), name="splitter"),
+    IntegerVar(lb=2, ub=15, name="max_depth"),
+    IntegerVar(lb=2, ub=10, name="min_samples_split"),
+    IntegerVar(lb=1, ub=5, name="min_samples_leaf"),
+    StringVar(valid_sets=("sqrt", "log2"), name="max_features"),
+    IntegerVar(lb=2, ub=30, name="max_leaf_nodes"),
+    FloatVar(lb=0.0, ub=0.1, name="ccp_alpha"),
 ]
 
 # Initialize and fit MetaSearchCV
@@ -59,7 +58,8 @@
     scoring="MSE",  # or any custom scoring like "F1_macro"
     seed=42,
     n_jobs=2,
-    verbose=True
+    verbose=True,
+    mode='single', n_workers=None, termination=None
 )
 
 searcher.fit(data.X_train, data.y_train)

examples/exam_gradient_boosting_classification.py

@@ -29,15 +29,15 @@
 }
 
 param_bounds = [
-    IntegerVar(lb=50, ub=200, name="n_estimators"),  # Số lượng cây trong mô hình
-    FloatVar(lb=0.01, ub=0.2, name="learning_rate"),  # Tốc độ học
-    IntegerVar(lb=2, ub=5, name="max_depth"),  # Độ sâu tối đa của cây
-    IntegerVar(lb=2, ub=10, name="min_samples_split"),  # Số lượng mẫu tối thiểu để một node được chia
-    IntegerVar(lb=1, ub=5, name="min_samples_leaf"),  # Số lượng mẫu tối thiểu tại một node lá
-    StringVar(valid_sets=("sqrt", "log2"), name="max_features"),  # Số đặc trưng tối đa khi tìm split tốt nhất
-    FloatVar(lb=0.5, ub=1.0, name="subsample"),  # Tỉ lệ mẫu được sử dụng để fit base learners
-    StringVar(valid_sets=(("log_loss",)), name="loss"),  # (classification)
-    FloatVar(lb=0.0, ub=0.1, name="ccp_alpha"),  # Tham số điều chỉnh cho pruning
+    IntegerVar(lb=50, ub=200, name="n_estimators"),
+    FloatVar(lb=0.01, ub=0.2, name="learning_rate"),
+    IntegerVar(lb=2, ub=5, name="max_depth"),
+    IntegerVar(lb=2, ub=10, name="min_samples_split"),
+    IntegerVar(lb=1, ub=5, name="min_samples_leaf"),
+    StringVar(valid_sets=("sqrt", "log2"), name="max_features"),
+    FloatVar(lb=0.5, ub=1.0, name="subsample"),
+    StringVar(valid_sets=(("log_loss",)), name="loss"),
+    FloatVar(lb=0.0, ub=0.1, name="ccp_alpha"),
 ]
 
 # Initialize and fit MetaSearchCV
@@ -51,7 +51,8 @@
     scoring="AS",  # or any custom scoring like "F1_macro"
     seed=42,
     n_jobs=2,
-    verbose=True
+    verbose=True,
+    mode='single', n_workers=None, termination=None
 )
 
 searcher.fit(X_train, y_train)

examples/exam_gradient_boosting_regression.py

@@ -21,8 +21,7 @@
 data.X_test = scaler_X.transform(data.X_test)
 
 data.y_train, scaler_y = data.scale(data.y_train, scaling_methods=("standard", "minmax"))
-data.y_train = data.y_train.ravel()
-data.y_test = scaler_y.transform(data.y_test.reshape(-1, 1)).ravel()
+data.y_test = scaler_y.transform(data.y_test)
 
 # Define param bounds
 
@@ -39,15 +38,15 @@
 # }
 
 param_bounds = [
-    IntegerVar(lb=50, ub=200, name="n_estimators"),  # Số lượng cây trong mô hình
-    FloatVar(lb=0.01, ub=0.2, name="learning_rate"),  # Tốc độ học
-    IntegerVar(lb=2, ub=5, name="max_depth"),  # Độ sâu tối đa của cây
-    IntegerVar(lb=2, ub=10, name="min_samples_split"),  # Số lượng mẫu tối thiểu để một node được chia
-    IntegerVar(lb=1, ub=5, name="min_samples_leaf"),  # Số lượng mẫu tối thiểu tại một node lá
-    StringVar(valid_sets=("sqrt", "log2"), name="max_features"),  # Số đặc trưng tối đa khi tìm split tốt nhất
-    FloatVar(lb=0.5, ub=1.0, name="subsample"),  # Tỉ lệ mẫu được sử dụng để fit base learners
+    IntegerVar(lb=50, ub=200, name="n_estimators"),
+    FloatVar(lb=0.01, ub=0.2, name="learning_rate"),
+    IntegerVar(lb=2, ub=5, name="max_depth"),
+    IntegerVar(lb=2, ub=10, name="min_samples_split"),
+    IntegerVar(lb=1, ub=5, name="min_samples_leaf"),
+    StringVar(valid_sets=("sqrt", "log2"), name="max_features"),
+    FloatVar(lb=0.5, ub=1.0, name="subsample"),
     StringVar(valid_sets=("squared_error", "absolute_error", 'huber'), name="loss"),
-    FloatVar(lb=0.0, ub=0.1, name="ccp_alpha"),  # Tham số điều chỉnh cho pruning
+    FloatVar(lb=0.0, ub=0.1, name="ccp_alpha"),
 ]
 
 # Initialize and fit MetaSearchCV
@@ -61,7 +60,8 @@
     scoring="MSE",  # or any custom scoring like "F1_macro"
     seed=42,
     n_jobs=2,
-    verbose=True
+    verbose=True,
+    mode='single', n_workers=None, termination=None
 )
 
 searcher.fit(data.X_train, data.y_train)

examples/exam_knn_classification.py

@@ -16,13 +16,12 @@
 # Define param bounds
 
 # param_grid = {            ==> This is for GridSearchCV, show you how to convert to our MetaSearchCV
-#     'n_neighbors': [2, 3, 5, 7, 9, 11],               # Số lượng hàng xóm gần nhất
-#     'weights': ['uniform', 'distance'],              # Trọng số: đều nhau hoặc theo khoảng cách
-#     'algorithm': ['auto', 'ball_tree', 'kd_tree', 'brute'],  # Thuật toán tìm kiếm
-#     'leaf_size': [10, 20, 30, 40, 50],               # Kích thước node lá, ảnh hưởng đến performance
-#     'p': [1, 2],                                     # Tham số cho khoảng cách Minkowski: 1 (Manhattan), 2 (Euclidean)
-#     'metric': ['minkowski'],                         # Khoảng cách sử dụng; thường dùng 'minkowski' kết hợp với p
-#     # Có thể thêm các metric khác nếu cần như 'euclidean', 'manhattan', 'chebyshev', 'mahalanobis'
+#     'n_neighbors': [2, 3, 5, 7, 9, 11],
+#     'weights': ['uniform', 'distance'],
+#     'algorithm': ['auto', 'ball_tree', 'kd_tree', 'brute'],
+#     'leaf_size': [10, 20, 30, 40, 50],
+#     'p': [1, 2],
+#     'metric': ['minkowski'],
 # }
 
 param_bounds = [
@@ -31,7 +30,7 @@
     StringVar(valid_sets=("auto", "ball_tree", "kd_tree", "brute"), name="algorithm"),
     IntegerVar(lb=10, ub=50, name="leaf_size"),
     IntegerVar(lb=1, ub=2, name="p"),  # 1 (Manhattan), 2 (Euclidean)
-    StringVar(valid_sets=("minkowski", "manhattan"), name="metric"),  # Khoảng cách sử dụng; thường dùng 'minkowski' kết hợp với p
+    StringVar(valid_sets=("minkowski", "manhattan"), name="metric"),
 ]
 
 # Initialize and fit MetaSearchCV
@@ -45,7 +44,8 @@
     scoring="AS",  # or any custom scoring like "F1_macro"
     seed=42,
     n_jobs=2,
-    verbose=True
+    verbose=True,
+    mode='single', n_workers=None, termination=None
 )
 
 searcher.fit(X_train, y_train)

examples/exam_knn_regression.py

@@ -21,19 +21,17 @@
 data.X_test = scaler_X.transform(data.X_test)
 
 data.y_train, scaler_y = data.scale(data.y_train, scaling_methods=("standard", "minmax"))
-data.y_train = data.y_train.ravel()
-data.y_test = scaler_y.transform(data.y_test.reshape(-1, 1)).ravel()
+data.y_test = scaler_y.transform(data.y_test)
 
 # Define param bounds
 
 # param_grid = {            ==> This is for GridSearchCV, show you how to convert to our MetaSearchCV
-#     'n_neighbors': [2, 3, 5, 7, 9, 11],               # Số lượng hàng xóm gần nhất
-#     'weights': ['uniform', 'distance'],              # Trọng số: đều nhau hoặc theo khoảng cách
-#     'algorithm': ['auto', 'ball_tree', 'kd_tree', 'brute'],  # Thuật toán tìm kiếm
-#     'leaf_size': [10, 20, 30, 40, 50],               # Kích thước node lá, ảnh hưởng đến performance
-#     'p': [1, 2],                                     # Tham số cho khoảng cách Minkowski: 1 (Manhattan), 2 (Euclidean)
-#     'metric': ['minkowski'],                         # Khoảng cách sử dụng; thường dùng 'minkowski' kết hợp với p
-#     # Có thể thêm các metric khác nếu cần như 'euclidean', 'manhattan', 'chebyshev', 'mahalanobis'
+#     'n_neighbors': [2, 3, 5, 7, 9, 11],
+#     'weights': ['uniform', 'distance'],
+#     'algorithm': ['auto', 'ball_tree', 'kd_tree', 'brute'],
+#     'leaf_size': [10, 20, 30, 40, 50],
+#     'p': [1, 2],
+#     'metric': ['minkowski'],
 # }
 
 param_bounds = [
@@ -42,7 +40,7 @@
     StringVar(valid_sets=("auto", "ball_tree", "kd_tree", "brute"), name="algorithm"),
     IntegerVar(lb=10, ub=50, name="leaf_size"),
     IntegerVar(lb=1, ub=2, name="p"),  # 1 (Manhattan), 2 (Euclidean)
-    StringVar(valid_sets=("minkowski", "manhattan"), name="metric"),  # Khoảng cách sử dụng; thường dùng 'minkowski' kết hợp với p
+    StringVar(valid_sets=("minkowski", "manhattan"), name="metric"),
 ]
 
 # Initialize and fit MetaSearchCV
@@ -56,7 +54,8 @@
     scoring="MSE",  # or any custom scoring like "F1_macro"
     seed=42,
     n_jobs=2,
-    verbose=True
+    verbose=True,
+    mode='single', n_workers=None, termination=None
 )
 
 searcher.fit(data.X_train, data.y_train)

examples/exam_mlp_classification.py

@@ -49,7 +49,8 @@
     scoring="AS",  # or any custom scoring like "F1_macro"
     seed=42,
     n_jobs=2,
-    verbose=True
+    verbose=True,
+    mode='single', n_workers=None, termination=None
 )
 
 searcher.fit(X_train, y_train)

examples/exam_mlp_regression.py

@@ -59,7 +59,8 @@
     scoring="MSE",  # or any custom scoring like "F1_macro"
     seed=42,
     n_jobs=2,
-    verbose=True
+    verbose=True,
+    mode='single', n_workers=None, termination=None
 )
 
 searcher.fit(data.X_train, data.y_train)