thầy ơi cho em hỏi với ạ, khi dữ liệu đầu vào quá lớn ví dụ: X = np.array([[147, 150, 153, 158, 163, 165, 168, 170, 173, 175, 178, 180, 183]]).T y = np.array([[ 49, 50, 51, 54, 58, 59, 60, 62, 63, 64, 66, 67, 68]]).T X là chiều cao, y là cân nặng, bây giờ em dùng gradient_descent thì nó bị roi vào điểm local_minimum mà không thể thoát ra được thì còn cách nào khắc phục không ạ hay là normalized data bằng cách MinMaxScaler cả X và y ạ, em có thử cách normalized data và ra được nhưng làm sao để sử dụng Theta của dữ liệu dc chuẩn hoá để tính những dữ liệu mới ví dụ các chiều cao mới ạ.
Nếu em dùng chuẩn hoá cho dữ liệu Training thì khi phán đoán (testing) cũng cần chuẩn hoá cho dữ liệu mới. Như thế mới đảm bảo rằng e đang làm trong cùng 1 không gian (vùng) dữ liệu. Cách chuẩn hoá thì cũng cần thống nhất cho cả hai giai đoạn. Nếu dùng MinMaxScaler thì cần lưu lại min & max tính được trong giai đoạn training để dùng chuẩn hoá cho dữ liệu mới. Nếu không thì sẽ dễ nhầm lẫn/lệch giữa hai giai đoạn.
bạn có thể dùng Schochastic descent một biến thể của gradient_descent nhưng cho phép cập nhật giá trị vượt qua được những điểm local minumum có độc dốc tương đối. Em cảm ơn bài của Thầy ạ. Bài giảng rất hay.
thầy ơi cho em hỏi với ạ, khi dữ liệu đầu vào quá lớn ví dụ:
X = np.array([[147, 150, 153, 158, 163, 165, 168, 170, 173, 175, 178, 180, 183]]).T
y = np.array([[ 49, 50, 51, 54, 58, 59, 60, 62, 63, 64, 66, 67, 68]]).T
X là chiều cao, y là cân nặng, bây giờ em dùng gradient_descent thì nó bị roi vào điểm local_minimum mà không thể thoát ra được thì còn cách nào khắc phục không ạ hay là normalized data bằng cách MinMaxScaler cả X và y ạ, em có thử cách normalized data và ra được nhưng làm sao để sử dụng Theta của dữ liệu dc chuẩn hoá để tính những dữ liệu mới ví dụ các chiều cao mới ạ.
Nếu em dùng chuẩn hoá cho dữ liệu Training thì khi phán đoán (testing) cũng cần chuẩn hoá cho dữ liệu mới. Như thế mới đảm bảo rằng e đang làm trong cùng 1 không gian (vùng) dữ liệu. Cách chuẩn hoá thì cũng cần thống nhất cho cả hai giai đoạn.
Nếu dùng MinMaxScaler thì cần lưu lại min & max tính được trong giai đoạn training để dùng chuẩn hoá cho dữ liệu mới. Nếu không thì sẽ dễ nhầm lẫn/lệch giữa hai giai đoạn.
dạ em cảm ơn ạ
bạn có thể dùng Schochastic descent một biến thể của gradient_descent nhưng cho phép cập nhật giá trị vượt qua được những điểm local minumum có độc dốc tương đối. Em cảm ơn bài của Thầy ạ. Bài giảng rất hay.