Nhận định, soi kèo Kayserispor vs Istanbul Basaksehir, 00h00 ngày 3/10

TIN BÀI KHÁC

Chi phí đào tạo và “suy luận” các mô hình ngôn ngữ lớn khác biệt so với công nghệ điện toán trước đây. Ngay cả khi đã phát triển hay đào tạo phần mềm, vẫn cần lượng lớn năng lực điện toán để vận hành các mô hình ngôn ngữ lớn vì chúng thực hiện hàng tỷ tính toán mỗi lần trả lời một truy vấn. Trong khi đó, cung cấp ứng dụng hay trang web nhẹ nhàng hơn nhiều.

Các phép tính cũng cần phần cứng chuyên biệt. Dù chip máy tính truyền thống vẫn có thể chạy mô hình máy học, tốc độ lại rất chậm. Hầu hết việc đào tạo và can thiệp đều diễn ra trên GPU – vốn dành cho game 3D – nhưng nay đã thành tiêu chuẩn cho ứng dụng AI vì chúng có thể thực hiện nhiều phép tính đơn giản đồng thời.

Nvidia sản xuất hầu hết GPU cho ngành công nghiệp AI. Con chip data center của hãng lên tới 10.000 USD.

Đào tạo và suy luận

Các nhà phân tích và chuyên gia công nghệ ước tính quy trình đào tạo mô hình ngôn ngữ lớn như GPT-3 của OpenAI mất hơn 4 triệu USD. Các công cụ hiện đại hơn sẽ tốn kém hơn. Chẳng hạn, mô hình LlaMA của Meta công bố tháng trước sử dụng 2.048 GPU Nvidia A100 để đào tạo 1,4 nghìn tỷ token (750 từ tương đương 1.000 token) trong khoảng 21 ngày.

Clement Denlangue, CEO startup HuggingFace, cho biết quy trình đào tạo mô hình ngôn ngữ lớn Bloom của họ mất hơn 2,5 tháng, cần đến siêu máy tính tương đương 500 GPU. Những tổ chức phát triển mô hình ngôn ngữ lớn phải thận trọng khi đào tạo lại phần mềm vì rất đắt đỏ.

Ông chia sẻ, không phải lúc nào các mô hình này cũng được đào tạo. Chính vì vậy một số mô hình như ChatGPT lại không có kiến thức về các sự kiện gần đây, mà dừng lại ở năm 2021.

Nếu sử dụng mô hình máy học đã được đào tạo để dự đoán hay tạo văn bản, kỹ sư dùng đến mô hình “suy luận”, còn đắt hơn cả đào tạo. Với một sản phẩm phổ biến như ChatGPT (100 triệu người dùng vào tháng 1), ước tính OpenAI phải bỏ ra 40 triệu USD để xử lý hàng triệu truy vấn mà mọi người nạp vào trong tháng đó.

Chi phí sẽ đội lên nhiều lần khi các công cụ này được dùng hàng tỷ lần mỗi ngày. Theo các chuyên gia tài chính, chatbot Bing AI của Microsoft – sử dụng mô hình ChatGPT – cần ít nhất 4 tỷ USD hạ tầng để phản hồi người dùng.

Trong trường hợp của Latitude, dù không mất tiền đào tạo mô hình ngôn ngữ, chi phí suy luận vào khoảng nửa cent/lần cho hàng triệu yêu cầu mỗi ngày.

Để gieo mầm cho AI, các nhà đầu tư mạo hiểm và Big Tech đã đầu tư hàng tỷ USD vào các startup chuyên về AI tạo sinh. Microsoft rót khoảng 10 tỷ USD cho OpenAI. Salesforce Ventures gần đây ra mắt quỹ 250 triệu USD dành riêng cho các startup trong lĩnh vực này.

Trông chờ vào thay đổi

Không rõ phát triển AI có còn tốn kém không khi ngành công nghiệp tiến xa hơn. Các công ty làm mô hình ngôn ngữ, nhà sản xuất bán dẫn và startup đều nhìn thấy cơ hội khi chi phí vận hành phần mềm AI giảm.

Nvidia – hãng nắm 95% thị phần chip AI – tiếp tục phát triển những phiên bản mạnh mẽ hơn cho máy học. CEO Jensen Huang tin rằng trong 10 năm tới, AI sẽ hiệu quả hơn “một triệu lần” không chỉ nhờ vào cải tiến của chip, mà còn do phần mềm và linh kiện máy tính khác.

Một số startup tập trung giải quyết chi phí khi vận hành AI, chẳng hạn D-Matrix. Startup này xây dựng hệ thống nhằm tiết kiệm chi phí suy luận bằng cách xử lý nhiều hơn trong bộ nhớ máy tính thay vì chỉ trên GPU. Theo nhà sáng lập D-Matrix, vấn đề là mọi người sử dụng GPU để thực hiện gần như mọi suy luận và mua các hệ thống đắt tiền từ Nvidia. Tuy nhiên, khối lượng công việc tăng rất nhanh và không có cách nào mà GPU theo kịp được vì nó không được làm ra cho điều đó. Nó được làm ra để đào tạo, tăng tốc đồ họa.

Delangue, CEO HuggingFace, tin rằng nhiều công ty sẽ được phục vụ tốt hơn nếu tập trung vào mô hình nhỏ, riêng biệt có chi phí đào tạo và vận hành thấp hơn, thay vì dùng mô hình ngôn ngữ lớn. Trong khi đó, tháng trước, OpenAI thông báo sẽ giảm giá truy cập mô hình GPT cho các doanh nghiệp, chỉ còn 1/5 cent cho mỗi 750 từ. Thay đổi lớn này mang đến cơ hội cho những hãng như Latitude hướng tới phục vụ người dùng tốt nhất.

(Theo CNBC)

ChatGPT có thể tạo cuộc cách mạng trên xe hơi