AI điện toán biên ( AI on edge) – chìa khóa cho nền kinh tế AI

Hiện tại, nguồn lực xử lý AI là chưa đủ nếu toàn cầu cùng lúc đưa AI vào vận hành ở quy mô lớn. Việc mở rộng trung tâm dữ liệu là tất yếu, nhưng đòi hỏi chi phí, năng lượng, và thời gian rất lớn. Cuộc đua này đang diễn ra và sẽ định hình lại trật tự kinh tế-số toàn cầu trong vài năm tới.

***Hệ thống máy chủ Microsoft dùng cho vận hành ChatGPT của OpenAI***

Microsoft, Google, Amazon, Meta đang đầu tư hàng trăm tỷ USD vào xây dựng và mở rộng trung tâm dữ liệu AI.
Nhiều quốc gia như Mỹ, Trung Quốc, UAE, Ả Rập Xê Út… xem đây là một phần trong hạ tầng chiến lược quốc gia.
Các quốc gia khác, nếu không có sẵn hạ tầng, sẽ buộc phải thuê điện toán đám mây (cloud AI) từ những “ông lớn”.

AI on Edge – một giải pháp rất hứa hẹn để giảm tải cho các trung tâm dữ liệu.

AI on Edge là gì?
• “Edge” ở đây nghĩa là thiết bị ở rìa mạng như điện thoại, máy tính bảng, đồng hồ thông minh, camera, xe tự lái, máy công nghiệp, v.v…
• Thay vì gửi dữ liệu lên cloud (đám mây) để xử lý bằng các trung tâm dữ liệu khổng lồ, AI sẽ được xử lý trực tiếp ngay trên thiết bị đó.
• Cách này giúp giảm độ trễ, bảo mật tốt hơn, giảm phụ thuộc vào internet, và tiết kiệm tài nguyên cloud.

**Hyra Network là dự án sử dung thuật toán điện toán biên**

Làm sao để chạy AI trên điện thoại?

Muốn chạy AI trực tiếp trên điện thoại, cần đảm bảo 3 yếu tố:

(a) Phần cứng hỗ trợ AI
• Chip có NPU (Neural Processing Unit) – như Apple A17 Pro, M1/M2/M3, Qualcomm Snapdragon 8 Gen 2/3, Google Tensor…
• NPU giúp xử lý các tác vụ AI nhanh hơn rất nhiều so với CPU hoặc GPU thông thường.

(b) Mô hình AI nhỏ gọn (lightweight models)
• Những mô hình khổng lồ như GPT-4 không thể chạy trên điện thoại.
• Tuy nhiên, các mô hình nhẹ và tối ưu hóa như:
• MobileBERT
• DistilBERT
• LLaMA 2-7B quantized
• Phi-2 (Microsoft)
• hoặc thậm chí những mô hình siêu nhẹ dùng trong camera an ninh, nhận diện hình ảnh, âm thanh, dịch văn bản,…

(c) Framework hỗ trợ
• Các nền tảng giúp đưa AI vào mobile:
• TensorFlow Lite (Google)
• CoreML (Apple)
• ONNX (Microsoft, đa nền tảng)
• MediaPipe, PyTorch Mobile…
• Bạn có thể convert mô hình AI từ dạng tiêu chuẩn sang dạng nhẹ, tối ưu hóa để chạy trên điện thoại bằng các công cụ này.

Ví dụ thực tế của AI on Edge
• iPhone: nhận diện khuôn mặt (FaceID), lọc cuộc gọi spam, Live Text (trích văn bản từ ảnh) – đều xử lý trên máy.
• Google Pixel: xử lý ảnh, dịch nhanh, nhận diện giọng nói – chạy trực tiếp trên chip Tensor.
• Tai nghe thông minh: lọc tiếng ồn bằng AI ngay trên chip DSP.
• Camera an ninh: phát hiện người lạ, chuyển động – xử lý ngay tại camera, không cần cloud.

Ưu điểm của AI on Edge
• Tốc độ xử lý nhanh hơn vì không phải đợi mạng.
• Bảo mật dữ liệu tốt hơn, không gửi thông tin cá nhân lên cloud.
• Tiết kiệm chi phí hạ tầng cho doanh nghiệp.
• Hoạt động cả khi không có internet.

Hạn chế?
Sức mạnh tính toán có giới hạn → không phù hợp với AI phức tạp, tổng hợp văn bản dài, v.v.Tốn pin, nên cần tối ưu cực kỳ kỹ lưỡng. Khó cập nhật mô hình thường xuyên như trên cloud.

Hyra network là nền tảng blockchain phi tập trung kết hợp AI và Depin(xây dựng hạ tầng AI). App Hyra AI là trái tim của Hyra Network sử dụng điện toán biên biến hàng triệu thiết bị như điện thoại, laptop, PC để huấn luyện AI giảm tối đa chi phí so với các mô hình tốn kém của Chatgpt, người cho thuê thiết bị sẽ được trả bằng token $Hyra có thể chuyển thành tiền.