Có một quan điểm trong công nghệ cho rằng tập trung hóa: dữ liệu di chuyển lên điện toán đám mây, tính toán diễn ra ở đó, kết quả được trả về. Đối với các công ty cơ sở hạ tầng điện toán đám mây, quan điểm này rất thuận tiện. Đối với các công ty thực sự xây dựng các hệ thống AI cần hoạt động đáng tin cậy, nhanh chóng và an toàn trong môi trường thực tế, quan điểm này ngày càng trở nên hạn chế.
Edge computing — sự chuyển dịch khả năng tính toán đến gần hơn với nơi dữ liệu được tạo ra và nơi cần đưa ra quyết định — không phải là mới. Điều mới là tính cấp thiết của nó. Sự kết hợp của các yêu cầu AI theo thời gian thực, quy định về quyền riêng tư, hạn chế băng thông mạng và sự phức tạp mới nổi của IoT và các hệ thống tự động đang khiến edge computing không còn là lựa chọn kiến trúc ngách mà trở thành yêu cầu cốt lõi cho toàn bộ các loại ứng dụng.
Tôi đã theo dõi sát sao sự chuyển đổi này thông qua NexaTech Ventures vì nó đại diện cho một trong những chuyển đổi kiến trúc quan trọng nhất trong cơ sở hạ tầng công nghệ kể từ khi chuyển sang điện toán đám mây.
Nơi Kiến Trúc Cloud Gặp Trục Trặc
Điện toán đám mây được xây dựng dựa trên một giả định đã được chứng minh là đúng trong hai thập kỷ đầu của internet: việc chuyển dữ liệu đến các tài nguyên tính toán trung tâm rẻ hơn là phân phối tính toán trên mạng. Đối với hầu hết các ứng dụng web — tìm kiếm, mạng xã hội, thương mại điện tử — điều này vẫn đúng. Nhưng đối với một tập hợp các ứng dụng đang mở rộng, giả định này đang sụp đổ.
Xem xét các phương tiện tự động. Một chiếc xe tự lái đưa ra các quyết định quan trọng về an toàn trong vài mili giây dựa trên dữ liệu cảm biến. Việc gửi dữ liệu cảm biến thô đến một dịch vụ điện toán đám mây xa xôi, chờ đợi phản hồi và nhận quyết định trở lại không chỉ không hiệu quả; nó về cơ bản là không thể hoạt động được. Độ trễ là không thể chấp nhận được và yêu cầu độ tin cậy không thể đáp ứng. Tính toán phải diễn ra trên chính phương tiện, theo thời gian thực, sử dụng xử lý cục bộ.
Hoặc xem xét các ứng dụng được quy định về quyền riêng tư trong chăm sóc sức khỏe hoặc dịch vụ tài chính. GDPR và các quy định tương tự ngày càng yêu cầu dữ liệu cá nhân nhạy cảm phải được xử lý trong các khu vực pháp lý cụ thể và theo các kiểm soát bảo mật cụ thể. Việc truyền dữ liệu y tế hoặc chi tiết giao dịch tài chính đến một dịch vụ điện toán đám mây ở quốc gia khác, ngay cả để phân tích hợp pháp, cũng tạo ra các phức tạp về tuân thủ khiến xử lý tập trung trở nên rủi ro về mặt pháp lý và vận hành.
Hoặc xem xét sản xuất trên sàn nhà máy. Một cơ sở sản xuất tạo ra hàng terabyte dữ liệu cảm biến từ thiết bị sản xuất không thể thực tế truyền tất cả đến một dịch vụ điện toán đám mây để phân tích. Chi phí băng thông là cấm kỵ, độ trễ cho điều chỉnh quy trình theo thời gian thực là không thể chấp nhận được và rủi ro về khả năng phục hồi hoạt động là quá cao. Tính toán cần diễn ra cục bộ.
Đây không phải là các trường hợp biên. Đây là các loại ứng dụng mới nổi cốt lõi. Và kiến trúc điện toán đám mây, theo thiết kế, không phù hợp với tất cả chúng.
Sự Chuyển Đổi Kỹ Thuật Cần Thiết
Edge AI yêu cầu kiến trúc kỹ thuật khác với AI dựa trên điện toán đám mây. Các mô hình học máy cần nhỏ hơn, hiệu quả hơn và được tối ưu hóa cho các thiết bị bị hạn chế tài nguyên. Các pipeline suy luận cần mạnh mẽ với kết nối mạng không ổn định. Mô hình bảo mật cần hoạt động cho các hệ thống phân tán thay vì các trung tâm dữ liệu tập trung. Các cơ chế cập nhật và phiên bản cần đẩy thay đổi đến hàng nghìn hoặc hàng triệu thiết bị biên một cách hiệu quả và an toàn.
Đây là những vấn đề khó và chúng yêu cầu các phương pháp khác với phát triển AI trên điện toán đám mây. Các công ty giải quyết chúng không phải là các công ty điện toán đám mây; họ là các công ty mới xây dựng cơ sở hạ tầng AI được tối ưu hóa cho biên.
Một số xu hướng kỹ thuật đang hội tụ để làm cho sự chuyển đổi này trở nên khả thi. Các kỹ thuật nén và lượng tử hóa mô hình đang được cải thiện nhanh chóng, cho phép các mô hình AI tinh vi chạy trên các thiết bị biên với tài nguyên tính toán phân đoạn. Phần cứng chuyên dụng — TPU, NPU và các bộ tăng tốc AI khác — đang trở nên khả dụng trong các thiết bị biên, cung cấp khả năng tính toán cần thiết. Các tiêu chuẩn mở cho triển khai biên đang xuất hiện, phá vỡ sự khóa chặt vào các nền tảng độc quyền.
Tại NexaTech Ventures, chúng tôi đang hỗ trợ các công ty trong ba loại trong cơ sở hạ tầng edge AI. Thứ nhất, các nền tảng tối ưu hóa và triển khai mô hình lấy các mô hình AI lớn và nén chúng để thực thi biên. Thứ hai, các công cụ suy luận biên được tối ưu hóa cho thực thi phân tán độ trễ thấp. Thứ ba, các hệ thống điều phối biên quản lý triển khai, cập nhật và giám sát các khối lượng công việc AI trên cơ sở hạ tầng biên phân tán.
Vị Trí Của Châu Âu
Lợi thế cơ sở hạ tầng của Châu Âu trong edge computing là tinh tế nhưng thực tế. Châu lục đã đầu tư mạnh vào cơ sở hạ tầng viễn thông và triển khai 5G, cung cấp công suất mạng và kết nối độ trễ thấp cần thiết cho edge computing. Quy định bảo vệ dữ liệu của Châu Âu, xa với việc là một trở ngại, đang thúc đẩy nhu cầu cho các giải pháp edge computing giữ dữ liệu nhạy cảm ở cục bộ.
Quan trọng hơn, các lĩnh vực sản xuất, ô tô và công nghiệp của Châu Âu đang thúc đẩy nhu cầu thực sự cho edge AI. Các công ty ô tô Đức cần edge AI cho xe tự động. Các nhà sản xuất Ý cần edge compute cho sản xuất chính xác. Nông nghiệp Hà Lan cần edge AI cho các hệ thống canh tác chính xác. Điều này tạo ra một chu trình tích cực trong đó nhu cầu thúc đẩy đầu tư vào cơ sở hạ tầng edge AI, thu hút tài năng và vốn, cải thiện khả năng của công nghệ, thúc đẩy việc áp dụng thêm.
Câu chuyện edge computing của Mỹ hiện đang bị chi phối bởi các công ty điện toán đám mây cố gắng mở rộng nền tảng của họ ra biên. AWS, Google Cloud và Azure đều đang cung cấp các dịch vụ biên. Nhưng đây về cơ bản là các kiến trúc lấy điện toán đám mây làm trung tâm với biên được gắn thêm. Kiến trúc edge AI chuyển đổi đang được xây dựng bởi các công ty bắt đầu với giả định rằng tính toán diễn ra ở biên và điện toán đám mây là ngoại lệ, không phải là quy tắc.
Trường Hợp Đầu Tư
Edge computing và edge AI đại diện cho một sự thay đổi cấu trúc trong cách phần mềm được triển khai và chạy. Nó không phải là một xu hướng tạm thời hoặc một thị trường ngách. Đó là một chuyển đổi kiến trúc cơ bản được thúc đẩy bởi các yêu cầu kỹ thuật thực tế mà điện toán đám mây không thể đáp ứng.
Cơ hội đầu tư nằm ở nhiều lớp. Ở lớp cơ sở hạ tầng, các công ty xây dựng các nền tảng AI được tối ưu hóa cho biên và các công cụ triển khai đang tạo ra lợi thế cạnh tranh bền vững. Ở lớp ứng dụng, các công ty đang thiết kế lại phần mềm của họ để thực thi biên — xe tự động, hệ thống công nghiệp, thiết bị chăm sóc sức khỏe — sẽ đạt được lợi thế về hiệu suất và độ tin cậy khó bị thay thế.
Tại NexaTech Ventures, chúng tôi tìm kiếm các công ty edge AI hiểu cả yêu cầu kỹ thuật và thách thức vận hành. Các công ty tốt nhất không chỉ tối ưu hóa thuật toán; họ xây dựng các hệ thống hoàn chỉnh để triển khai biên, bao gồm giám sát, bảo mật, quản lý cập nhật và hỗ trợ vận hành.
Sự chuyển đổi từ điện toán đám mây tập trung sang edge computing phân tán đại diện cho sự chuyển đổi cơ sở hạ tầng quan trọng nhất trong công nghệ kể từ khi di chuyển sang điện toán đám mây. Các công ty tự định vị mình sớm trong sự chuyển đổi này sẽ xây dựng các doanh nghiệp đáng kể và có thể bảo vệ được.
Scott Dylan là Nhà sáng lập của NexaTech Ventures. Ông viết về cơ sở hạ tầng công nghệ, AI và đầu tư công nghệ sâu. Đọc thêm tại scottdylan.com.
