Kiến thức công nghệ
AIDI — Hạ tầng định nghĩa bởi AI: Công nghệ và công cụ cần biết
Hiện tại có thể thấy AI chắc chắn là xu hướng sẽ được ứng dụng phổ biến trong tương lai, và sẽ có ảnh hưởng tới xu hướng phát triển hạ tầng điện toán đám mây. Các công nghệ mới liên quan đến Cloud và giải pháp AI cũng sẽ bùng nổ, và AIDI (AI Defined Infrastructure) — hạ tầng định nghĩa bởi AI — cũng sẽ là một trong số đó. Bài viết này tập trung giới thiệu các công nghệ, công cụ liên quan để hình thành nên một AIDI.
Các ứng dụng Mobile và IoT hầu như chỉ yêu cầu môi trường hạ tầng đảm bảo tốt về runtime, và phần quan trọng nhất nằm ở phía backend, phải cung cấp các service phù hợp cho các ứng dụng này. Ngược lại, các ứng dụng AI không chỉ cần các dịch vụ backend phức tạp, môi trường runtime cần được tối ưu hóa rất nhiều để phù hợp với yêu cầu về GPU, do phải xử lý các tác vụ với chu kỳ thời gian rất ngắn. Các ứng dụng tối ưu GPU có nhiệm vụ phân bổ các task cần nhiều CPU cho GPU xử lý và để các task “nhẹ nhàng” cho CPU đảm nhiệm — khi làm được như vậy, việc xử lý của cả ứng dụng sẽ tăng lên rất nhanh.
Điểm lợi thế của GPU so với CPU nằm ở kiến trúc hoàn toàn khác nhau. Một CPU được thiết kế cho việc xử lý các serial data và chỉ có một vài core. Trong khi GPU có kiến trúc hàng loạt core nhỏ hoạt động song song, xử lý nhiều tác vụ hơn cùng lúc. Nvidia cho biết, throughput của ứng dụng thông qua GPU cao hơn từ 10 đến 100 lần so với CPU. Do đó, một hạ tầng khi triển khai cho các deep learning framework như TensorFlow và Torch, với nhu cầu hàng trăm, hàng ngàn node, phải được cấu hình tối ưu CPU/GPU ngay từ đầu.
Đáp ứng các yêu cầu về hạ tầng để hỗ trợ ứng dụng AI
Hỗ trợ framework hiện tại
Hạ tầng cần hỗ trợ các ứng dụng AI trên nền framework như TensorFlow, Caffe, Theano và Torch.
Môi trường tối ưu GPU
Một hệ thống tốt cần đảm bảo mọi tác vụ AI đều được thực hiện, do đó phải hỗ trợ môi trường GPU để cung cấp tối đa sức mạnh tính toán. Microsoft là công ty tiên phong trong lĩnh vực này với N-series GPU instances.
Các công cụ và môi trường quản lý
Một trong những thách thức khi vận hành ứng dụng AI là còn thiếu công cụ quản lý các framework AI. Việc tìm ra giải pháp cho giao thức giao tiếp giữa AI framework và hạ tầng bên dưới là thật sự cần thiết, để đảm bảo sự cân bằng và duy trì performance tuyệt đối.
Dịch vụ tích hợp hạ tầng cho AI
Các nhà cung cấp hạ tầng phần cứng không chỉ hỗ trợ AI mà còn phải cung cấp thêm các dịch vụ tích hợp AI, xem đây là phần trung tâm của combo hạ tầng và dịch vụ. Đây chính là AI-defined Infrastructure — hạ tầng được xây dựng cho AI — không chỉ giúp dịch vụ và ứng dụng cloud “thông minh” hơn, mà còn dễ dàng cho khách hàng setup và vận hành.
Machine Reasoning
Nếu được vận hành trong môi trường Machine Reasoning, các ứng dụng AI sẽ rất linh động trong việc đáp ứng với môi trường/hạ tầng bị thay đổi, đảm bảo AI sẽ lựa chọn “kiến thức” tốt nhất để đưa ra hành động đối phó.
Môi trường hạ tầng và công nghệ cho AI
Những năm qua, thế giới đã đầu tư rất nhiều vào các dịch vụ và tính năng cho AI, dẫn đầu là các ông lớn như Amazon, Microsoft và Google, bên cạnh công sức của các PaaS đầu tư vào các dịch vụ AI liên quan. Công nghệ AI hiện tại được chia thành 3 nhóm chính:
Cloud Machine Learning (ML) platform
Các công nghệ như AWS Machine Learning hoặc Google Machine Learning giúp hiện thực hóa việc sử dụng các model machine learning dựa trên từng công nghệ phù hợp.
AI Cloud Services
Các dịch vụ như Microsoft Cognitive Services, Google Cloud Vision hoặc Natural Language APIs cho phép sử dụng nhiều ứng dụng AI đơn giản thông qua gọi API — giúp doanh nghiệp phát triển các ứng dụng tích hợp AI mà không cần tốn nhiều chi phí đầu tư hoặc sở hữu hạ tầng dành cho AI.
Công nghệ cho môi trường Private và Public Cloud
HIRO là công nghệ được thiết kế để chạy trên nền các môi trường Public Cloud như AWS hoặc Private Cloud như OpenStack và Proxmox/KVM. HIRO được sinh ra để giúp phát triển và vận hành các mô hình kinh doanh dựa trên AI tổng quát.
Các nhà cung cấp AI và dịch vụ liên quan
Trong quá trình xây dựng hạ tầng AIDI, doanh nghiệp cần tìm hiểu các công cụ và dịch vụ phù hợp với ứng dụng mình mong muốn triển khai. Dưới đây là các nhà cung cấp theo từng lĩnh vực:
Machine LearningRapidminer, Context Relevant, H2O, Datarpm, LiftIgniter, Spark Beyond, Yhat, Wise.io, Sense, GraphLab, Alpine, Nutonian
Conversational AI/BotsMindfield, Semantic Machines, Maluuba, Mobvoi, KITT AI, Clara, Automat, Wit.ai, Cortical.io, Idibon, Luminoso
VisionClarifai, Chronocam, Orbital Insight, Pilot.ai, Captricity, Crokstyle
AutoNuTonomy, Drive.ai, AI Motive, Nauto, Nexar, Zoox
RoboticsUbtech, Anki, Rokid, Dispatch
CybersecurityCylance, Sift Science, Spark Cognition, Deep Instinct, Shift Technology, Dark Trace
BI & AnalyticsDataRobot, Trifacta, Tamr, Esigopt, Paxata, Dataminr, CrowdFlower, Logz.io
Ad, Sales & CRMTalkIQ, Deepgram, Persado, Appier, Chorus, InsideSales.com, Drawbridge, DigitalGenius, Resci
HealthcareFreenome, CloudMedx, Zebra, Enlitic, Two AR, iCarbonX, Atomwise, Deep Genomics, Babylon, Lunit
Text AnalysisTextio, Fido.ai, Narrative
IoTNanit, Konux, Verdigris, Sight Machine
CommerceBloomreach, Mode.ai
Fintech & InsuranceCape Analytics, Kensho, Numerai, Alphasense, Kasisto
