-
高性能硬件
從 NVIDIA T4 推理 GPU 或其他 AI 加速器，聯泰集群推理解決方案可滿足您最苛刻的深度學習推理任務。 -
低延遲吞吐量
聯泰集群深度學習推理服務器可滿足涉及每個查詢多個推理的實時用例，例如自動語音識別、語音轉文本、自然語言處理等。 -
預安裝的框架
聯泰集群系統根據要求預裝了TensorFlow，PyTorch，Keras，Caffe，RAPIDS，Docker，蟒蛇，MXnet等。
建議的聯泰集群深度學習推理數據中心系統
通過聯泰集群推理服務器將 AI 帶到邊緣 – 英偉達 EGX
與客戶實時溝通，當數據從數十億個傳感器（從工廠車間到商店貨柜過道）流出，進行快速適應；即時診斷疾病并提供挽救生命的患者護理。借助當今強大的 AI 和 NVIDIA EGX 平臺，智能零售、醫療保健、制造、運輸和城市，所有這些都是可能的，該平臺將加速 AI 計算的強大功能帶到了邊緣。
-
高性能和可擴展性
NVIDIA EGX 具有高度可擴展性，從單節點 GPU 系統開始，一直擴展到整個機架的 NVIDIA T4 服務器，能夠提供超過 10000 個 TOPS，為數百名用戶提供實時語音識別和其他復雜的 AI 體驗。 -
混合云和多云物聯網
英偉達 EGX 在架構上與主要云提供商兼容。在云中開發的 AI 應用程序可以在 NVIDIA EGX 上運行，反之亦然。NVIDIA 邊緣堆棧連接到主要的云 IoT 服務，客戶可以遠程管理其服務。 -
企業級且安全
英偉達邊緣堆棧已在 RedHat 開放轉移（領先的企業級 Kubernetes 容器編排平臺）上進行了優化。Mellanox 智能網卡可以卸載和加速軟件定義的網絡，以實現更高級別的隔離和安全性，而不會影響 CPU 性能。
面向邊緣的企業級軟件堆棧
英偉達邊緣堆棧是一個優化的軟件堆棧，包括英偉達驅動程序、CUDA® Kubernetes 插件、CUDA 容器環境、CUDA-X 庫以及容器化 AI 框架和應用程序，包括英偉達TensorRT™、TensorRT 推理服務器和 DeepStream。
英偉達TensorRT 超大規模推理平臺
NVIDIA TensorRT™ 推理平臺旨在讓世界各地的每個開發人員和數據科學家都能訪問深度學習。利用新的圖靈架構，Tesla T4 加速了圖像、語音、翻譯和推薦系統的所有類型的神經網絡。Tesla T4 支持各種精度，并加速所有主要的深度學習框架，包括 TensorFlow、PyTorch、MXNet、Chainer和 Caffe2。
推理解決方案的使用場景
 |
 |
 |
 |
|||
| 數據中心 | 自動駕駛 | 智能視頻分析 | 嵌入式設備 |
