項目概況
項目背景
2023年10月，衛寧健康發布了面向醫療垂直領域的大模型WiNGPT，能夠精確滿足各種業務需要，具有較高的準確率和較低的誤診可能性，幫助醫院提升了診療效率。
當下，面對精益化運營的需求，為縮短WiNGPT生成時間，保障用戶體驗，同時降低大模型的部署成本，以更好地釋放大模型在智慧型醫療業務中的應用潛力，衛寧健康亟需進行全新算力方案開發，以加快人工智能驅動的醫療信息整合解決方案的更好實施。
解決方案
為滿足客戶低成本、高性能的算力建設訴求，超集信息基于第五代英特爾? 至強?可擴展處理器平臺，幫助其完成了WiNGPT推理平臺構建。
超集信息基于 CPU 的大模型推理方案，在滿足性能要求的同時更具成本優勢，助力加速醫院的大模型部署。方案高效利用第五代英特爾? 至強? 可擴展處理器，通過內置的英特爾? 高級矩陣擴展（英特爾? AMX）等加速器進行模型推理，推理性能相較于基于英特爾? 至強? 可擴展處理器的平臺提升超過 3 倍，性價比較GPU方案提升13%，可滿足醫技報告自動生成等場景對于推理性能的要求，助力加速醫療機構的大模型應用拓展。
客戶價值
由超集信息調優的算力方案充分釋放第五代英特爾? 至強? 可擴展處理器的 AI 性能優勢，能滿足報告自動生成等場景對于模型推理性能的要求，縮短生成時間，保障用戶體驗；控制算力平臺構建成本，提升經濟性：方案可利用醫療機構部署的通用服務器進行推理，無需額外部署專用的推理服務器，有助于降低相關采購、部署、運維、能耗等成本；兼顧大模型與其他信息化應用： 方案可采用 CPU 進行推理，醫療機構可根據任務需求靈活地在大模型推理與其他信息化應用之間進行 CPU 算力資源調配，提升算力分配的敏捷性與靈活性。
