OpenStack開源技術解讀：可視化智能日志管理項目Venus

北京2022年11月4日 /美通社/ -- 在開源社區(qū)建設過程中，浪潮云海OS團隊始終秉承源于開源、饋于開源、完善開源的理念，不斷優(yōu)化社區(qū)已有功能、反饋客戶需求并積極貢獻到相關開源項目，以完善私有云場景，有效提升了OpenStack在私有云中大規(guī)模應用場景中的性能和穩(wěn)定性。下面介紹下浪潮云海團隊在社區(qū)貢獻的可視化日志管理項目 -- Venus。

可視化日志管理項目功能架構

 支撐云數智融合實踐

Venus項目旨在打造一個開放的OpenStack日志管理平臺，收集廣大開發(fā)者和用戶在智能運維領域的需求，基于特定應用場景設計并開發(fā)基于OpenStack私有云的可視化日志管理系統，提供各場景日志分析、集成AC自動機等模式匹配算法和知識圖譜實現故障的快速定位，構建完備的日志運維場景。浪潮云海OS團隊基于浪潮云海云操作系統完成規(guī)模達500節(jié)點的單一集群大規(guī)模實踐，并聯合Intel發(fā)布了《基于500節(jié)點大規(guī)模單一集群行業(yè)云部署和性能優(yōu)化白皮書》，為社區(qū)成員與用戶構建更大規(guī)模的OpenStack單一集群，提供了詳盡指導規(guī)范。

此后，浪潮云海OS團隊完成了全球最大規(guī)模單一集群達1000節(jié)點的云數智融合實踐，充分檢驗了浪潮云海云操作系統在大規(guī)模場景下平臺的敏捷交付、持續(xù)優(yōu)化和智能運維能力，驗證了操作系統的高性能、高效率和高可用性。

可視化日志管理項目在以上兩次大規(guī)模測試過程中起到了至關重要的作用，通過對發(fā)生故障的日志進行分析，快速檢索平臺、云主機、云硬盤、加速器設備等資源遇到故障，相比于人工查找故障原因，使用Venus項目分析、定位故障原因令運維效率提升了50%以上。

基于規(guī)則的異常日志檢測和告警

眾多可視化特性獲得好評

Venus自浪潮云海OS團隊貢獻OpenStack社區(qū)之后，受到眾多開源廠商、開源愛好者的好評，眾多開源貢獻者積極參與到了Venus開源項目的貢獻中，浪潮云海秉著精益求精的匠心精神持續(xù)沉淀，在OpenStack Zed版本發(fā)布Venus項目的首個Release，團隊在主線版本完成了基于Kolla的自動化部署、日志檢索、日志清理、基于Horizon項目的可視化界面等眾多特性。

資源統計及告警分析

• Venus集成到Kolla-ansible部署方式，實現Venus配置文件自動生成、數據注冊、創(chuàng)建數據及支持容器化服務啟動等；
• 開發(fā)Venus的Horizon展示插件，完成日志檢索頁面；
• 完成多維度日志分析、典型錯誤日志分析和自定義日志清理策略等。
  
  

Venus項目未來將會在智能化運維的道路上持續(xù)深耕，為開源社區(qū)、廣大Venus開源項目的愛好者提供更多易用的功能，包括但不限于：

• Venus的Horizon展示插件實現多維度日志分析、典型錯誤日志分析和自定義日志清理策略等頁面；
• 支持告警功能，包括自定義關鍵詞告警、日志流速告警等，實現海量日志中錯誤的"大海撈針"和系統本身的穩(wěn)定性提升；
• 實現基于日志數據的智能運維，包括基于日志數據的故障檢測和調用鏈分析，實現故障的快速定位。

面向資源池的資源及性能預測分析

一直以來，浪潮云海OS團隊通過在架構優(yōu)化、權威基準測試、規(guī)?；瘧?、社區(qū)貢獻、生態(tài)完善等方面的持續(xù)創(chuàng)新，構建了開放、融合、敏捷、智能的云操作系統，為各行各業(yè)提供數字轉型、智能升級、融合創(chuàng)新的云基礎設施。同時持續(xù)推動OpenStack、Kubernetes等開源技術在中國及世界范圍的發(fā)展，為打造創(chuàng)新技術引擎不懈努力。