強化Spark的機器學習能力、創新演算法開發 台灣IBM軟體事業處商業分析業務協理胡育銘表示,IBM美國舊金山Spark技術中心有超過200位的技術人員正在將Spark技術具體實現在企業應用中。同時,也將Spark嵌入IBM領先業界的分析和商務平台,讓Spark成為IBM Bluemix平台上的服務之一。另外,IBM在全球十多個實驗室將投入超過3500名研發人員展開與Spark相關的專案,並讓Spark開放生態系能使用IBM研發超過十年的機器學習技術–SystemML,IBM的認知運算系統Watson(華生)便整合許多SystemML機器學習的功能。此次IBM與Databricks合作,即是希望結合SystemML的功能,讓Spark具有更強大的機器學習能力,以及讓資料科學家更專注於演算法的應用,而非專注於枝微末節的技術。 Open Data Platform(ODP)是眾多資訊企業聯合成立的Hadoop資料平台,然而對大部分企業用戶而言,開源並不代表可直接使用,所以在開源之上又推出Hadoop資料平台。希望在選擇Hadoop資料平台中的核心元件時,大家可以選用公共、統一的代碼。如此,透過使用Hadoop資料平台,使用者可不再受限於特定廠商的開放原始碼,既利用開源的好處,同時也讓企業用戶不再備受束縛。胡育銘進一步表示,IBM一直致力於將企業客戶的需求與最新技術進行有效銜接,然而新技術很多,很可能會出現訊息孤島的情形,我們能將新的技術為企業需求真正合而為一,將所謂的單點和孤島進行整合。IBM對企業應用的豐富經驗是許多商業分析解決方案供應商無可比擬的,例如新元件一直出現以及重要技術持續變化,透過Open Data Platform (ODP)開放平台,讓多家資訊公司在平台上貢獻經驗與想法,為企業客戶提供服務。 IBM專精於分析探勘語言及SQL關聯式資料庫領域已長達30多年,具備大量的優化技術。此外,SPSS的許多預測分析產品的演算法也可與Spark相互結合,因為SPSS得以讓Spark大幅提升處理資訊的資料量、速度與能力。未來IBM將陸續推出Spark系列產品,包括Watson Analytics、DataWorks、PuerData 以及其他解決方案。