當下,人工智能已成為科技領域最熱門的技術。機器學習、深度學習、人臉識別、無人駕駛、NLP,各種名詞不絕于耳。人工智能的應用一方面在不斷改變我們每個人的生活方式,另一方面也在逐漸改變著企業(yè)的經(jīng)營模式、決策方式。越來越多的企業(yè)經(jīng)營者、高級管理人員、決策者都在這場了解人工智能的競賽中感到焦慮,他們意識到,人工智能即將從根本上改變他們的行業(yè)。
在這場轟轟烈烈的人工智能浪潮中,我們發(fā)現(xiàn),對于商業(yè)企業(yè)來說,人工智能并沒有給他們帶來太多所謂的智能,它帶來的是智能的一個關鍵組成部分——AI預測。
預測是根據(jù)事物以往和現(xiàn)今的數(shù)據(jù),通過一定的科學方法和邏輯推理,對事物未來發(fā)展的趨勢作出預計、推測和判斷,尋求事物的未來發(fā)展規(guī)律。預測不僅研究事物的本身,而且還要研究它和環(huán)境之間的相互作用、相互影響。預測的過程就是在調查研究或科學試驗的基礎上的分析過程,簡稱為預測分析。
預測實際上是一種填補缺失信息的過程。比如將非常規(guī)的信用卡交易歸類為盜刷,將醫(yī)學影像中的腫瘤分類為惡性,或是判斷當前拿著手機的人是否是真正的機主,即運用你現(xiàn)在掌握的信息(通常稱為數(shù)據(jù)),生成你尚未掌握的信息。這既包含了對于未來數(shù)據(jù)的時序預測,也包含了對當前與歷史數(shù)據(jù)的分析判斷,是更廣義的預測。
在人工智能技術介入前,預測早已隨處可見,小到個人股票投資,大到企業(yè)經(jīng)營決策、國家制訂國民經(jīng)濟發(fā)展規(guī)劃,社會的方方面面無不體現(xiàn)著預測的重要性。而人工智能的飛速發(fā)展,將為預測技術提供了更多可行的思路和方案,使得預測的準確度能夠得到有效提升,為各行各業(yè)提供超越傳統(tǒng)統(tǒng)計學分析的決策支持能力。
這當中,更為重要的是,AI預測更廉價。“如果某樣東西的價格下降,那么我們會更多地使用它?!薄@是最簡單的經(jīng)濟學,如今這種情況正出現(xiàn)在預測領域。運算的成本變得足夠低,繼而幫助我們快速找到成千上萬種應用方式。預測成本的下降也將影響其他東西的價值:比如提高互補品(數(shù)據(jù)、判斷和行動)的價值,以及降低替代品(人類預測)的價值
那么,預測技術發(fā)展到如今,何以稱得上智能呢?回過頭來看,應該歸功于更好的數(shù)據(jù)、模型和計算能力,它們促使預測技術飛速發(fā)展,從而走上“智能”之路。機器學習便是功臣之一。
歷史上,預測的主流分析方法是使用數(shù)據(jù)挖掘的一系列技術,而這其中被經(jīng)常使用的是一種被稱為“回歸”的統(tǒng)計技術。回歸做的是什么?它主要是根據(jù)過去發(fā)生時間的“平均值”來尋找一種預測。當然,回歸也有很多種實現(xiàn)方式,有簡單的線性回歸,多項式回歸,也有多因素的Logistic回歸,本質上都是一種曲線的擬合,是不同模型的“條件均值”預測。
在機器學習之前,多元回歸分析提供了一種處理多樣條件的有效方法,可以嘗試找到一個預測數(shù)據(jù)失誤最小化,“擬合優(yōu)度”最大化的結果。但是,回歸分析中,對于歷史數(shù)據(jù)的無偏差預測的渴求,并不能保證未來預測數(shù)據(jù)的準確度,這就是所謂的“過渡擬合”。
與回歸分析不同,機器學習的預測不追求平均值的準確性,允許偏差,但求減少方差。過去,由于數(shù)據(jù)和計算能力的匱乏,機器學習的表現(xiàn)不如回歸分析來得好。但如今,一切都不一樣了,隨著數(shù)據(jù)體量的不斷增長,計算能力的不斷提升,使用機器學習和(神經(jīng)網(wǎng)絡)深度學習來做預測效果比其他所有方法表現(xiàn)得都要更好,這使得我們利用統(tǒng)計學進行預測的方法發(fā)生了徹底的轉變。把人工智能與機器學習的最新發(fā)展作為傳統(tǒng)統(tǒng)計學的延伸與加強這是非常誘人的想法!
那么,如果僅僅是預測,為什么能稱得上“智能”呢?這是因為,某些情況下,我們預測的效果已經(jīng)好到我們可以直接用來做決策,而無需再應用基于規(guī)則的邏輯。這其實也在改變著計算機編程的方式。
想象一下,原先復雜的業(yè)務場景下,基于“if...then...”以及傳統(tǒng)的統(tǒng)計學方法來實現(xiàn)的代碼邏輯,總是無法覆蓋所有的條件組合。而近年來,支撐預測方法進步的一種黑科技叫做“深度學習”,它與人類大腦有著類似的工作方式,利用“反向傳播”的方法從數(shù)據(jù)中不斷訓練、反饋、學習,獲取“知識”。就預測而言,隨著不斷的訓練、自我學習,預測模型會得到不斷優(yōu)化,預測準確性也在隨著學習而改進,而越來越高的預測準確性為商業(yè)決策提供了可信賴的基礎。
預測支持決策
一個完整的預測支持決策的回路包括下圖所示8個組成部分。這中間,數(shù)據(jù)在整個歷史數(shù)據(jù)輸入、模型訓練、數(shù)據(jù)預測、決策、執(zhí)行、結果收集、數(shù)據(jù)反饋的完整回路中流轉。
? 數(shù)據(jù)清洗與特征工程是有效輸入的核心。實際情況中,由于預測項目開始前對數(shù)據(jù)的統(tǒng)一管理不夠重視,對歷史數(shù)據(jù)進行清洗整理會占掉整個預測項目的近一半時間。數(shù)據(jù)質量的優(yōu)劣,其實是預測項目成敗極其重要因素。而有了優(yōu)質的數(shù)據(jù),提取恰當?shù)奶卣饕彩穷A測成功與否的重中之重。
? 足夠豐富的帶特征數(shù)據(jù)是預測模型得以訓練的基礎。
? 預測是決策的核心輸入。依賴訓練得到的模型與未來有限的確定因素,來為決策提供數(shù)據(jù)預測支持。
? 而決策執(zhí)行的結果又將反饋到訓練模型,優(yōu)化預測。
當下,人工智能已成為科技領域最熱門的技術。機器學習、深度學習、人臉識別、無人駕駛、NLP,各種名詞不絕于耳。人工智能的應用一方面在不斷改變我們每個人的生活方式,另一方面也在逐漸改變著企業(yè)的經(jīng)營模式、決策方式。越來越多的企業(yè)經(jīng)營者、高級管理人員、決策者都在這場了解人工智能的競賽中感到焦慮,他們意識到,人工智能即將從根本上改變他們的行業(yè)。
在這場轟轟烈烈的人工智能浪潮中,我們發(fā)現(xiàn),對于商業(yè)企業(yè)來說,人工智能并沒有給他們帶來太多所謂的智能,它帶來的是智能的一個關鍵組成部分——AI預測。
預測是根據(jù)事物以往和現(xiàn)今的數(shù)據(jù),通過一定的科學方法和邏輯推理,對事物未來發(fā)展的趨勢作出預計、推測和判斷,尋求事物的未來發(fā)展規(guī)律。預測不僅研究事物的本身,而且還要研究它和環(huán)境之間的相互作用、相互影響。預測的過程就是在調查研究或科學試驗的基礎上的分析過程,簡稱為預測分析。
預測實際上是一種填補缺失信息的過程。比如將非常規(guī)的信用卡交易歸類為盜刷,將醫(yī)學影像中的腫瘤分類為惡性,或是判斷當前拿著手機的人是否是真正的機主,即運用你現(xiàn)在掌握的信息(通常稱為數(shù)據(jù)),生成你尚未掌握的信息。這既包含了對于未來數(shù)據(jù)的時序預測,也包含了對當前與歷史數(shù)據(jù)的分析判斷,是更廣義的預測。
在人工智能技術介入前,預測早已隨處可見,小到個人股票投資,大到企業(yè)經(jīng)營決策、國家制訂國民經(jīng)濟發(fā)展規(guī)劃,社會的方方面面無不體現(xiàn)著預測的重要性。而人工智能的飛速發(fā)展,將為預測技術提供了更多可行的思路和方案,使得預測的準確度能夠得到有效提升,為各行各業(yè)提供超越傳統(tǒng)統(tǒng)計學分析的決策支持能力。
這當中,更為重要的是,AI預測更廉價。“如果某樣東西的價格下降,那么我們會更多地使用它?!薄@是最簡單的經(jīng)濟學,如今這種情況正出現(xiàn)在預測領域。運算的成本變得足夠低,繼而幫助我們快速找到成千上萬種應用方式。預測成本的下降也將影響其他東西的價值:比如提高互補品(數(shù)據(jù)、判斷和行動)的價值,以及降低替代品(人類預測)的價值
那么,預測技術發(fā)展到如今,何以稱得上智能呢?回過頭來看,應該歸功于更好的數(shù)據(jù)、模型和計算能力,它們促使預測技術飛速發(fā)展,從而走上“智能”之路。機器學習便是功臣之一。
歷史上,預測的主流分析方法是使用數(shù)據(jù)挖掘的一系列技術,而這其中被經(jīng)常使用的是一種被稱為“回歸”的統(tǒng)計技術。回歸做的是什么?它主要是根據(jù)過去發(fā)生時間的“平均值”來尋找一種預測。當然,回歸也有很多種實現(xiàn)方式,有簡單的線性回歸,多項式回歸,也有多因素的Logistic回歸,本質上都是一種曲線的擬合,是不同模型的“條件均值”預測。
在機器學習之前,多元回歸分析提供了一種處理多樣條件的有效方法,可以嘗試找到一個預測數(shù)據(jù)失誤最小化,“擬合優(yōu)度”最大化的結果。但是,回歸分析中,對于歷史數(shù)據(jù)的無偏差預測的渴求,并不能保證未來預測數(shù)據(jù)的準確度,這就是所謂的“過渡擬合”。
與回歸分析不同,機器學習的預測不追求平均值的準確性,允許偏差,但求減少方差。過去,由于數(shù)據(jù)和計算能力的匱乏,機器學習的表現(xiàn)不如回歸分析來得好。但如今,一切都不一樣了,隨著數(shù)據(jù)體量的不斷增長,計算能力的不斷提升,使用機器學習和(神經(jīng)網(wǎng)絡)深度學習來做預測效果比其他所有方法表現(xiàn)得都要更好,這使得我們利用統(tǒng)計學進行預測的方法發(fā)生了徹底的轉變。把人工智能與機器學習的最新發(fā)展作為傳統(tǒng)統(tǒng)計學的延伸與加強這是非常誘人的想法!
那么,如果僅僅是預測,為什么能稱得上“智能”呢?這是因為,某些情況下,我們預測的效果已經(jīng)好到我們可以直接用來做決策,而無需再應用基于規(guī)則的邏輯。這其實也在改變著計算機編程的方式。
想象一下,原先復雜的業(yè)務場景下,基于“if...then...”以及傳統(tǒng)的統(tǒng)計學方法來實現(xiàn)的代碼邏輯,總是無法覆蓋所有的條件組合。而近年來,支撐預測方法進步的一種黑科技叫做“深度學習”,它與人類大腦有著類似的工作方式,利用“反向傳播”的方法從數(shù)據(jù)中不斷訓練、反饋、學習,獲取“知識”。就預測而言,隨著不斷的訓練、自我學習,預測模型會得到不斷優(yōu)化,預測準確性也在隨著學習而改進,而越來越高的預測準確性為商業(yè)決策提供了可信賴的基礎。
預測支持決策
一個完整的預測支持決策的回路包括下圖所示8個組成部分。這中間,數(shù)據(jù)在整個歷史數(shù)據(jù)輸入、模型訓練、數(shù)據(jù)預測、決策、執(zhí)行、結果收集、數(shù)據(jù)反饋的完整回路中流轉。
? 數(shù)據(jù)清洗與特征工程是有效輸入的核心。實際情況中,由于預測項目開始前對數(shù)據(jù)的統(tǒng)一管理不夠重視,對歷史數(shù)據(jù)進行清洗整理會占掉整個預測項目的近一半時間。數(shù)據(jù)質量的優(yōu)劣,其實是預測項目成敗極其重要因素。而有了優(yōu)質的數(shù)據(jù),提取恰當?shù)奶卣饕彩穷A測成功與否的重中之重。
? 足夠豐富的帶特征數(shù)據(jù)是預測模型得以訓練的基礎。
? 預測是決策的核心輸入。依賴訓練得到的模型與未來有限的確定因素,來為決策提供數(shù)據(jù)預測支持。
? 而決策執(zhí)行的結果又將反饋到訓練模型,優(yōu)化預測。