五十年電腦科技的累進，就在近幾年觸發了一場對人類社會有重大影響的「範式轉移」（Paradigm Shift），改變了許多人們做事情的方式以及對事物的理解，重要的是重新定義了人體時鐘速度（Clock Speed）；今日的一天可以完成十年前一個月的工作。跳躍式的創新應用改變了產業生態，加劇了企業間競爭態勢。
「數據力」是企業在面對快速脈動的市場與錯綜複雜的營運環境時，知道如何掌握詭譎多變的情勢，知己知彼，以變制變，出奇制勝。「成功出於眾者，先知也」，能有效利用活數據，先於對手掌握情報、抓住商機，比對手更了解自己，減少犯錯，才有機會成為贏家。
數十年的資訊化，形成了畸形地貌─孤島
企業資訊化與數位化的過程與鄉村都市化的過程很類似。一個企業在成長過程中，因為不同的發展階段，為了不同目的，運用有限預算以及演進中的技術，來建置資訊系統。幾代下來，幾經修改，新的功能屈就於舊有的架構，疊床架屋，造成系統間不易溝通。加上各部門各行其是，系統建置與維護人員經常異動，知識斷層嚴重，數據可用但是雜亂封閉，就如企業管理者常說的一句話「資料我們都有，只是不知道該如何用」。
內部數據孤島（Internal Data Silos）
無數的資訊系統、數據專案形成了所謂的數據孤島（Data Silos），造成數據分散（scattered）、破碎（fragmented）、不完整（incomplete）、不一致（inconsistent）。最核心的問題在於ID，如產品ID、訂單ID、甚至料號ID，在不同系統、不同部門、不同的目的下，定義成看似一致卻意義不同或是名稱不同卻意義相同的辨識元件。雖然「資料我們都有」，但是難以建立數據關聯性、無法看見數據全貌。
行為數據孤島（Behavioral Data Silos）
近年來在科技的推波助瀾下，企業逐漸了解行為數據與外部數據的重要性。這些活數據可以改善企業經營策略，也讓企業發揮綜效。然而處理源源不絕的數據並非易事，處理不當反而會加劇數據孤島的嚴重性。因為單獨的行為數據或外部數據是「孤立」的，數據本身沒有太大意義的，通常必須要結合企業資料中的人事時地物，才能真正賦予數據意義，找出背後的商業價值。
組織數據孤島（Organizational Data Silos）
傳統數據工作以專案形式進行，分工鮮明，將數據收集、清理與分析處理視為幾段非連貫的工作。企業使用者訂好題目、需求與目標，數據工程師準備數據，最後數據分析人員進行分析。這種專案工作模式有80%的時間都花在數據準備上，對數據分析人員與企業使用者而言，無法隨取隨用乾淨數據，必須等待數據工程師或技術人員的協助，多次來回溝通，作業週期冗長。
從數據準備到分析必須仰賴IT人員，導致數據由IT人員“擁有”。
反之，數據工程師需要等待企業使用者清楚定義問題與提出需求，才能找對數據源，進行建模、清理、驗證等數據工作。然而在現實企業中，定義問題、提出需求，往往卻是最難的一部份。企業使用者因為沒有數據方面的知識，往往會天馬行空的提出不切實際的需求。
企業的本質是不斷的探索
商場如戰場，對企業而言，戰戰兢兢經營事業的每一時刻，都是在不斷的探索市場，試圖尋找新技術，發掘新商機。這是企業生存競爭的本質。這不斷探索的背後即是「活數據探索」。透過行為數據探索了解企業營運，也藉由外部數據洞悉市場動態。
冰山理論
巨量資料如同冰山，絕大部分埋藏在水面下，數據探索的空間就在水面下的冰山。傳統的分析或BI（Business Intelligence）的儀錶板或報表展現出Know-What如業績，有如冰山露在水面上十分之一的部分。主要是提供給企業管理者作為制定策略。冰山水面下代表的是探索型分析，讓企業使用者在任何時候從不同的數據角度、不同的分析思路，往冰山最深層處探索，找尋Know-Why、問題的根源。但是，當數據很複雜，如：上千個維度、上百個分析比較、數十個指標，探索型數據分析成了提供深刻洞見與數據診斷的重要工具。
不是只靠想當然耳的經營常識，而是真正透過數字去探索
企業在經營上，常碰到一個問題：每月營收目標都有達成，但是，毛利卻不如預期，而且，各部門提報的毛利和財務報表又不一致。這時，不能只靠經驗，想方設法地開源節流，而是如何透過數據去檢視經營績效，找尋營運上（operation）的疏失、差異或前後不一致，即時反應在下一次的營運活動上。企業在持續不斷的數據探索程、活用數據資產，找出市場商機，同時也找出營運盲點。
活數據探索的實踐
活數據探索，說的很容易，但在實踐上卻是一件極為困難的事。一個數據組織中各個階層的工作者，不管是管理者、營運人員還是技術人員，在權限範圍內，隨時都可以輕鬆取用當下營運數據、行為數據以及外部市場相關數據，進行與事實相關的交叉分析比較。而這個背後要有一整套運作模式，數據要能收得全面及時、運算得快、最後使用上還需十分簡便，提供一個邊想邊看，實事求是，用數字來探索的方法。
建置數據基礎架構－數據水庫 亂而取之、實而備之
數據工作者在使用活數據上，最怕的是面臨巧婦難為無米之炊的窘境。一個可以支援速度、深度與廣度的「活數據基礎架構」，將讓鮮活的數據迅速流通、進入可用（Ready to Use）狀態，讓另一端的數據工作者能立即取用、進行運算、分析或視覺呈現。對數據使用者來說，其角色就如同餐廳裡的主廚，直接取自來水即有清潔的水可用，而無須從挑水、過濾開始，可以專心投入時間精力做好自己最擅長的烹飪工作。即使是沒有數據訓練的工作者，也都可以隨手取得用水，進行簡單的烹飪。
為建置完善的活數據基礎架構，需將原始數據流入「數據水庫」（Data Reservoir）進行運作，數據水庫是針對活數據設計的，須能處理多種數據模型如時間序列、時空數據、關聯式數據或圖像式數據（time-series, spatial-temporal, relational, graph），為企業各階層員工日常業務決策所用。例如某零售通路的店長為掌握來店會員動向、促銷情況和競爭者的活動訊息，即時觀察並了解前一小時熱銷商品與分析變化。
架構數據探索視覺化工具－數據魔鏡 隨機探索、靈活運用
數據的多元性、屬性及其空間維度都遠比自來水複雜，我們可以想像數據空間的複雜度有如宇宙星際一樣，一望無際，要探索新的趨勢、顯著變化、相關統計因子，以及篩選相關的範疇、維度或特定數據集都不是容易、顯見的，更何況並非數據工作者都具有操作數據庫查詢的能力。
一個可以快速運算與呈現的數據視覺化工具，可以協助非IT背景的使用者探索數據與發現顯著因素。這種工具必須能即時回答所有事實相關的即興問題（Ad Hoc Query）及統計數字。
想像有一魔鏡可以回答任何事實，不會說謊，也不會任意推理，只是忠實回答事實相關的統計。假設數據水庫已蒐集、清理、儲存台北市公車的即時動態資訊，包括行進路線、車號、GPS、速度等，管理者或車輛派遣人員可以問「魔鏡、魔鏡，請告訴我目前台北市哪些路段的公車，最近20分鐘的平均時速低於10公里」，或是較複雜的問題「目前台北市哪些路段的公車，最近30分鐘的平均時速低過四周內每週同時段、同路段平均時速的百分之五十」。
這種類型的分析有時稱為敘述型探索分析，先回答「WHAT」，然後再向下探索，找尋可能的原因，間接回答「WHY」 或 「HOW」。前者無須具備領域專有知識（Domain Know-How），後者須稍具備領域知識的人員來選擇數據維度。最終的目標是幫使用者了解事實和可能的影響因子，而非需要科學家的演算法分析。
了解當下的「WHAT」可以協助掌握事實、進行交叉比對、進而找出規則或異常。因此，數據水庫與數據魔鏡，將給予員工或分析師一項基本的能力：透過探索，掌握數據，了解當下的事實與趨勢，察覺變異與異常狀態，即時發出警訊。
數據探索的一體兩面－「水晶球」與「照妖鏡」 知彼知己、百戰不殆
面對瞬息萬變的市場，對追求永續發展的企業來說，「不盡知用兵之害者，則不能盡知用兵之利也」、全面且準確把握企業內外活數據，全面分析情勢的態度，盡知利害得失，尤其要注意鑒別那種形似有利、動則無利甚至有害的情況，隨時做決策，因應外在變化。
企業習慣運用活數據探索insights找商機，就如同把活數據當作「水晶球」，用來預測美好的未來。但是，商機不是天天有，可遇不可求。營運面上的問題卻時時刻刻會發生，想避都避不掉。畢竟，有數據就有人性、就會犯錯，在不斷的深度探索過程中，就像是「照妖鏡」，從細節看問題找魔鬼，通過真實呈現的數據，發現作業不一致的地方，進而矯正錯誤。
「智者之慮，必雜於利害」，企業不僅要分析外在環境、趨勢、客戶需求、或商品供應狀況，也要能夠了解影響企業內部運作質量和效率的全部因素，顧及內部資源分配，就像孫子雖重視「速勝」，但也是基於預算控制，不內耗的原則為出發點。步步謹慎，做好周密的準備，即便無法完全認識敵人，但能看清自己，也算把握住一半的勝算了。
整合與靈活彈性的深度探索活數據，就能同時知己知彼、知天知地，就不會感到迷惑，對任何變化皆了然於胸、運籌帷幄，應對措施變化無窮，創造優勢，勝利才有保障。
活數據探索—你準備好了沒？
＊作者為核桃運算執行長
