如今，許多組織的資料部門每天都在努力應對各種需求，同時也面臨著許多抱怨：查詢、組合和分析資料需要太多時間，使用者對資料的準確性和及時性不滿意，無法輕鬆回答跨域業務問題。 其結果是，類似的錯誤和衝突的資料被反覆收集、管理和分發，這既昂貴又費力，導致 IT 成本和複雜性過高，以及對資料資源缺乏信任。
資料是組織的戰略資產，組織應該清楚地了解“資料的戰略價值”以及如何釋放和利用資料來產生積極的業務影響。 企業需要利用這些資料功能來獲得最大價值，而資料整合在其中發揮著重要作用。
在此背景下，The Open Group論壇總監，LACIBUS創始人兼負責人chris harding周圍資料整合技術標準**通過對專業觀點的前沿解讀，結合自身實踐，實現了觀點的碰撞，並解釋了資料整合層面的一系列問題。
讓我們回顧一下這些時刻
福利廣播時刻
以下為演講實錄
很高興與您分享。 今天就來談談資料收集的概念，當前資料整合的技術趨勢，以及The Open Group在資料整合領域所做的工作。
什麼是資料整合
首先，什麼是資料整合，為什麼它如此重要？
資料整合實際上是將來自不同**的資料組合在一起，為使用者提供統一的單一檢視的過程，這是資料處理中最基本的東西之一。 您從不同型別的資料中獲取資料，您需要建立單個資料集並提供單個檢視。
在此過程中，您需要克服各種問題。 例如，如果建立第乙個資料集的人具有特定的含義，而建立第二個資料集的人具有略微不同的含義，則需要合併資料以建立有用且有意義的資料集組合。
其中，資料分析是乙個重要原因。 有 3 種常見情況：
開展各種活動。 為了提供整個公司正在執行的活動的統一檢視，資料分析必須整合來自各個部門的資料。
兼併和收購。 兩家公司合併後，都有自己的客戶資料庫，但合併後的公司需要有乙個統一的資料庫，所以有必要將兩家公司的資料合併起來。 顯然，客戶資料是資料組合的乙個重要示例。
開發新產品和服務。 公司通過將他們所掌握的資訊與從其他地方獲得的資訊相結合來生產新產品。 事實上，目前資料整合市場相當可觀。 提供新的資料產品和服務是公司的首要任務，而這項任務需要資料的整合。
資料整合的技術趨勢
資料整合是乙個很大的市場。 根據一項資料，到 2026 年，資料整合市場將增長到近 200 億美元，增長率為 11%; Gartner 簡化了軟體市場的規模，他們認為 2020 年軟體市場的規模超過 30 億美元。
顯然，不同的機構持有不同的觀點，它們的數量可能沒有直接可比性。 但兩家公司的數字都還可以，這是乙個很大的市場，而且一直在增長。
至於原因，我認為，雲計算是其中的重要組成部分。 Gartner 表示，雲計算的驅動力是解決混合資料整合挑戰的需求。
關於不斷增長的資料整合市場有哪些技術可以幫助企業解決資料整合問題？
資料結構是乙個重要的概念。 資料結構的概念是，公司可以為其應用程式提供對不同型別資料的統一訪問。 此資料可能是 SQL、NoSQL 和 IoT 資料，它可能在雲中，也可能在本地，也可能是從邊緣感測器獲取的。 但應用程式將其視為乙個有組織的、統一的資料結構，這種方法的乙個特點是使用連續的自動分析來處理元資料和組織資料。
因此，這有助於應用程式通過檢視不同型別的元資料並建立資料檢視，以統一的方式檢視不同型別的資料，以便應用程式可以訪問資料，而無需了解資料，以及如何以及通過什麼提供服務。 這是資料結構的關鍵概念之一。
目前流行的另乙個概念是資料網格。 這個概念最初是由Thought Works提出的。 網上有乙個關於資料網格的介紹：基本概念是資料是一種產品。 因此，與任何包裝產品一樣，重點是提供高質量的產品。 資料產品由最了解和使用資料的團隊擁有。 因此，這些團隊負責提供高質量的資料。
資料通過自助服務資料平台交付給消費者，並由團隊共同管理。 因為很明顯，雖然每個資料產品都是獨立的，但其中乙個資料產品的處理會影響其衍生物以及資料的組合方式，或與之相關的其他內容。
因此，需要對其進行管理，以確保所有產品保持同步。 原則是產品所有者的團隊協同工作來管理資料產品。 而成功實施的關鍵是說服持有產品資料的團隊以產品形式提供資料。 如果你能建立一種團隊可以做到這一點的文化，這是乙個非常有效的方法。
與此相關的是 DataOps（資料操作），也可以應用於其他型別的資料整合概念。 DevOps是開發和運營維護的總稱，即通過一系列活動生產軟體產品，從商店**開始，到測試和產品交付結束。
近年來，持續整合和交付已成為軟體工程的一大特徵。 DataOps 的理念是應用相同的資料生產原則，因此您有乙個資料管道，可以從資料產品中獲取資料，派生其他資料產品，最後將其轉換為可供應用程式使用的形式。 它也是乙個不斷發展的重要領域。
自然語言處理是另乙個重要趨勢，從資料整合的角度來看，它很重要。 因為這意味著文字和語音記錄可以與其他資料整合。 事實上，這些技術在不斷發展，也有可能開始整合影象和**。
近年來，隨著兩種技術的應用，自然語言處理得到了極大的發展。 一種技術是對句子的分析和在這些句子中識別命名物件; 另一種是使用詞向量來表示單詞或句子。 該圖顯示了詞向量的起點，該向量通常是一大群實數，它表示單詞的實陣列的起點，這是一種效率較低的表示，但具有承載它所代表的單詞的某些含義的價值。 事實上，這些技術被應用於自然語言翻譯程式。
最後，我想介紹一下：知識圖譜，用於在人們感興趣的內容之間建立聯絡，並推斷出要向客戶推銷的潛在產品。
知識圖譜是乙個由它們之間的關係連線起來的 Web 概念，通常被營銷應用程式和搜尋引擎用來提供與您正在搜尋的內容相關的資料。 它們是資料整合中的強大工具，因為它們不需要假設資料的特定模式，並且可以應用和合併以建立不同型別整合資料的組合知識圖譜。
開放組
那麼，The Open Group在資料整合方面是做什麼的，又與資料整合有什麼關係呢？
我們的資料整合工作組進行了一項調查，以確定企業和解決方案架構師面臨的問題，該調查得到了架構論壇和企業架構師協會的積極回應。
根據調查，可以確定的主要問題如下：
在做資料整合工作時，架構師很難獲得支援。 很多人抱怨需要整合資料，卻得不到相關部門的專家介紹，也很難得到部門領導的支援; 或者他們想引入某種資料整合引擎，卻得不到企業的支援;
不同資料格式和不同資料介面的技術層面的困難。 因為資料的質量往往很差，如果把質量差的資料整合在一起，只會得到質量較差的資料;
訪問控制，尤其是對個人身份資訊的訪問控制，如何確保只有有權訪問的人才能看到它。
對於架構師來說，獲得高質量的業務案例，在此基礎上開發高質量的業務架構，然後向利益相關者、部門和公司解釋為什麼他們需要一起工作，這是常識。
基於此，TOGAF 標準它可以幫助企業在第一時間開發出良好的業務架構。 您可以使用資訊系統架構階段來解決資料格式和資料質量問題，雖然 TOGAF 標準沒有為此提供具體建議，但它為 ADM 提供了方向。 同樣，您可以使用技術體系結構來定義訪問控制、基礎結構和平台的其他方面。
開放式敏捷架構 O-AA 標準是 The Open Group 最近出版的一本出版物，其主要價值在於展示如何以敏捷的方式進行架構設計，並引入了三個關鍵視角。
乙個是客戶體驗的角度，從這個角度看如何呈現你生成的資料; 一種是工作系統視角，即處理生成綜合資料的利益相關者的視角; 然後是技術角度，類似於 TOGAF 標準的技術架構，您可以在其中指定資料平台和其他技術標準。
The Open Group 最近制定的標準之一是：參考模型它是企業生成和需要的資訊; 醫學論壇負責管理美國生產的專職醫療資訊模型; 商業航空工作組已經為商業航空製作了乙個參考模型，其中包括乙個詳細的資料模型; OSDU論壇不僅僅是乙個模型，更是乙個油氣勘探資料資料整合的平台; 開放足跡論壇正在制定乙個詳細的全球排放資料模型，這也是乙個非常重要和有待解決的問題。 The Open Group 還發布了IT4IT 標準 3版本 0介紹IT業務所需的資訊。
要點摘要
正如開頭所討論的，資料整合是乙個巨大且不斷增長的市場;
企業和解決方案架構師，在資料整合專案中面臨重大問題;
雲計算使用者數量的增加是資料整合市場增長的重要原因;
資料整合工作可能變得越來越困難;
Open Group 擁有許多領域材料，可以幫助架構師整合特定行業的資料;
TOGAF 標準和 O-AA 標準為這兩種型別的資料整合提供了通用的架構指導，但這確實留下了空白。
資料整合工作組將通過製作乙份關於如何在資料整合專案中使用 The Open Group 標準的指南來填補這一空白。 這將是 The Open Group 資料整合工作組的一部分。
分享客人
Chris Harding 是 Open Group Open Platform 3 的成員在擔任0論壇主任期間，他創立了一家基於虛擬資料湖和資料架構的公司。 Chris 在 The Open Group 工作多年，支援其成員在資料通訊、目錄互操作性、網路、面向服務的架構、雲計算等領域的活動。 他是 The Open Group's Guide： Cloud Computing for Business 的主要作者，幫助 The Open Group 製作了大量出版物，並撰寫了多篇部落格文章。 他一直對企業架構有著濃厚的興趣，並作為 TOGAF 支援數字企業工作組的成員參與了 TOGAF 標準的早期開發。 目前，他的主要關注點是資料平台領域，專注於與此相關的幾個行業資訊，並參與了Open Group資料整合工作組。
關於版本
在計算機和人工智慧的推動下，資料結構、資料網格和資料操作等新興技術得到了發展。 然而，數字投資組合標準為傳統和敏捷的企業架構提供了乙個堅實的框架，以適應數字時代，但它們並沒有為資料整合提供具體的指導，本指南通過識別和描述相關標準來幫助架構師克服出現的技術挑戰。 挑戰 – 資料整合專案通常是在高層次上構思的; 例如，“在與主要競爭對手合併後，我們將擁有龐大的合併客戶群，我們將向其推銷我們的產品”。 這種簡單、高層次的陳述通常忽略了技術架構師和資料架構師必須解決的一些挑戰。 例如，主要競爭對手識別客戶的方式可能與他們將加入的組不同，並收集有關他們的不同資訊。
反思如何解決單一功能問題，在治理Token中推進非代幣治理？
近日，以太坊聯合創始人 Vitalik 表達了自己對治理代幣的看法，並開始了與 Twitter 使用者的討論。他認為，治理權作為代幣價值的體現是病態的，甚至在討論中直言不諱地表示，治理代幣只不過是一種 模因幣 目前市場上有一些利潤較高的專案，如UNI ENS等，但由於監管等原因，利潤沒有分配給持有者...
如何有效利用SEO和PPC來增加網站優化和推廣的流量？
許多電子商務賣家認為PPC和SEO營銷策略是獨立的實體，甚至將它們視為彼此的替代品。其實這是乙個誤區，因為PPC和SEO這兩種策略是相互結合的，賣家可以獲得更大的業務成果和SERP結果。搜尋引擎優化是一種通過提高知名度和網站權威來增加網站自然流量的方法。此外，按點選付費 PPC 廣告試圖通過在搜尋引...
如何解決廚房生活的問題？
抽油煙機無疑是解決廚房油煙的有力工具，但是在使用的時候，大量的油煙也會粘附在抽油煙機外面的油網和機身外殼上，以及抽油煙機內部的電機和風輪上，這也讓抽油煙機成為名副其實的 抽油煙機 清洗起來非常麻煩！那麼我們怎樣才能長期戰勝油煙，讓煙機不怕油呢？一款 不怕油 的抽油煙機，從外觀上看與以往產品有明顯不同...
如何解決 85 015G XX 壓力感測器的零漂移問題
大家好，我是 廣州工控感測科技 G XX感測器事業部張工。 G xx壓力感測器出現零點漂移的主要原因如下 .應變片的粘合層中有氣泡或雜質。.應變片本身的效能不穩定。.電路中存在虛擬焊點。.彈性體的應力消除是不完全的。除此之外，它還與磁場 頻率 溫度等許多因素有關。電漂移或一些漂移是存在的，但我們可以...
如何解決AP無法在MACC上上線的問題（EAP RAP MACC）
適用場景適用於EAP RAP組網，其他裝置已在MCAC中上線，但部分AP無法上線，無法遠端管理。.網路拓撲 調查思路 調查物理環境因素 確認AP是否獲取到位址的IP 檢查AP獲取的DNS是否正確。.實現配置 檢查物理環境因素，檢查PoE交換埠指示燈，如RG NBS GTSFP P 開關左下角撥片位於...