❶ MES與ERP系統如何做系統集成
在製造型企業信息化系統中，ERP 系統關注的是「人、財、物」，而MES 系統更關注生產執行情況和質量情況等，兩個系統都是企業管理所必需的。兩個系殲判枝統在企業信息化系統中關系密切，二者相輔相成。兩個系統有效集成會大大提高企業運營效率。ERP與MES主要有以下幾種集成模式：
（1）封裝調用集成模式
所謂「封裝」就是指將對象的屬性和操作方法同時封裝在定義的對象中，用操作集來描述課件的模塊外部介面，從而保證對象的界面獨立與對象的內部表達。ERP與MES封裝以後通過介面調用就可以實現系統集成。比較典型的調用方法有基於API的函數調用、JDBC-ODBC方法等。
（2）間接集成模式
間接集成模式主要是通過中間文件、中間資料庫以及XML數據流等實現ERP與MES間氏敏的集成，將ERP及MES數據格式通用為相同份文件格式實現，ERP和MES通過訪問中間文件庫來實現系統的集成。
此模式適合於完整的ERP與MES的自動開發與實施，實現中間資料庫集成關鍵就是多資料庫集成。
（3）直接集成模式：
ERP與MES的底層資料庫都是關系型資料庫，要實現直接集成，就需要兩個系統分別對各自的數據進行操作並交換數據。實現直接集成的最好方式，就是將MES的資料庫放在ERP資料庫中，實現兩個沖罩系統資料庫的真正共享。
由於中間集成的緊密度高，因此將ERP與MES作為整體系統開發是最好的。
企業的 ERP 系統和MES 系統信息集成的水平在一定程度上決定了製造企業的管理水平和生產效率，企業應該根據當前企業的實際情況，選擇適合自己的ERP與MES集成的集成模式，從而實現系統最優功能發揮。
❷ 地理空間數據集成
早期GIS系統幾乎是完全獨立的系統，擁有自己特定的軟體組件、文件格式和自己專門採集的空間數據，不同GIS系統之間很少進行交互和集成。隨著網路和資料庫技術發展及GIS應用領域的擴大，發展了許多空間數據集成理論和方法。
根據側重點的不同，地球空間數據集成的概念有如下幾類:①GIS功能觀點，認為數據集成是地理信息系統的基本功能;②簡單組織轉化觀點，認為數據集成是數據層的簡單再組織;③過程觀點，認為地球空間數據集成是在一致的拓撲空間框架中地表描述的建立或使同一個地理信息系統中的不同數據集彼此之間兼容的過程;④關聯觀點，認為數據集成是屬性數據和空間數據的關聯。這些觀點，從不同角度揭示出地球空間數據集成的多樣性和綜合性(李軍，2000)。
按照數據集成的類型及實際應用中數據集成需求，地球空間數據集成分為4大類:①區域集成，指根據一定區域范圍集成各種類型的數據(Eugene，1992);②專題集成，以要素作為數據集成主要指標的集成;③時間集成，以時間為集成主體，內容包括多時間尺度數據集成、時間序列數據集成等;④數據綜合集成，即綜合度差異數據之間的集成，從數據與其表達的地學過程空間尺度的關系分析即是多空間尺度數據集成。
這四類集成中每一類都包含具體的集成類型，其中數據的綜合集成是最為復雜的一類，常規意義的制圖綜合和數據細化都包含在該類數據集成中。
按照數據集成模式可以把GIS數據集成分為3種模式:①數據轉換模式，是經專門的數據轉換程序進行不同數據格式的集成;②數據互操作模式，是根據OGC頒布的規范，所有數據源的軟體(數據伺服器)需要提供統一的數據訪問介面以便數據客戶進行訪問，並處理數據客戶的請求從而完成數據服務;③直接數據訪問模式，指在GIS系統中實現對其他數據格式的直接訪問、存取和分析，利用空間引擎的方法實現多源數據的無縫集成(宋關福等2000;閭國年等，2003)。
這三種集成模式各有利弊，其中，①模式是傳統的一種模式，但由於不同數據格式描述空間對象時採用的數據模型不同，因而轉換後不能完全准確表達源數據信息，此外由於這種數據格式轉換的涉及輸出和輸入兩個過程，相對比較復雜;②模式，由於實現各種數據格式宿主軟體的數據訪問介面，一定時期內還不現實，且對於數據客戶來講，同時需要擁有兩種格式的GIS軟體，並同時運行才能完成數據的互操作，給數據的集成帶來了局限性，因此目前還有很大的局限性。而③模式雖然提供了更為經濟實用的多源數據集成模式，是實現空間數據共享的理想方式，但由於構建成本比較大，且需要具備多源空間數據無縫集成技術和一種內置於GIS軟體中的特殊數據訪問體制，目前是相對比較困難且技術要求較高的集成模式。
綜上所述可知，關於地理空間數據集成，目前主要集中於物理實現和邏輯模型層次上的集成方法，是從數據本身入手來研究數據集成，屬一種微觀的數據集成。因此，數據集成必須同時集成數據的語義，才能滿足用戶應用的需要。
2.2.1.1 介面規范與標准
自從20世紀70年代開始，許多國家加強了地理信息標准化工作，迄今，已取得了長足進步。國際上地理信息產業的標准和規范發展十分迅速，各國對地理信息產業的標准和規范空前重視，在地理信息標准化的研究和標準的制定方面合作十分密切，國際標准化組織地理信息技術委員會(ISO/TC211)和以開放地理空間信息聯盟(OGC)為代表的國際論壇性地理信息標准化組織，以及CEN/TC287等區域性地理信息標准化組織，在其成員的積極參與下建立了完整的地理信息標准化體系，研究和制定出了一系列的國際通用或合作組織通用的標准或規范。國際地理信息標准化工作大體可分為兩部分:一是以已經發布實施的信息技術(IT)標准為基礎，直接引用或者經過修編採用;二是研製地理空間數據標准，包括數據定義、數據描述、數據處理等方面的標准。
我國於1997年成立了全國地理信息標准化技術委員會(CSBTS/TC230)，負責我國地理信息國家標準的立項建議、組織協調、研究制定、審查上報等。
2.2.1.2 分布式空間查詢處理技術
國際上的研究主要集中在分布式空間索引技術和分布式查詢處理策略等方向上。英聯邦科學與工業研究組織(CSIRO)的Abel和新加坡國立大學的Ooi等人(1995)基於分布式資料庫理論中的半連接思想，首先研究了分布式空間資料庫的空間連接查詢處理問題，提出了空間半連接運算元，並基於空間對象的一維索引結構，提出了一種空間半連接查詢處理演算法。新加坡國立大學的Tan等人(2000)將上述演算法擴展到多維索引結構，並分析了演算法在不同數據分布和網路帶寬情況下的性能。實驗結果表明，採用空間半連接操作可以極大地降低網路數據傳輸量，這對於網路帶寬有限的分布式環境來說，如網路將很好地改善查詢的整體響應時間。但是，空間半連接操作也帶來了額外的CPU和I/O開銷，在高速網路環境下，且傳輸數據量較小時，採用基於空間半連接操作的查詢處理策略反而可能引起性能的下降。此外，還有學者研究了在並行計算體系結構下的分布式空間查詢處理問題，Patel等(2000)提出在並行計算體系結構下的兩種空間連接查詢處理策略。
2.2.1.3 組織管理與集成體系結構
對於組織管理與集成體系結構即空間數據組織管理與集成技術研究，分為三個階段:①傳統的空間數據組織管理與集成階段。②面向服務的空間數據的組織管理與集成階段。③網格環境下空間數據的組織管理與集成階段。海洋時空數據屬於地理空間數據的范疇，但是由於海洋現象的復雜性、多樣性以及海洋時空數據自身的特點，決定了海洋時空數據與其他空間數據的組織管理與集成有著很大的區別。
❸ 基於數據流的系統集成技術
系統集成是大型應用系統建設必須考慮的一個問題。系統集成也是一個廣義的概念，它包括了硬體系統的集成、軟體模塊的集成、軟體與硬體的集成、基礎平台軟體與開發軟體的集成等 ( 張維明，2002) 。本系統所說的基於數據流的集成，主要是解決各子系統之間數據、功能的協調統一，通過數據流使得所開發的 4 個應用子系統形成統一的整體，完成塔里木河流域生態環境從數據的獲取、分析到信息發布這一整個過程。
塔里木河流域生態環境動態監測系統由於要完成不同的功能操作，在結構上採用了劃分子系統 ( 功能模塊) 的方法: 各子系統完成特定的功能，各子系統之間通過資料庫系統進行關聯，是一種 「數據緊密關聯，功能獨立鬆散」的連接關系。系統集成的關鍵就是圍繞著數據進行集成，通過數據集成以及成果數據流時序的檢測控制實現整個系統的集成。
數據集成是把不同來源、格式、特點性質的數據進行邏輯上或物理上的有機集中。目前集成異構數據源的體系結構主要有三種: 聯邦資料庫系統、數據倉庫和中間件結構。這些結構分別從不同的著重點和應用上來解決數據共享和為企業提供決策支持。
塔里木河流域生態環境動態監測系統是一個涉及多種應用需求的綜合系統，在運行時需要大量的數據作為支撐。本系統採用數據倉庫和中間件相結合的模式進行系統數據集成，總體結構採用數據倉庫方式，所有數據集中存儲在綜合資料庫中。和薯這樣有利於實現數據的共享，系統同時也使用中間件數據集成技術，通過中間件管理系統實現對數據請求的響應。
採用以數據倉庫為主要數據集成方式的體系結構，在具體應用實現上，還有一些問題需要考慮: 在網路環境中，一方面，各專業處室產生的業務數據可能動態地加入或者離開分布式系統; 另一方面，企業對數據集成的具體需求也在動態的變化。由此可以看出，參與數據集成工作中的各種應用組件應處於松耦合的關系，同時，集成的動態性必然需要動態的初始化和配置管理，這意味著數據集成的體系結構也要是一種耦合度低、擴展性強的結構，正是按照這種思想，將整個系統分為了功能相對獨立襪棚者的四個子系統。
如何確保系統聯動時數據在子系統之間正確傳遞，也是數據緊密集成、子系統鬆散耦合結構需要解決的問題。確保各子系統數據之間一種理想的解決辦法是開發一套互動檢測程序，管理人員運行該程序可以得到系統聯動數據傳遞狀態報告，從而明確哪些子系統需要再次運行以便更新結果數據，通過這種機制以滿足應用組件之間非同步的、動態的、異構的和松耦合的交互需求。
應用子系統互動檢測的過程是依據系統聯動時數據在各子系統中的傳遞路徑，檢查相關聯動子系統的輸出成果，追溯到所使用的數據源，根據數據源的更新、增加狀況，來判斷成果數據是否需要重新計算或相應增加。在以上數據檢測機制的作用下，可保證數據在各子系統之間正確流動與調用。
基於數據集成的另一個重要方面是數據標准化，進入數據告薯倉庫中的數據必須符合一定的標准和規范，這樣才能使信息共享以及信息擴充。數據標准化原則為按照已有國家標准、水利行業標准進行，若無國家和行業標准時，可參照國際標准; 既沒有國家和行業標准，也沒有相應的國際標準的，研究制定內部遵循的暫定標准，暫行標准應有利於信息共享與集成分析。
大數據工具不應該破壞現有的數據倉庫環境。雖然大量低成本，甚至零成本的工具降低了准入門檻，它們構成了Hadoop的生態系統，支持其存儲和管理大量數據集的能力。很多原本居於商務智能和分析系統中心地位的企業數據倉庫收到沖擊。但是企業在數據倉庫中投入了很多資金、資源和時間，建立並完善數據倉庫的查詢、報表和分析功能。企業不願意這一切都付之東流。即便企業已經選擇在Hadoop或NoSQL資料庫上搭建新的商務智能和大數據分析架構，這也不是一朝一夕能夠完成的。通常，這種轉變還要以犧牲服務質量，甚至業務中斷為代價。
因此，大多數企業都會選擇集成的方式，讓新舊系統技術協同工作。比如把基於Hadoop的客戶分析應用和現存客戶數據倉庫結合起來。來自於數據倉庫的客戶數據可以放到Hadoop應用程序里進行分析，分析結果在返回數據倉庫。
大數據關聯
集成的第一步是在數據倉庫和大數據平台間設置關聯。目前，大數據系統主要用於增強數據倉庫的能力，其數據存儲的成本要低於傳統數據倉庫。很多早期用戶還會在數據倉庫分析數據之前，採用Hadoop集群和NoSQL資料庫存儲數據。這些應用使用起來都很簡單，就像用Hadoop分布式文件系統(HDFS)存儲數據一樣，也可以通過Hive，HBase，Cassandra和其他NoSQL技術建立更復雜的關聯。
將這些工具和數據倉庫與商務智能框架結合起來需要關聯性和說明。可以使用應用程序界面為數據倉庫提供Hadoop和NoSQL系統的介面。另外，不少供應商都提供連接SQL資料庫和大數據系統的封閉的連接器，包括基於集成標準的ODBC(開放資料庫連接)和JDBC(Java資料庫連接)。對於不能適用於傳統關系模型的系統，可以用一個集成層將半結構化數據從原格式(比如YAML或JSON)轉到可被商務智能應用讀取的格式。
如果要集成更加緊密，還有其他的方法。例如，數據倉庫系統逐漸對MapRece功能開放，從而增強SQL語言，將Hadoop集群的分析處理和商務智能查詢結果結合起來。更一個例子是將Hadoop分析結果和數據倉庫結合起來，用來生成報表和分析。
大數據阻力
隨著大數據的不斷發展，對很多IT和數據倉庫團隊來說，集成不同的應用迫在眉睫。一種高度靈活的集成方案至關重要。
脫節的體系結構。一種典型的方法是試點項目或驗證概念，或測試早期產品應用，包括在自己孤立的環境中部署Hadoop或NoSQL系統。一個結構完整的集成方案必須把IT和數據架構與業務洞察力和設計結合起來，在混合型資料庫、商務智能和分析架構中部署多種層。
管理缺陷。大數據工具的開源本質往往會導致企業只重功能不重管理。隨著商業話大數據軟體的成熟，這種狀況會得以緩解。但現在仍要重視管理能力的提升。
技術短缺。擴大大數據集成面臨的最大的挑戰就在於使用Hadoop和NoSQL技術過程中產生的陡峭的學習曲線。畢竟在IT圈內，平行和分布式處理技術還很難懂，真正有開發和升級大數據應用經驗的人就更少了。內部培訓也許是速度最快、成本最低的方法。
在把Hadoop和NoSQL與數據倉庫環境集成的問題上，很多公司關心的不是可行性，而是時間。早作準備，可以對面臨的阻礙有一個良好的把握。對於不同的集成需求，企業需要構建可重復的解決流程，這才是項目的最終目標。
❺ ETL數據融合平台，實現業務數據集成
ETL的應用是將企業業務系統的數據經過抽取、清洗、轉換之後載入到數據倉庫的一個過程。用ETL的目的是為了把企業散落在各個系統中的數據集中起來，統一標准化管理。因此，ETL是構建數據倉庫的重要的、必不可少的一環。
RestCloud ETL平台是怎樣的？
RestCloud ETL數據融合平台是基於微服務架構研發的新一代數據融合平台，是為企業提供業務系統數據之間的集成，以及異構數據源之間的數據傳輸於一體的一站式的數據處理平台。
RestCloud ETL平台——功能
1、全web化配置，開箱即用；
2、可實現多種異構數據源之間通過平台快速進行數據段皮交換，快速幫助企業構建數據融合平台，同時通過疊加API服務平台即可快速落地構建一個輕量級的數據中台。
3、平台通過可視化的拖、拉、拽即可完成數據集成流程的構建並實現數據抽取、轉換源空、清洗、脫敏、加雹燃瞎載等功能。
RestCloud ETL平台——優勢
RestCloud ETL從架構、易用性、傳輸性能、可視化、功能豐富性等方面均全面超越常見的開源ETL工具。通過容器化技術RestCloud ETL支持大規模的分布式部署架構，可以根據資源利用率，實現動態的彈性伸縮，實現上萬流程的同時調度與並發運行。
RestCloud ETL平台——適用場景
通過RestCloud ETL數據融合平台可以在多個業務系統之間實現復雜的數據分發以及推送、同時也支持跨集團公司的數據傳輸與共享發布，協助企業快速構建輕量級的數據中台等場景， 同時RestCloud支持實時數據流的處理，可以實時接入物聯網、Kafka等的實時數據流並進行實時運算處理後存入企業的實時數倉中。
❻ JSP在SOA架構上實現數據集成的兩種方法
在IT基礎設施中將各種應用軟體的數據集成起來是一回事，因為相關方法和實踐都經過檢驗，證明是可行的。但是，在服務導向架構(SOA)上實現數據集成則是另一回事，那可是個新挑戰。
「SOA的引入，使數據與應用之間的差別日漸模糊。」SOA市場研究機構ZapThink公司的羅恩·施麥爾澤爾(Ron Schmelzer)總結道。當一套應用軟體作為獨立的服務，執行某些功能，其運行結果被傳遞到其他應用軟體時，這些結果看起來很像數據。與此類似，對某項服務的查詢會啟動資料庫中的進程，產生的結果看起來很像應用邏輯的導出結果。總之，在服務中，數據與應用邏輯已不再有明顯的區別。
重要的是這些結果是否能與下一個操作進行集成。數據的集成目前有幾種不同的方式。iWay公司、Software AG公司等企業的產品提供了一些源自於常規企業應用集成的新途徑。比如，iWay就擁有一個包括300個適配器(Adapter)的程序庫，這些適配器可將應用軟體之間或應用軟體與數據源之間連接起來。將這些適配器與iWay的Service Manager集成起來，便可解決如何將數據傳輸至其目的地的問題，從而將不同服務上的數據連接在一起。
方法之一
香水和個人護理產品廠商科蒂公司(Coty)花了半年時間發現，iWay產品恰是它集成聯合利華公司(Unilever)的化妝品業務所需要的。它於2005年末收購了後者。
科蒂的首席財務官(CFO)邁克爾·費紹夫(Michael Fishoff)要求首席信息官(CIO)戴夫·拜里(Dave Berry)，將兩家公司面向客戶的數據集成到一起，項目截止到去年6月30日。如果屆時無法達成目標，兩家公司原有的客戶利益就勢必受到影響，而且該公司還不得不繼續維持兩支銷售團隊、兩條供應鏈、以及兩套軟體基礎設施的現畝肆狀。
在收購聯合利華後不久，拜里就聽說，美國聯邦百貨集團(Federated Department Stores)等大客戶紛紛抱怨，兩家公司合並後，他們的采購員得分別跟兩家公司的銷售代表洽談，或者甚至要經過3個系統才能夠拿下訂單。
過去，聯合利華旗下品牌克羅伊(Chloe)或者卡爾文·克萊恩(Calvin Klein)的香水訂單得通過JD Edwards系統才能送達法國的里爾。而科蒂旗下熱賣的品牌席琳·迪翁(Celine Dion)或者詹尼弗·洛佩茲(Jennifer Lopez)香水必須通過該公司位於德國卡塞爾的其自主研發的倉庫管理系統才能下訂單。給其他產品下訂單也得通過科蒂位於美國北卡羅萊納州分銷中心中的Oracle銷售系統才行。「如果我們自己編寫代碼，根本無法在半年內完成這幾個系統的集成工作。」
而將JD Edwards系統與Oracle應用軟體或者將Oracle軟體與SAP系統連接起來，那正是iWay的連接器和適配器所要做的。拜里認識到，他需要將某些流程合而為一，正是這些流程導致客戶從他的公司采購產品時會收到兩張發票。
埃森哲公司(Accenture)的業務流程顧問接受了此項任務。埃森哲的業務分析師首先利用iWay的Service Manager產品茄耐桐來弄清楚科蒂不同的訂單錄入系統之間的差別，然後進行數據的轉換過程。
Service Manager軟體中有對JD Edwards和SAP系統有一個圖形影射功能，每當業務分析師在這個圖形影射上繪制業務流程圖師，該軟體就會自動在訂單錄入系統之間完成業務流程線條的數據的自動轉換。直到將科蒂和聯合利華的訂單錄入系統的輸出結果整合起來，生成單一的發票時，這兩個訂單錄入系統才能協同工作。
現任科蒂北美信息管理副總裁加里·蓋蘭特(Gary Gallant)負責這一艱難的系統集成項目，此前他曾擔任聯合利華首席IT經理。蓋蘭特發現，某一天的訂單在發送到iWay系統中後，再也沒有出現在公司的分銷中心。原來這些訂單被賦予了錯誤的格式，因而無法被轉化為正確的目標格式，但是iWay並沒有向任何人通報這一點。
「這簡直是大海撈針，我們需要提高系統的透明度。」蓋蘭特回憶說。他最終找到了解決辦法，即當訂單被掛起在「重試」隊列中時，系統會給管理員發送消息。
拜里用這個辦法識別那些面向客戶的服務，再將這些服務隔離開來，然後用iWay在這些服務間實現數據轉換。最後，在6個月的期限結束時，顫坦客戶使用的已經是完全集成的系統了。
方法之二
並非每個人都熱衷於採用iWay系統來集成來自不同服務的數據。「我一直對此心存疑慮。」 ZapThink的施麥爾澤爾表示，因為它與以往的應用軟體集成非常相近，這種方式需要單獨為每組應用軟體建立連接，而且不夠靈活。
服務需要被重新構建，以使其產生的數據可用於不同的應用軟體，而iWay的Service Manager僅可以完成大部分工作，而非全部。公司還要在不改變服務界面的情況下，改變表現數據的方式。但是，iWay系統通常要求對每個數據表現都提供一個界面，而無法生成可被所有數據表現輕易採用的數據。
還有一種集成Web服務數據的辦法，那就是利用開源和專有產品。開源數據集成工具Jitterbit可以接收應用軟體信息，將之轉換為XML格式，再在Web上繪制出來並遞送到目標系統。它有賴於Web標准，並且需要具備在不同系統間轉換數據的能力。Apatar公司和Talend公司也擁有類似的開源產品。DataDirect公司和 MetaMatrix公司則擁有專有系統，而紅帽公司(Red Hat)現正准備收購MetaMatrix，後者的產品也將成為開源系統JBoss的組成部分。
計算機輔助設計和工程軟體廠商歐特克公司(AutoDesk)目前在對開源Apatar軟體進行評估。歐特克還以軟體作為服務(SaaS)的形式提供協作施工項目管理，通過門戶網站集成數據，以供參與同一項目的承包商使用。重要的施工項目可以包括40家甚至更多的承包商。
歐特克在自己的產品中將Apatar軟體作為集成代理，公司協作項目管理部門技術服務經理傑森·普拉特(Jason Pratt)介紹說。Apatar能在系統間轉換數據，並利用Web服務將數據輸出給業務合作夥伴。它能在不同的系統間執行提取、轉換、以及上載等功能，以使兩家彼此尚未建立P2P連接的公司能夠共享數據。而且，與定製的P2P連接不同，Apatar連接代碼依賴於Web標准，因此無需測試即可確保能夠有效使用，Apatar創始人兼首席執行官(CEO)雷納特·卡桑辛(Renat Khasanshyn)補充道。
利用歐特克服務提供的數據轉換，一家承包商的JD Edwards會計系統可將數據輸出到另一家承包商的調度系統，這樣施工項目的不同方面就可以按時執行並完成了。
Apatar系統「為所有數據提供了管道，從一個系統通向另一個系統的管道，就像樂高(Legos)玩具一樣。」普拉特概括道。在無需構建中間件的前提下，這種辦法可以提升靈活性，確實很了不起。
現在該輪到你來選擇了。iWay和其他廠商能提供通向服務世界的合適的P2P連接;而開源產品現在已能在更高的水平上將源自不同服務的數據集成起來。不管你選擇哪個方法，距離成功部署SOA，你又向前跨了一步。
❼ Python數據挖掘006-數據集成
數據集成就是間來源於多個不同數據源的數據合並存放在一個一致的數據存儲（比如數據倉庫）中的過程。
不同數純瞎悉據源的數據之間可能會有不匹配或屬性重復，所以要考慮實體識別問題和屬性冗餘問題。
是指從不同數據源識別出現實世界的實體，它的任務是統一不同源數據的矛盾之處。
常見形式有：同名異義，異名同義，單位不統做乎一等。
實體識別問題就是檢測和解決這些沖突。
數據冗餘，比如：同一屬性出現多次，同一屬性命名不一致導致重復等。
冗餘屬性要先檢測，再刪除掉。冗餘屬性用相關性分析也能判斷出來。
參考資料：
《Python數據分析和挖掘實戰》神指張良均等