當前位置：網站首頁 > 物流訊息 > 物流論文 > 文章當前位置：物流論文 > 文章

第四方物流的分布式數據挖掘系統研究

時間：2010-03-13 點擊：次來源：網絡收集作者：佚名 - 小 + 大

第四方物流是在電子商務和第三方物流基礎上發展起來的可以滿足物流一體化、系統化的要求，可以最大限度地節約物流資源的整體供應鏈物流解決方案提供者。第四方物流最重要的作用是以IT技術為依托，最大限度地整合物流資源，以在整個供應鏈管理上，對資源進行分配。第四方物流是在第三方物流的基礎上發展起來的，第三方物流服務提供商已經運營了很長時間，系統中積攢了大量的數據，這些數據當中隱含了大量的可以輔助第四方物流進行諸如優化策略中的路徑選擇、運輸載體選擇、第三方物流供應商選擇等決策的知識，如何將這些分布的數據轉化成決策欣據，成為第四方物流實現資源分配至關重要的一個問題。采用傳統的數據挖掘辦法面臨著數據安全性、數據保密性、網絡帶寬等限制，為了解決這一問題，針對第四方物流系統的情況，本文將分布式數據挖掘應用到第四方物流系統中，輔助第四方物流有效地集成數據、處理數據、挖掘知識，為供應鏈中資源的合理分配提供決策依據。
1 第四方物流
1.1 第四方物流的概念及背景
1996年第四方物流由埃森哲公司提出，他們給第四方物流的定義如下：“第四方物流供應商是一個供應鏈的集成商，它對公司內部和具有互補性的服務供應商所擁有的不同資源、能力和技術進行整合和管理，提供一整套供應鏈解決方案。”第四方物流主要是對制造企業或分銷企業的供應鏈進行監控，在解決企業物流的基礎上，整合社會資源，解決物流信息充分共享、社會物流資源充分利用的問題。
第三方物流作為專業化的物流的一種形式，因其能提供良好的物流服務而在國內外得到了蓬勃發展，并且得到了各行業的廣泛認可，但隨著企業管理和服務能力的不斷延伸，特別是企業經營面IIf的業務內容越來越復雜，活動越來越細，客觀上要求企業在物流管理上不僅僅是針對某項活動戴某幾項活動進行有效的運作和管理，而是能有機地整合各種物流活動和相應的業務以及信息，從事全方位、系統化的管理，第三方物流提供商在綜合技術、集成技術、戰略和全球擴展能力上存在局限性，不得不轉而求助于咨詢公司、集成技術提供商等物流服務提供商，由其評佑、設計、制汀及運作全面的供應鏈集成方案，由此形成了第四方物流。
1.2 第四方物流的特點
第四方物流具有策劃、實施和監督供應鏈管理的能力，其核心思想是企業集中于其核心能力的發展，把在銷售、運作和供應鏈管理上的責任移交給第四方物流。
第四方物流在現實的運作過程中，表現出來的功能特點如下：首先，第四方物流提供一整套完善的供應鏈解決方案；體現再造、供應鏈過程協作和供應鏈過程再設計的功能；實施流程一體化、系統集成和運作交接，執行、承擔多個供應鏈職能和流程的運作。其次，第西方物流提供商充分利用一批服務提供商的能力，包括B2B、IT供應商、合同物流供應商、呼叫中心和電信增值服務商等，再加上客戶的能力和第四方物流提供商自身的能力，提供一個全方位的供應鏈解決方案，來滿足公司所面臨的廣泛而復雜的需求。
2 分布式數據挖掘
數據挖掘是通過仔細分析大量數據來揭示有意義的新的關系、趨勢和模式的過程，通過數據挖掘可以用來發現隱藏在數據中的知識，可以充分利用已擁有的數據。
傳統的數據挖掘基本上是一個本地的數據分析工具，僅能對本地數據集產生一定的理解性或概括性的知識。隨著網絡技術和分布式數據庫技術的發展和成熟，原來數據的集中式存儲和管理逐漸轉變為分布式存儲和管理，數據存儲方式的變化也必然會捉進數據挖掘技術及其系統結構的變化。由于實際應用中數據的安全性、私有性、保密性以及網絡的帶寬限制，使得首先將分散存儲的數據集中到一個數據庫中再進行挖掘的方法是不可行的，分布式數據挖掘技術就是在這個背景下產生的。
2.1 分布式數據挖掘的概念
所謂分布式數據挖掘，就是使用分布式算法，風邏輯上或物理上分布的數據源中發現知識的過程。典型地，這種環境以異種數據、多用戶、大規模數據量為特征。
典型的分布式數據挖掘算法的兩個基本步驟是：局部數據分析，生成局部數據模型(局部知識)；組合不同數據站點上的局部數據模型，得到全局數據模型(全局知識)。
2.2 關鍵技術
分布式數據挖掘不同于傳統的集中式的數據挖掘，是在分布的、異構的數據上進行挖掘，對數據集成和知識吸收提出了更高的要求，所以分布式數據挖掘系統需要解決的關鍵技術有：a.數據收集(Data Integration)。收集數據是數據挖掘的第一階段，集中式的數據挖掘系統先從關系數據庫中提取數據表，然后把它存放到一個數據倉庫戴數據集市中，因此在分布式數據挖掘中所有的挖掘過程應提供一個一致的存儲結構，以方便從邏輯上戴物理上分布的數據源中收集數據。b.并行數據挖掘。采用并行算法對數據進行挖掘可以克服數據挖掘算法時間復雜度很高的缺點，目前已經出現了不少分布式和并行的數據挖掘算法，如并行挖掘關聯規則的算法CD(_countDistribution)、CaD(Candidate Distribution)、DD(Data Distribution)，以及Park等人提出的PDM等。c.知識吸收。通過數據挖掘算法從幾個數據集中提取知識進行知識吸收，然后用這些數據挖掘過程中產生的知識片斷結合成一個完整的知識來完成知識推理過程。d.分布式軟件引擎。應用開發主要是開發軟組件，然后再把它們組合起來，現在比較流行的分布式組件模型是CORBA、ActiveX/DCOM和Java Beans。
2.3 體系結構
目前已出現了許多基于不同技術的分布式數據挖掘體系結構。張學明等研究了一種基于CORBA技術并采用多線程并行數據挖掘機制的分布式并行體系結構；陳剛對基于移動Agent技術的分布式數據挖掘系統結構進行了研究；侯敬軍等則提出了一重基于Web Services的分布式體系結構，可實現分布式異構環境下的大容量數據的數據挖掘；Krishnaswamy研究了一種用于電子商務應用的基于異構和分布式環境的聯邦式數據挖掘系統；Omer Rana等提出了一種基于組件技術的具有良好可擴展性的分布式數據挖掘系統框架，該框架可以方便地集成第三方插件和用戶自定義組件。
3 第四方物流分布式數據挖擁系統設計與實現
第四方物流最重要的作用是以IT技術為依托，最大限度地整合物流資源，以在整個供應鏈管理上對資源進行分配。而在整合外界資源進行優化決策時，關鍵問題在于路徑、運輸載體和第三方物流供應商的選擇上。第三方物流提供商在運營過程中積攢了大量的物流解決數據，其中包含了豐富的路徑選擇和運輸載體選擇的知識，成為第四方物流進行優化決策中最真實的決策依據。這些數據存在于不同的第三方物流提供商信息系統中，而且數據是異構的。結合第四方物流系統的這些特點，參考Kargupta在1996年提出的數據挖掘代理的分布式數據挖掘代理系統(PADMA)，提出了第四方物流決策支持的分布式數據挖掘系統框架(4PLDMA)。
3.1 應用程序
由客戶評價模塊、物流方案設計模塊、路徑優化選擇模塊、第三方物流供應商選擇模塊等組成，實現用戶和計算機之間的交互，具有擴展性和健壯性等特點，預留了接口以用于新的功能模塊的追加，在應用程序實現上，4PLDMA采用Java技術。
3.2 挖掘協調器
該構件是系統的核心部件之一，它是整個系統的協調器，負責數據挖掘要求分析和結果集成。具體過程如下：響應應用程序的數據挖掘請求，并對挖掘請求進行分析，確定挖掘的條件和目標；針對分析的結果首先查詢案例庫，查詢是否有符合的數據挖掘結果，有符合條件的則將結果直接返回應用程序。如果不存在符合條件的結果，開始動態驅動數據疙掘分布式組件，獲得分布式組件的挖掘結果，在集成知識庫的指導下應用推理邏輯對中間結果進行集成，并在結果的基礎上進行綜合性挖掘，最后將挖掘結果返回應用程序。在技術實現上，該部分應用Agent技術，充當管理Agent的角色。
3.3 數據挖掘分布式組件
該組件部署在第三方物流信息系統處，負責接收挖掘協調器戴本地信息系統應用程序傳來的挖掘請求，進行第三方物流信息系統中的數據挖掘分析，通過調用4PLDAM中數據挖掘中的數據挖掘操作方法對本地數據進行數據挖掘，并將結果返回給挖掘協調器。該組件由任務協調器、挖掘操作模塊、數據預處理模塊組成。
任務協調器：接受來自挖掘協調器或本地信息系統應用程序的數據挖掘請求，進行數據挖掘任務分析，決定調用哪些操作方法，應用于哪些數據源，并激活數據預處理模塊和挖掘操作模塊進行協同工作，完成數據挖掘任務，并將結果返回給調用者。
數據預處理模塊：數據預處理模塊是該組件中最重要的部分，整個4PLDAM系統的數據預處理工作是在該模塊中進行的，主要功能是定義數據源、格式化數據源以及過濾數據源，包括以下子功能：a.數據映射。將源表中的數據映射成ID形式，并生成對照表(ID和原始值的對照)。此功能的目的是把不同形式的數據映射成統一的、可供挖掘模塊操作的形式。b.類型映射。對源表中所列數據類型進行強制類型轉換。之所以需要這個功能，是因為在數據庫中不同的數據類型很多，數據挖掘算法只支持其中最基本的幾種。c.列映射。從源表中提取所需要的列，以減少數據量，提高系統的效率。d.挖掘操作模塊。由該模塊來調用數據挖掘庫中的挖掘操作方法，并按照方法中的操作順序和挖掘算法對本地數據進行挖掘，并將結果返回給任務協調器。該組件也采用多Agent技術來實現，充當任務Agent的角色，在該組件內部各模塊應用Agent技術的集中式模式來實現。
3.4 數據挖掘庫
數據挖掘庫是系統的核心部分，該庫存儲的是各種挖掘操作方法，以供挖掘協調器和數據挖掘分布式組件的調用。每個方法中包括數據準備和數據挖掘算法在內的所有挖掘操作，且這些操作信息是有順序的(用戶進行這些操作的順序)，這是因為一個數據挖掘操作在整個知識發現過程中往往不是孤立的，一個操作的結果可能是下一個操作的輸入。另外方法中還保存挖掘操作的參數設置。
數據挖掘庫的特點：a.可擴充性。該庫為用戶提供了增加挖掘操作方法、設置挖掘操作方法參數的API，提高了系統的可擴充性。b.集成性。挖掘操作方法可以用多種語言實現，在數據挖掘庫中用XML的方式保存。
3.5 集成知識庫
將局部數據挖掘結果集成全局數據挖掘結果是分布式數據挖掘中一個重要的階段，目前對多分類器的集成研究較為成熟，多分類器的組合方法包括傳統的擇多判決法(如投票表決法、計分法等)、線性加權組合方法、模糊推理法以及通過分析樣本特征而動態選擇分類器的方法等，把這些集成方法寫成XML的形式存儲在知識庫，指導挖掘協調器的結果集成。
3.6 案例庫
在物流方案設計中，由于客戶業務具有一定的穩定性和相似性，所以方案中涉及的優化策略會相同或相似，另外進行一次數據挖掘將花費很多的系統資源，因此應該把挖掘的結果連同挖掘的要求存儲在案例庫中，實現挖掘結果的充分利用和共享。
4 基于分布式數據挖掘系統第四方物流的業務流程
第四方物流匯集了眾多存儲、運輸、第三方物流服務提供商等合作伙伴，因此在第四方物流的決策中，如何集成、合理分配物流資源，如何充分利用合作伙伴已有的歷史運營數據成為關鍵的問題。
把分布式數據挖掘系統應用到第四方物流的決策支持中，可以整合已有物流系統中的異構數據，挖掘出蘊含在歷史運營數據中的決策知識，并能夠保證數據的安全性，為物流方案的整合設計提供強大的支持，提高第四方物流業務流程的科學性。
第四方物流的業務流程中關鍵的是汀單接收以前的可行性分析及效益分析和在物流方案實施之前的優化決策，下文將討論在這兩個關鍵步驟如何利用分布式數據挖掘提供決策支持。
4.1 可行性分析及效益分析
一方面決策者使用4PLDDM應用程序中客戶評價模塊，應用數據挖掘中的分類算法在各處第三方供應商物流服務記錄中挖掘特定客戶的信用類型；另一方面，決策者將汀貨的具體內容輸入到效益評價模塊中，應用神經網絡0M遺傳算法來分析此類貨物運輸的收益及風險度；最后分析自身的能力，確定是否擁有或控制合適的運輸載體，是否擁有可供選擇的第三方物流供應商，從以上各個方面來考慮是否接訂單。
4.2 優化決策
要在滿足客戶要求的前提下進行優化決策，達到自身效益最大。優化決策中涉及路徑優化選擇、運輸載體選擇、第三方物流供應商評價及選擇、效益綜合評價。
在每個優化選擇中，決策者把目標提交給對應的應用程序模塊，應用程序模塊在業務邏輯分析基礎上動態調度挖掘協調器，由分布式數據挖掘組件在第三方物流信息系統中應用數據挖掘算法挖掘出相應的知識模式，如第三方物流供應商的分類模式等，以此采指導優化決策。
5 總結與展望
第四方物流是一種介于制造企業和運輸企業之間的電子物流服務平臺，同時也是鏈式管理的結合體，其通過Internet的技術支持，使“全球貿易網絡”成為可能。第四方物流最大的特點是對物流資源進行整合，實現資源的最合理分配，節約成本。如何從異構的信息系統中分析數據成為一個關鍵的問題，本文提出了第四方物流分布式數據挖掘系統及部分技術實現，解決了數據挖掘中的數據安全性和保密性等問題，設計了在分布式數據挖掘基礎上第四方物流的業務流程，大大改進了第四方物流決策的正確性和可靠性。未來幾年，我國將成為全球制造基地，迫切需要建立與之配套的強大的物流配送體系。文中提出的分布式數據挖掘的第四方物流系統將在物流配送體系的決策系統中發揮巨大的作用。

上一篇：基于ERP管理技術的物資管理系統的應用

下一篇：對我國醫藥物流管理發展的幾點思考