首頁 專欄傅志華正文

大數據應用于行業研究

  國際知名的咨詢公司麥肯錫認為,企業的發展戰略制定流程可以分為七步(如圖1),包括設定戰略目標、定義經營單元、進行行業分析、產生戰略選擇、測試動態影響并選擇、設計細節并實施和監控結果七大方面,可見,進行行業分析是企業制定戰略相關決策的重要環節。而我們已經進入互聯網和大數據時代,行業分析的方法可以結合大數據有更好的創新和突破。本文將大數據如何更好的幫助進行行業分析,從而更加有效的輔助戰略決策。

  

1:戰略規劃的流程

  企業的發展受多種力量影響(如圖2),進行行業分析的時候,需要要分析這些力量的影響,這些影響都作為戰略決策的重要依據。企業所處的最外層的環境受四種力量影響,包括政府政策(Politics)、經濟環境(Economics)、社會(Society)和科技(Technology)四大方面,構成宏觀環境分析的PEST模型;企業還受產業的五種力量影響,包括同行競爭者、潛在進入者、替代品、供應商和顧客(用戶)所影響,構成產業分析的波特五力模型。本文將介紹如何通過大數據的手段對影響企業發展的各種力量進行監測,以輔助戰略分析師以及相關的決策者更好的決策。

  

2:企業發展所處的生態環境

  大數據應用于行業研究采用基于大數據的網絡信息抓取和挖掘方法(如圖3)。總的來看,此方法分為四大步驟,包括智能數據采集、數據預處理、數據分析與挖掘以及數據展現。在智能數據采集方面,利用網絡爬蟲技術對相關網站進行信息抓取,形成半結構化以及非結構化的信息。網絡信息抓取的時候,一開始指定的抓取對象非常重要,如對于行業政策,指定抓取相關的政府官方網站、行業協會網站會使得抓取的效果更好。第二步是對抓取下來的信息進行數據預處理,包括頁面信息解析、數據清洗和內容提取,對重復文章信息進行去重,并進行文本分詞、特征提取以及關鍵詞提取,以從噪音數據中分離出有用的信息以及減少數據的維數。第三步是對這些預處理后的數據進行數據分析和挖掘,實現有用信息的提煉和發現,包括使用文本分類和聚類方法發現熱點事件,結合信息的規模度和離散度等維度來發現敏感信息,通過算法和人工手段對指定關鍵詞的進行專題的偵測,通過數據的走勢來判斷信息的趨勢等。第四步為數據展示,即通過主題的方式和圖表的方式來展示,或者通過計算機對信息進行更高層次的提煉,形成信息簡報。

 

 3:基于大數據的網絡信息抓取與挖掘

  大數據應用于宏觀環境分析

  我們可以利用基于大數據的網絡信息抓取與挖掘方法對行業產生影響的相關因素進行監測。在行業分析中最經典的宏觀環境分析模型為PEST模型,PEST即分別對應政策、經濟環境、社會和科技信息。以互聯網企業為例,影響互聯網行業的相關政策因素包括互聯網信息內容管理、網站備案管理、網絡安全交易環境、電子商務平臺服務規范、知識產權維護和個人信息保護等方面;影響互聯網行業的經濟環境包括國內宏觀經濟運行情況相關數據、國內金融運行情況相關數據以及國際宏觀經濟運行相關數據等。影響互聯網行業的社會因素包括社會環境的包括人口規模、年齡結構、種族結構、收入分布、消費結構和水平、人口流動性等,其中人口規模直接影響著一個國家或地區市場的容量,年齡結構則決定互聯網服務的發展方向及推廣方式;影響互聯網行業的技術因素包括網絡技術、云計算技術、安全技術、軟件技術、數據庫技術、動畫視頻多媒體技術等,近年來,互聯網新技術加快創新發展,不斷催生新的產品。以移動互聯網、云計算、大數據等為代表的互聯網技術及應用,帶動了相關互聯網的創新發展。

  對于互聯網行業,我們可以從特定類型的網站抓取相關政府政策、經濟環境、社會和科技信息。我們可以抓取相關政府機構網站如國務院網站、工信部網站、文化部網站、商務部網站、新聞出版總署網站、國家工商總局網站、相關協會網站如中國互聯網協會、相關研究機構網站如第三方互聯網研究機構網站艾瑞網以及國家統計局等網站。對抓取后的內容進行主題分類,分為政策主題、經濟主題、社會主題和科技主題,以便于分析師或者相關的決策者作為參考。

  大數據應用于市場分析

  行業市場分析一般從行業市場規模、市場成長速度預測以及產業集中度、該市場的細分市場分析以及行業發展趨勢等角度來分析。以互聯網行業為例,互聯網行業會比較關注市場的用戶規模和營收規模以及未來的增長速度。產業集中度是用于衡量產業競爭性和壟斷性的最常用指標,產業集中度也叫市場集中度,是指市場上的某種行業內少數企業的生產量、銷售量等方面對某一行業的支配程度,它一般是用這幾家企業的某一指標(大多數情況下用銷售額指標)占該行業總量的百分比來表示,該比例越高,市場的壟斷程度越高。

  對于行業市場分析中相關的行業市場規模、增速速度預測、產業集中度的分析、細分市場的分析以及行業發展趨勢等方向,我們可以通過基于大數據的網絡信息抓取與挖掘方法在網絡上抓取相關的信息。我們可以通過爬蟲技術抓取財經類網站如金融界、證券公司網站、第三方市場研究公司網站、投資機構網站等抓取相關市場分析的有用信息,以輔助分析師進行行業市場分析。

  大數據應用于競爭分析

  企業需要分析競爭者的優勢與劣勢以及競爭對手在各方面的動態,做到知己知彼,才能有針對性地制定正確的市場競爭戰略。競爭對手分析的內容包括以下方面:(1)產品構成和新產品情況。競爭企業的產品構成、產品的新功能和新產品的研發情況等。(2)產品的價格變動情況,價格策略;(3)營銷和促銷行為。競爭對手的廣告和促銷行為的監測信息可以用來分析競爭對手的戰術層面的情況。及時了解到這些情況,比較有利利于企業進行及時的反擊;(4)研發能力和專利申請情況。我們需要了解競爭企業內部在產品研究、技術和基礎研究、以及專利等方面的情況,有利于企業在研發方向制定相應的競爭策略;(5)組織結構和人力資源變動情況。組織結構和人力資源的變動較為容易透漏競爭企業的一些戰略行動,比如如果競爭對手招聘一位全新產品的總負責人,側面反映該企業在這個新產品上有規劃和行動;(6)生產與經營。這方面我們需要掌握競爭企業的生產規模與生產成本水平、設施與設備的技術先進性與靈活性;生產能力的擴展;原材料的來源與成本等。

  以上競爭對手情況可以通過大數據手段來輔助抓取和挖掘。關于產品構成以及新產品相關的情況,我們可以抓取競爭對手的網站、微博、產品發布的一些常見網站和網絡渠道來獲得;關于產品的價格以及促銷行為情況,我們可以抓取產品的官方網站、電商網站等來獲得;研發能力和專利情況也可以通過抓取企業官方網站、相關的技術網站和論壇、專利查詢網站等渠道來獲取;組織結構和人力資源變動情況可以通過抓取其企業官方網站、主流的招聘網站或者高端人才的獵聘類等網站;生產和經營情況這方面的網上資料可能偏少,如果是上市企業,可以通過財經類的網站、上市公司財報等渠道獲取。相對于宏觀環境分析、行業市場分析,大數據在企業競爭分析所起到的作用更為關鍵,對企業的用處也更為直接。企業需要高度重視這個方向,以通過大數據的手段獲得更為及時和有效的競爭情報。

  大數據用于發現快速成長的企業

  業務發展速度較快或者用戶量增長速度較快的企業,往往在產品或者服務創新或者微創新等方面有所建樹,因此值得我們關注。我們可以通過利用大數據可以輔助發現業務增長或者用戶量增長較快的企業,監測的維度包括:(1)用戶或者客戶的增長速度;(2)用戶在社區或者微博上正面口碑量增長較快的企業或者產品;(3)網站的訪問量增長速度較快的企業或者產品;(4)股價增長速度較快的企業。以移動互聯網企業為例,我們可以利用大數據手段來抓取應用下載市場的下載量以及計算下載量的增長速度或者應用下載的排名變化情況;利用大數據手段來抓取微博上正面口碑增長速度較快的應用;或者運用電信運營商的流量數據來掌握應用使用規模的增長情況。

  總之,我們可以通過大數據的手段更好的輔助行業研究,監測企業所處的行業環境、競爭對手的動態以及發現成長快的企業。對于行業環境和競爭對手監測,我們更多的是運用基于大數據的網絡信息抓取和挖掘方法,利用網絡爬蟲技術抓取和分析相關的網絡信息,在這個過程中,除了要重視爬蟲技術、自然語言處理技術以外,我們還要重視抓取的網站對象的選取,選取合適的抓取對象會事半功倍。對于發現成長快的企業,運營商的流量數據是比較好的信息來源,當然也可以通過其他渠道如應用下載市場來獲取。以上通過大數據手段所獲取的信息,還需要結合分析師進行進一步的分析,以提取有用的決策信息。在行業研究中,大數據不能取代分析師,但可以更好的輔助分析師進行更為全面和及時有效信息獲取,節省分析師在信息獲取的時間,讓分析師更好的聚焦在信息分析和提出企業發展的建議上。

  文:傅志華

  關于作者:傅志華先生曾為騰訊社交網絡事業群數據中心總監以及騰訊公司數據協會會長。在騰訊前,曾任DCCI互聯網數據中心副總裁。傅志華先生現就職于某美國上市互聯網公司大數據中心,同時任中國信息協會大數據分會理事和中國互聯網協會大數據工作組專家。

分享:
延伸閱讀
    數博故事
    貴州

    貴州大數據產業政策

    貴州大數據產業動態

    貴州大數據企業

    更多
    大數據概念_大數據分析_大數據應用_大數據百科專題
    企業
    更多
    江苏体彩网-下载