數(shù)據(jù)分析的基本過程和主要活動

2022-03-2621:56:38已關(guān)閉評論

數(shù)據(jù)分析過程簡介

數(shù)據(jù)分析過程是分析數(shù)據(jù)以確定數(shù)據(jù)模式或業(yè)務(wù)決策的過程。有幾種技術(shù)、流程和方法；數(shù)據(jù)分析所涉及的工具。數(shù)據(jù)分析對于了解現(xiàn)有業(yè)務(wù)績效和預(yù)測業(yè)務(wù)改進的可能模式非常重要。數(shù)據(jù)分析過程遵循某些階段，如業(yè)務(wù)問題陳述、理解和獲取數(shù)據(jù)、從各種來源提取數(shù)據(jù)、應(yīng)用數(shù)據(jù)質(zhì)量進行數(shù)據(jù)清理、通過進行探索性數(shù)據(jù)分析進行特征選擇、識別和刪除異常值、轉(zhuǎn)換數(shù)據(jù)、通過圖表創(chuàng)建數(shù)據(jù)可視化、應(yīng)用統(tǒng)計分析、，機器學(xué)習(xí)模型。

數(shù)據(jù)分析過程的各個階段

讓我們詳細(xì)定義每個階段，以及如何使用技術(shù)堆棧實現(xiàn)它。

Hadoop、數(shù)據(jù)科學(xué)、統(tǒng)計和；其他

1。業(yè)務(wù)理解

在分析行業(yè)數(shù)據(jù)時，我們應(yīng)該對行業(yè)有清晰的概述和理解，了解行業(yè)的業(yè)務(wù)，他們將做出什么樣的決策，分析數(shù)據(jù)的目的是什么，所有的數(shù)據(jù)分析過程都是從一個問題開始的，很多人認(rèn)為數(shù)據(jù)可以通過使用數(shù)據(jù)集進行分析，數(shù)據(jù)集的可用性足以分析任何類型的模式，根據(jù)理解，沒有數(shù)據(jù)集來分析數(shù)據(jù)。我們需要它。問題定義了數(shù)據(jù)集本身，在這種情況下，唯一的挑戰(zhàn)是，在回答一個問題時，可以彈出另一個問題，但這是確定的，它實際上是數(shù)據(jù)分析過程的一部分。

2。獲取原始數(shù)據(jù)

這是一個步驟，在定義問題后，從不同的來源收集數(shù)據(jù)，如數(shù)據(jù)倉庫、日志和數(shù)據(jù)集來回答這些問題，查詢行數(shù)據(jù)以回答問題，但這不是行數(shù)據(jù)集，而是我們需要稱之為行數(shù)據(jù)，因為它不完全符合我們希望它分析的形式。

3。提取數(shù)據(jù)

這是提取數(shù)據(jù)以創(chuàng)建最終數(shù)據(jù)集的步驟。這將使我們能夠領(lǐng)導(dǎo)進一步的分析過程，這是一個干凈的數(shù)據(jù)集。SQL用于從數(shù)據(jù)庫中提取數(shù)據(jù)。為提取多行數(shù)據(jù)而查詢的數(shù)據(jù)庫超過100萬。SQL等數(shù)據(jù)庫查詢語言使分析師能夠輕松地分析和轉(zhuǎn)換數(shù)據(jù)。SQL是您應(yīng)該學(xué)習(xí)的第一件事，因為它使您能夠處理數(shù)據(jù)集。

4。轉(zhuǎn)換數(shù)據(jù)

數(shù)據(jù)轉(zhuǎn)換是將數(shù)據(jù)或數(shù)據(jù)集從一種狀態(tài)或結(jié)構(gòu)轉(zhuǎn)換為另一種狀態(tài)結(jié)構(gòu)的過程，它是數(shù)據(jù)集成的基本狀態(tài)，從不同來源收集的數(shù)據(jù)已被集成到特定的結(jié)構(gòu)化數(shù)據(jù)中，從而可以在分析過程的目的地使用該過程稱為ETL（提取-轉(zhuǎn)換-加載）。數(shù)據(jù)轉(zhuǎn)換過程是指檢測和理解原始結(jié)構(gòu)化或源格式的數(shù)據(jù)。這通常是通過使用數(shù)據(jù)分析和分析工具實現(xiàn)的算法來實現(xiàn)的。這一步幫助您決定需要對數(shù)據(jù)采取什么措施才能將其轉(zhuǎn)換為所需或請求的格式。通常，R或Python語言使您能夠?qū)碜栽创a的大型或復(fù)雜數(shù)據(jù)執(zhí)行數(shù)據(jù)轉(zhuǎn)換。

5。數(shù)據(jù)可視化

在構(gòu)建或創(chuàng)建數(shù)據(jù)集之后，我們需要可視化數(shù)據(jù)，以發(fā)展您的假設(shè)或見解，從而探索和評估數(shù)據(jù)。Tableau/saas（數(shù)據(jù)可視化應(yīng)用程序）允許我們可視化結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)庫中的大量數(shù)據(jù)行，并輕松從數(shù)據(jù)集中獲取見解/有意義的模式。

6。靜態(tài)分析

數(shù)據(jù)分析的重要方面是總結(jié)數(shù)據(jù)，并從模型和圖表的角度理解數(shù)據(jù)。除此之外，它還解釋了數(shù)據(jù)與底層現(xiàn)實世界的關(guān)系。靜態(tài)分析還用于識別預(yù)測分析的模式或趨勢，這有助于做出商業(yè)決策，也有助于確定數(shù)據(jù)集的靜態(tài)重要性。

7。數(shù)據(jù)模型開發(fā)

行業(yè)對部署具有預(yù)測能力的模型非常感興趣，數(shù)據(jù)模型開發(fā)包括模型目標(biāo)的定義、問題的概念及其轉(zhuǎn)換為計算模型。
R/Python使您能夠創(chuàng)建一個統(tǒng)計模型來拒絕任何無效或無效的假設(shè)，現(xiàn)代應(yīng)用程序在處理數(shù)學(xué)復(fù)雜性方面起著重要作用。供應(yīng)商正在開發(fā)軟件作為服務(wù)，如table和SAS，通過使用為業(yè)務(wù)分析師設(shè)計的自動預(yù)測建模工具構(gòu)建模型，使分析過程變得越來越容易。分析專業(yè)人士正在利用來自開源市場或模型構(gòu)建API的機器學(xué)習(xí)算法來構(gòu)建預(yù)測性應(yīng)用模型。

8。建議/報告/故事

這是數(shù)據(jù)分析過程的最后一步，在這一步中，分析決策被總結(jié)，分析過程的結(jié)果或后果以故事、報告、建議和PPT的形式表示，tableau和SAS應(yīng)用程序在通過報告或故事構(gòu)建總結(jié)分析過程中起著重要作用，該報告包括：

以客戶/行業(yè)為中心的成果
行業(yè)戰(zhàn)略和決策樹
確定業(yè)務(wù)優(yōu)先級
確定產(chǎn)品的目標(biāo)受眾或消費者
基于可衡量結(jié)果的商業(yè)案例

結(jié)論

對于大多數(shù)企業(yè)、企業(yè)、行業(yè)和政府機構(gòu)來說，缺乏數(shù)據(jù)不是問題。有大量信息可用于做出明確的數(shù)據(jù)驅(qū)動和面向業(yè)務(wù)的決策。由于在面向分析的流程中需要使用如此多的數(shù)據(jù)，我們需要從可用數(shù)據(jù)中獲得更合適的知識和信息：企業(yè)需要知道它是做出數(shù)據(jù)驅(qū)動決策的正確數(shù)據(jù)。企業(yè)需要從這些數(shù)據(jù)/信息/知識中得出準(zhǔn)確的結(jié)論。業(yè)務(wù)需要信息豐富且對決策過程有用的數(shù)據(jù)。