国产精品无码一区二区三区太,亚洲一线产区二线产区区别,欧美A区,人妻jealousvue人妻

×
新網 > 云服務器 > 正文

云計算相關的機器學習知識架構

  • 作者:sdfff
  • 來源:互聯(lián)網
  • 瀏覽:100
  • 2020-11-11 15:41:26

云計算將會是未來社會的基礎設施,掌握云計算的技能,對個人來說提升職業(yè)發(fā)展層次,對企業(yè)來說掌握云計算核心技能,將獲得極大競爭力。在云計算中機器學習是重要一環(huán),下面和大家聊聊云計算所需的5種機器學習技能。

計算將會是未來社會的基礎設施,掌握云計算的技能,對個人來說提升職業(yè)發(fā)展層次,對企業(yè)來說掌握云計算核心技能,將獲得極大競爭力。在云計算中機器學習是重要一環(huán),下面和大家聊聊云計算所需的5種機器學習技能。


1. 數據工程

如果IT專業(yè)人員想在云平臺實施任何類型的人工智能策略,都需要了解數據工程。數據工程包含一系列要求數據整理和工作流開發(fā)的技能,以及一些軟件架構的知識。

IT專業(yè)知識的不同領域可以分解為IT專業(yè)人員應該完成的不同任務。例如,數據整理通常涉及數據源標識、數據提取、數據質量評估、數據集成和管道開發(fā),以在生產環(huán)境中執(zhí)行這些操作。

數據工程師應該能夠輕松地使用關系數據庫、NoSQL數據庫和對象存儲系統(tǒng)。Python是一種流行的編程語言,可以與批處理和流處理平臺(如apachebeam)和分布式計算平臺(如apachespark)一起使用。即使IT人員不是精通Python程序的專家,掌握一些Python語言的知識將使其能夠從大量的開源工具中獲取數據工程和機器學習。

數據工程在所有主要云平臺中都得到了很好的支持。AWS公司提供了全面的服務來支持數據工程,例如AWS Glue,適用于Apache Kafka的Amazon Managed Streaming(MSK)和各種Amazon Kinesis服務。AWS Glue是數據目錄以及提取、轉換和加載(ETL)服務,其中包括對計劃作業(yè)的支持。MSK是數據工程管道的有用構建塊,而Kinesis服務對于部署可擴展流處理管道特別有用。

谷歌云平臺提供了Cloud Dataflow,這是一項托管的Apache Beam服務,可以支持批處理和Steam處理。對于ETL流程,谷歌云平臺提供了基于Hadoop的數據集成服務。

Microsoft Azure也提供了幾種托管數據工具,例如Azure Cosmos DB、Data Catalog和Data Lake Analytics等。

2. 建立模型

機器學習是一門正在不斷發(fā)展和進步的學科,IT人員可以通過研究和開發(fā)機器學習算法來從事自己的職業(yè)。

IT團隊使用工程師提供的數據來構建模型和創(chuàng)建可以提出建議,預測值和對項目進行分類的軟件。重要的是要了解機器學習的基礎知識,即使許多模型構建過程都是在云中自動完成的。

作為模型構建者,需要了解數據和業(yè)務目標,制定問題的解決方案,并了解如何將其與現(xiàn)有系統(tǒng)集成的工作。

市場上的一些產品包括谷歌公司的Cloud AutoML,這是可以幫助組織使用結構化數據以及圖像、視頻和自然語言來構建自定義模型的服務,而無需對機器學習有更多的了解。 微軟Azure在Visual Studio中提供了ML.NET模型構建器,該模型構建器提供了用于構建、訓練和部署模型的界面。Amazon SageMaker是另一項托管服務,用于在云中構建和部署機器學習模型。

這些工具可以選擇算法,確定數據中哪些特征或屬性最有用,并使用稱之為超參數調整的過程優(yōu)化模型。這些服務擴展了機器學習和人工智能策略的潛在用途。正如人們駕駛汽車不必成為汽車機械工程師一樣,IT專業(yè)人員也不需要獲得機器學習的研究生學位來構建有效的模型。

3. 公平與偏差檢測

算法做出的決策直接而顯著地影響個人。例如,金融服務使用人工智能來做出有關信貸的決策,這可能會無意中對特定人群產生偏見。這不僅可能有拒絕信貸對個人帶來的影響,而且還會使金融機構面臨違反《平等信貸機會法》等法規(guī)的風險。

這些看似艱巨的任務對于人工智能和機器學習模型是必不可少的。檢測模型中的偏差可能需要具有統(tǒng)計和機器學習技能,但是與模型構建一樣,某些繁重的工作可以由機器完成。

FairML是用于審核預測模型的開源工具,可幫助開發(fā)人員識別工作中的偏見。檢測模型偏差的經驗還可以為數據工程和模型構建過程提供幫助。谷歌云的公平性工具在市場上領先,其中包括假設分析工具、公平性指標和可解釋的人工智能服務。

4. 模型性能評估

模型構建過程的一部分是評估機器學習模型的性能。例如,根據準確性和召回率對分類器進行評估?;貧w模型(例如那些預測房屋出售價格的模型)是通過測量平均誤差率來評估的。

如今表現(xiàn)良好的模型將來可能會表現(xiàn)不佳。問題不在于該模型是否以某種方式被破壞,而是該模型是根據不再反映其使用環(huán)境的數據進行訓練的。即使沒有突然的重大事件,也會發(fā)生數據漂移。重要的是評估模型并在生產中繼續(xù)對其進行監(jiān)視。

Amazon SageMaker、Azure Machine Learning Studio和Google Cloud AutoML等服務包括一系列模型性能評估工具。

5. 領域知識

領域知識并不是一種特定的機器學習技能,但它是成功的機器學習策略中最重要的部分之一。

每個行業(yè)都有一定的知識體系,云計算也是,必須以某種能力進行研究,尤其對于構建算法的決策者。機器學習模型受到約束以反映用于訓練它們的數據。具有領域知識的IT人員對于知道在哪里應用人工智能,并評估其有效性至關重要。5種機器學習技能就是今天 和大家分享的內容,希望對大家有所幫助。

 

 

免責聲明:本文內容由互聯(lián)網用戶自發(fā)貢獻自行上傳,本網站不擁有所有權,也不承認相關法律責任。如果您發(fā)現(xiàn)本社區(qū)中有涉嫌抄襲的內容,請發(fā)送郵件至:operations@xinnet.com進行舉報,并提供相關證據,一經查實,本站將立刻刪除涉嫌侵權內容。

免費咨詢獲取折扣

Loading