想要成爲一名合格的大(dà)數據研發工(gōng)程師（Bigdataresearchanddevelopmentengineers），首先就要了(le)解大(dà)數據軟件開(kāi)發這(zhè)個職業，大(dà)數據非傳統型的互聯網數據信息，大(dà)數據也(yě)包含了(le)很(hěn)多新的特征。互聯網時(shí)代的發展，每天都産生各種各樣的數據信息，數據來(lái)源很(hěn)廣，每天都有從(cóng)各方面來(lái)臨的數據信息，大(dà)數據格式多種多樣，非結構化數據（Unstructureddata）、結構化數據（structureddata）、excel文(wén)件等等，而且大(dà)數據數量很(hěn)大(dà)，至少要是TB級别的，甚至會(huì)達到(dào)PB級别的。既然數據總量如此之多，又各種類型的都有，增長數據也(yě)很(hěn)快(kuài)，那數據該如何彙總并且轉化運用(yòng)成自(zì)己所需要的數據信息呢(ne)?這(zhè)就誕生了(le)大(dà)數據研發工(gōng)程師，大(dà)數據研發工(gōng)程師在充分了(le)解行情的基礎之上(shàng)，發揮其自(zì)身所具備的專業技能(néng)。
先扯一下(xià)大(dà)數據的4V特征：
1：數據量大(dà)，TB->PB
2：數據類型繁多，結構化、非結構化文(wén)本、日志、視(shì)頻、圖片、地理(lǐ)位置等；
（datatypeisvarious,structuredandunstructuredtext,logs,video,images,thegeographicalposition,etc.;）
3：商業價值高(gāo)，但(dàn)是這(zhè)種價值需要在海量數據之上(shàng)，通過數據分析與機器學習更快(kuài)速的挖掘出來(lái)；
（highcommercialvalue,butthisvaluetakeonhugeamountsofdata,throughdataanalysisandmachinelearningmorerapidexcavation;）
4：處理(lǐ)時(shí)效性高(gāo)，海量數據的處理(lǐ)需求不再局限在離線計(jì)算(suàn)當中。
（processingtimelinessishigh,therequirementofthehugeamountsofdataprocessingisnolongerlimitedinoff-linecalculation.）
大(dà)數據軟件開(kāi)發工(gōng)程師需要學什(shén)麽呢(ne)？
我們從(cóng)全國幾個大(dà)城(chéng)市招聘信息來(lái)了(le)解，大(dà)數據軟件開(kāi)發工(gōng)程師到(dào)底需要學什(shén)麽及相應的月薪。
大(dà)數據開(kāi)發工(gōng)程師杭州（20000-40000元/月)
1、熟悉java或scala開(kāi)發語言，了(le)解python或go等語言，有3年以上(shàng)開(kāi)發經驗2、了(le)解hadoop生态，Hadoop，hive，HBase，Spark等，了(le)解實時(shí)計(jì)算(suàn)技術，包括storm,kafka，flume，druid等3、熟悉linux各項基本操作(zuò)4、熟悉數據結構，對(duì)常用(yòng)算(suàn)法有所了(le)解，有良好(hǎo)的數據思維5、有大(dà)規模數據分析、推薦、廣告相關研發經驗的優先6、有BI數據平台、數據倉庫、日志采集，多維實時(shí)分析平台設計(jì)、開(kāi)發、架構經驗優先。
崗位職責(responsibility)：
1、負責大(dà)數據平台基礎組件功能(néng)設計(jì)、研發及維護工(gōng)作(zuò)；2、負責大(dà)數據采集、清洗、整合等工(gōng)作(zuò)；3、負責大(dà)數據平台文(wén)本挖掘分析等工(gōng)作(zuò)；4、負責相關功能(néng)設計(jì)文(wén)檔撰寫；5、負責BI及報(bào)表開(kāi)發。任職要求：1、深厚的Java功底，多年的并發編程經驗；2、參與過分布式高(gāo)性能(néng)服務的設計(jì)開(kāi)發過程，有大(dà)規模分布式系統的實踐經驗；3、熟悉HDFS/HBase/Hive/MapReduce/Storm/Spark等相關技術,有 MapReduce 程序的實戰開(kāi)發經驗；4、熟悉Hadoop運行監控及調優技術；5、熟悉常見存儲技術（Sqlserver ,Oracle, Mysql, NosqlDB、Redis、ElasticSearch），WebService/WebAPI（SOAP/json）；6、熟悉Scala語言優先；7、計(jì)算(suàn)機、軟件工(gōng)程及相關專業本科或以上(shàng)學曆，3年以上(shàng)相關項目開(kāi)發經驗；
大(dà)數據開(kāi)發工(gōng)程師安徽合肥(5000-10000元/月)
崗位職責(responsibility)：
1、大(dà)數據平台的産品及解決方案設計(jì)、開(kāi)發，實現(xiàn)大(dà)數據存儲、查詢、分析、挖掘的目标；
3、對(duì)大(dà)數據（雲計(jì)算(suàn)）的主流技術、産品跟蹤研究，設計(jì)适合公司業務的、有競争力的方案和(hé)産品；
3、具體工(gōng)作(zuò)包括技術預研、方案設計(jì)、構件選型、開(kāi)發、集成、優化等；
4、能(néng)根據公司産品和(hé)業務特征不斷提出改進建議(yì)，持續創新、開(kāi)發新産品及方案。
任職資格(responsibility)：
1.計(jì)算(suàn)機或者相關專業本科以上(shàng)學曆，1年實際工(gōng)作(zuò)經驗
2.精通java。熟悉shell/perl/python任意一門(mén)腳本語言，有紮實的編程功底。
3.熟悉Hadoop+spark+hbase生态和(hé)常見的開(kāi)源分布式計(jì)算(suàn)/存儲相關技術
4.精通SQL，有較好(hǎo)的SQL性能(néng)調優經驗，理(lǐ)解Hive/Mysql基本原理(lǐ)和(hé)調優策略；有開(kāi)源貢獻者優先
5.有文(wén)檔編制基礎，能(néng)夠流暢編寫技術方案及實施方案
大(dà)數據開(kāi)發工(gōng)程師北京(15001-20000元/月)
崗位職責:
1、負責公司級的通用(yòng)數據平台和(hé)分析型産品，服務于全公司各個用(yòng)戶産品線；
2、面向PB級超大(dà)規模數據問題，每天處理(lǐ)千億增量的用(yòng)戶行爲數據；
3、爲大(dà)數據的全生命周期提供服務，覆蓋數據産生，傳輸，計(jì)算(suàn)，建模，統計(jì)分析，實驗評估，可視(shì)化的全流程；
4、構建設計(jì)良好(hǎo)的數據流、數據倉庫、調度系統、kv存儲，查詢引擎，數據服務、分析系統、流程規範，數據工(gōng)具/産品，降低(dī)數據的使用(yòng)門(mén)檻，保證系統穩定高(gāo)效運行，以實現(xiàn)數據的最大(dà)價值。
任職資格:
1、熟悉linux編程環境，有較強的開(kāi)發能(néng)力（java/scala/c++/python等);
2、強悍的編碼能(néng)力，對(duì)新技術有強烈的學習熱情；
3、加分，熟悉一項或多項大(dà)數據處理(lǐ)/分析相關的工(gōng)具/框架，e、g、azkaban,hadoop,Hive,Spark,kylin,druid,flume,kafka,hbase,mesos,kubernets,redisetc。
4.對(duì)數據建模有一定了(le)解。