大數(shù)據(jù)研發(fā)協(xié)議書 合作研發(fā)協(xié)議書范本(7篇)

在日常學(xué)習(xí)、工作或生活中，大家總少不了接觸作文或者范文吧，通過(guò)文章可以把我們那些零零散散的思想，聚集在一塊。范文書寫有哪些要求呢？我們?cè)鯓硬拍軐懞靡黄段哪?？接下?lái)小編就給大家介紹一下優(yōu)秀的范文該怎么寫，我們一起來(lái)看一看吧。

最新大數(shù)據(jù)研發(fā)協(xié)議書(推薦)一

1.針對(duì)業(yè)務(wù)問(wèn)題進(jìn)行分析，深入了解業(yè)務(wù)需求，為業(yè)務(wù)部門提供數(shù)據(jù)支持;

2.搭建業(yè)務(wù)分析模型或業(yè)務(wù)分析指標(biāo)體系，統(tǒng)一數(shù)據(jù)指標(biāo)分析口徑;

3.參與報(bào)表需求調(diào)研和需求分析;

4.參與報(bào)表開發(fā)工作;

5. 參與elt相關(guān)的設(shè)計(jì)方案和開發(fā);

崗位要求

1.4年及以上bi開發(fā)經(jīng)驗(yàn);

2.熟悉數(shù)據(jù)倉(cāng)庫(kù)建模理論，有建模經(jīng)驗(yàn);

3.熟悉掌握sql語(yǔ)言嗎，熟悉pl/sql編程，熟練掌握存儲(chǔ)過(guò)程開發(fā);

4.具有較強(qiáng)的業(yè)務(wù)理解能力，溝通能力;

5.熟悉常用etl技術(shù);

6.熟悉hive、hbase、spark等大數(shù)據(jù)者優(yōu)先;

最新大數(shù)據(jù)研發(fā)協(xié)議書(推薦)二

高校教育大數(shù)據(jù)的分析挖掘與利用

摘 要,本文從高校教育大數(shù)據(jù)的匯聚融合與挖掘應(yīng)用的角度,分析了如何運(yùn)用教育大數(shù)據(jù)技術(shù)推動(dòng)大學(xué)管理和人才培養(yǎng)的創(chuàng)新改革的思路和方法。首先,分析了教育大數(shù)據(jù)對(duì)高?，F(xiàn)代化、精細(xì)化、規(guī)范化管理的4個(gè)價(jià)值,其次,給出了高等教育大數(shù)據(jù)技術(shù)平臺(tái)的基本技術(shù)架構(gòu),第三,結(jié)合教育大數(shù)據(jù)實(shí)際應(yīng)用,介紹了陜西省高等教育質(zhì)量監(jiān)管大數(shù)據(jù)中心、mooc中國(guó)、西安交通大學(xué)教學(xué)質(zhì)量綜合監(jiān)控與評(píng)價(jià)三個(gè)典型案例,最后,提出了教育大數(shù)據(jù)分析挖掘中的3項(xiàng)基礎(chǔ)性關(guān)鍵技術(shù)

關(guān)鍵詞,高等教育,大數(shù)據(jù),分析,挖掘

高校大數(shù)據(jù)分析挖掘至少有四個(gè)典型價(jià)值, 一是使得大學(xué)的管理更加精準(zhǔn)高效,可以朝著智慧治理、分類管理、過(guò)程監(jiān)控、趨勢(shì)預(yù)測(cè)、風(fēng)險(xiǎn)預(yù)警的方向發(fā)展,真正實(shí)現(xiàn)基于大數(shù)據(jù)分析規(guī)律的精準(zhǔn)治理,改變管理的模糊性, 二是可以更加準(zhǔn)確地分析評(píng)價(jià)課堂教學(xué)的質(zhì)量,過(guò)去我們對(duì)課堂、對(duì)老師的評(píng)價(jià)是定性和模糊的,而在大數(shù)據(jù)智慧課堂的模式下,可以真正實(shí)現(xiàn)采集樣本的持久化,采集方式

的多元化,挖掘手段的多樣化,分析技術(shù)多維度,通過(guò)這些方式可以提高課堂教學(xué)的質(zhì)量, 三是使得教和學(xué)更加智慧,更加有效。對(duì)學(xué)生來(lái)說(shuō),老師可以了解學(xué)生學(xué)習(xí)的進(jìn)展情況,發(fā)現(xiàn)學(xué)習(xí)興趣點(diǎn),以及對(duì)老師講的哪些內(nèi)容理解或者不理解,學(xué)習(xí)路徑分析及課程推薦等等。對(duì)教師而言,不僅可以跨?？绲赜蚍窒硭说膬?yōu)秀課程,而且可以對(duì)學(xué)習(xí)者進(jìn)行精準(zhǔn)分類,進(jìn)行個(gè)性化指導(dǎo), 四是資源服務(wù)的個(gè)性化、精準(zhǔn)化推薦與服務(wù),學(xué)習(xí)績(jī)效的個(gè)性化評(píng)價(jià),以及個(gè)性化教學(xué)管理,個(gè)性化手機(jī)內(nèi)容推送等等,這些功能將有效提升教與學(xué)的效率和質(zhì)量

首先,我們對(duì)高等教育大數(shù)據(jù)技術(shù)平臺(tái)有一個(gè)總體的頂層設(shè)計(jì),如圖1所示。這不僅是學(xué)校自己要有一個(gè)大數(shù)據(jù)的管理平臺(tái)或者是數(shù)據(jù)中心,而且也是面向區(qū)域乃至全國(guó)的平臺(tái)。教育部評(píng)估中心正在努力建立國(guó)家級(jí)高等教育教學(xué)質(zhì)量監(jiān)控大數(shù)據(jù)中心,陜西省也是這樣考慮的。數(shù)據(jù)來(lái)自高校、教育管理部門以及行業(yè)、第三方、企業(yè)用人單位等等各方面采集的數(shù)據(jù),該數(shù)據(jù)平臺(tái)既有大學(xué)的業(yè)務(wù)數(shù)據(jù)、課程資源,也有政府部門的統(tǒng)計(jì)數(shù)據(jù),還有學(xué)生網(wǎng)上學(xué)習(xí)的日志數(shù)據(jù),用戶產(chǎn)生的ugc數(shù)據(jù),比如微信、微博、論壇等等的數(shù)據(jù),基于大數(shù)據(jù)平臺(tái),開展面向?qū)W習(xí)者、面向高等教育管理機(jī)構(gòu)、教師、高校等提供服務(wù),并和教育部評(píng)估中心、主管部門等

進(jìn)行數(shù)據(jù)交換與對(duì)接

顯然,這樣一個(gè)大數(shù)據(jù)平臺(tái)必須是一個(gè)高性能的計(jì)算平臺(tái),沒有這樣的基礎(chǔ)設(shè)施一切無(wú)從談起,所以去年我們學(xué)校花了很大的力氣做了兩件事,一個(gè)是把校內(nèi)二級(jí)單位原來(lái)小的集群計(jì)算進(jìn)行整合,形成學(xué)校統(tǒng)一的高性能云計(jì)算平臺(tái),既面向校內(nèi)的科學(xué)研究、人才培養(yǎng)提供服務(wù),其實(shí)也可以為社會(huì)提供合作共建共享模式。目前,我們已建立了一種自我造血機(jī)制,四兩撥千斤,以這個(gè)平臺(tái)吸引更多的外部資源,努力擴(kuò)展平臺(tái)的性能和應(yīng)用

目前,我校的高性能平臺(tái)除了應(yīng)用于材料、航天、能動(dòng)、信息等大型科學(xué)計(jì)算之外,還開展了以下三項(xiàng)典型的大數(shù)據(jù)應(yīng)用

案例1,陜西省高等教育質(zhì)量監(jiān)控與評(píng)估大數(shù)據(jù)應(yīng)用

圖2所示的是陜西省高等教育的整體架構(gòu)。其數(shù)據(jù)基礎(chǔ)是來(lái)自陜西省100多所高校的各種辦學(xué)狀態(tài)數(shù)據(jù),有將近700個(gè)表格,以及陜西省教育廳各個(gè)職能部處的各種各樣的管理數(shù)據(jù),此外還有行業(yè)第三方提供的數(shù)據(jù),包括招生、就業(yè)數(shù)據(jù)等等,這個(gè)平臺(tái)上我們開展預(yù)測(cè)預(yù)警、查詢?cè)诰€分析、信息發(fā)布、統(tǒng)計(jì)決策等等,主要是為省級(jí)教育管理部門、評(píng)估機(jī)構(gòu)、教育管理機(jī)構(gòu)提供各種各樣的辦學(xué)狀況的分析、統(tǒng)計(jì)、關(guān)聯(lián)分析

建設(shè)全省高等教育大數(shù)據(jù)服務(wù)平臺(tái),實(shí)時(shí)采集各高校的辦學(xué)狀態(tài)數(shù)據(jù),其根本目的是為了匯聚全省各高校的辦學(xué)狀態(tài)數(shù)據(jù),打破數(shù)據(jù)孤島,融合各方數(shù)據(jù),實(shí)現(xiàn)橫向關(guān)聯(lián)比較、縱向歷史分析,提供精準(zhǔn)服務(wù),支持科學(xué)決策

首先,該平臺(tái)面向省教育廳提供了11項(xiàng)功能,從根本上解決了原來(lái)各處室間的數(shù)據(jù)孤島的問(wèn)題,實(shí)現(xiàn)了數(shù)據(jù)融合,橫向關(guān)聯(lián),縱向融通,這個(gè)數(shù)據(jù)和各個(gè)高校是實(shí)時(shí)融通的,為省教育廳領(lǐng)導(dǎo)和職能部處提供了領(lǐng)導(dǎo)儀表盤、各職能處室的專項(xiàng)服務(wù)、81張高基表及年報(bào)年鑒表格的自動(dòng)生成、績(jī)效分析、招生就業(yè)及辦學(xué)指標(biāo)計(jì)算、教育評(píng)估等功能,從根本上解決了數(shù)據(jù)碎片化及其治理問(wèn)題

其次,面向全省高校輔助決策,為高校領(lǐng)導(dǎo)以及校內(nèi)各個(gè)職能部處提供了系列功能,包括辦學(xué)情況綜合分析和在線查詢,專業(yè)結(jié)構(gòu)分析比較,校級(jí)的教學(xué)質(zhì)量監(jiān)控評(píng)測(cè)體系,教師管理等等,這些功能非常實(shí)用,這是大學(xué)實(shí)現(xiàn)精細(xì)化、規(guī)范化、現(xiàn)代化管理的必備基礎(chǔ)。以我校為例,我們過(guò)去教師的數(shù)據(jù)可能在人事處、教務(wù)處、科研院等學(xué)校的職能部門,采取本平臺(tái)以后,把教師有關(guān)的所有數(shù)據(jù)都進(jìn)行了融合,打通了所有原來(lái)割裂的數(shù)據(jù)。從去年開始,我們學(xué)校的職稱評(píng)聘,年度考核全部基于這一平臺(tái),全部在大數(shù)據(jù)里,建立健全了基于數(shù)據(jù)驅(qū)動(dòng)的精準(zhǔn)化服務(wù),解決了數(shù)據(jù)碎片化歷史遺留問(wèn)題,實(shí)現(xiàn)了從管理信息化向服務(wù)信息化的根本轉(zhuǎn)變

第三,為本科教育教學(xué)評(píng)估及專業(yè)認(rèn)證提供技術(shù)支撐。鑒于本平臺(tái)能提供比較全面的高校辦學(xué)狀態(tài)數(shù)據(jù),便于專家在進(jìn)校之前全面系統(tǒng)地掌握學(xué)校辦學(xué)的情況,找到問(wèn)題,精準(zhǔn)查看驗(yàn)證,提高效率,給高等教育評(píng)估提供了重要支持?；诒酒脚_(tái),我們成立了中國(guó)西部高等教育評(píng)估中心,接受陜西省教育廳指派的省屬本科高校的審核評(píng)估和專業(yè)論證。如果沒有這一高等教育大數(shù)據(jù)平臺(tái)的支撐,工作量和難度是極其巨大的,甚至難以實(shí)現(xiàn)

案例2,mooc中國(guó)技術(shù)平臺(tái)

mooc中國(guó)成立于2015年1月,到目前為止已經(jīng)有121所高校加入,理事單位40家,會(huì)員單位80家。該平臺(tái)的宗旨是,做政府想做的,做社會(huì)愿意做的,做單一高校做不了的事情。例如,真正解決校際資源共享、學(xué)分互認(rèn)等,開拓遠(yuǎn)程教育國(guó)際化等未來(lái)發(fā)展的難題。 圖3給出了mooc中國(guó)的技術(shù)框架。其核心是互聯(lián)網(wǎng)+教育,實(shí)現(xiàn)互聯(lián)網(wǎng)教育從1.0到2.0的升級(jí)?；谶@一平臺(tái),既要開展網(wǎng)絡(luò)教育業(yè)務(wù)的國(guó)際化,比如我們牽頭成立的“絲路大學(xué)聯(lián)盟”,其目的之一是借助mooc中國(guó)平臺(tái),實(shí)現(xiàn)網(wǎng)絡(luò)教育業(yè)務(wù)的國(guó)際化,通過(guò)mooc中國(guó)平臺(tái),面向“一帶一路”國(guó)家開展開放教育和技能培訓(xùn)

到目前為止,mooc中國(guó)已經(jīng)有了9911門課程,用戶將近600萬(wàn),其中光it培訓(xùn)的有500多萬(wàn),學(xué)歷教育在讀

學(xué)生50多萬(wàn)

案例3,西安交大教育教學(xué)大數(shù)據(jù)分析挖掘與應(yīng)用

學(xué)校非常重視教育信息化技術(shù)融入和應(yīng)用到教育教學(xué)之中,去年一次性建成了80個(gè)智能教室,把物聯(lián)網(wǎng)技術(shù)、云計(jì)算技術(shù)應(yīng)用于智能教室和教學(xué)一線,基于物聯(lián)網(wǎng)技術(shù)實(shí)現(xiàn)教室設(shè)備的集中管理、智能控制,同時(shí),將互聯(lián)網(wǎng)技術(shù)深度融入到教室的管理當(dāng)中,除了多媒體的直播錄制功能以外,還提供了學(xué)生考勤和專家的精準(zhǔn)督導(dǎo),通過(guò)云平臺(tái)來(lái)集中管理各個(gè)教室,比如說(shuō)開投影機(jī)、關(guān)電源、關(guān)多媒體設(shè)備等等,都可以通過(guò)后端的云平臺(tái)集中管控,真正實(shí)現(xiàn)教室管理的數(shù)字化、智能化、精細(xì)化,提升了教學(xué)保障的能力,也大大提高了教室管理的效率。更重要的是,這些教學(xué)的過(guò)程數(shù)據(jù)可以全程采集下來(lái),獲得數(shù)據(jù),有了這些數(shù)據(jù),就可以做精準(zhǔn)化分析服務(wù),建立西安交大教學(xué)質(zhì)量大數(shù)據(jù)監(jiān)測(cè)中心 目前,我校的教學(xué)大數(shù)據(jù)主要包括兩大部分,一是教師在授課過(guò)程中的全程錄制的課堂實(shí)況,二是學(xué)生在學(xué)習(xí)過(guò)程中產(chǎn)生的大量日志數(shù)據(jù)?；谶@個(gè)平臺(tái),我們可以開展教育教學(xué)的大數(shù)據(jù)關(guān)聯(lián)分析,開展課堂教學(xué)質(zhì)量的綜合評(píng)價(jià),實(shí)現(xiàn)正面激勵(lì)、負(fù)面懲戒、精準(zhǔn)督導(dǎo),實(shí)現(xiàn)教學(xué)評(píng)價(jià)從模糊宏觀到量化精準(zhǔn)、從每學(xué)期制到持續(xù)常態(tài)、從部分隨機(jī)到全面覆蓋、從事后評(píng)價(jià)到實(shí)時(shí)動(dòng)態(tài)的根本轉(zhuǎn)變。通過(guò)評(píng)價(jià)激勵(lì)老師敬畏課堂,評(píng)選精品課堂、示范課堂,在全校內(nèi)進(jìn)行正面

表彰,另外也作為教學(xué)質(zhì)量評(píng)價(jià)的重要依據(jù),包括教師的職稱晉升,評(píng)選最喜愛的老師等等

此外,本系統(tǒng)還為學(xué)院領(lǐng)導(dǎo)和管理部門提供了針對(duì)性的信息服務(wù)與決策支持,以數(shù)據(jù)說(shuō)話,量化分析,改變了以前我們的模糊評(píng)價(jià),采取多維度、全覆蓋、持續(xù)化、精細(xì)化的過(guò)程評(píng)價(jià)與監(jiān)控

首先,介紹一下大數(shù)據(jù)人工智能的基本原理。前段時(shí)間,alphago戰(zhàn)勝世界圍棋冠軍這一故事炒得很熱。這對(duì)我們的教育科研工作者提出了一個(gè)重要的課題,到底人工智能會(huì)不會(huì)戰(zhàn)勝人類的智能,將來(lái)教師存在的主要價(jià)值是否還有必要,863計(jì)劃正在研究一個(gè)項(xiàng)目,到2020年,人工智能軟件參加高考得分要超過(guò)一本線,這就是說(shuō),計(jì)算機(jī)教出來(lái)的機(jī)器軟件參加高考都能達(dá)到一本線以上。這就引起我們的思考,這是一個(gè)深層次的方向性問(wèn)題。當(dāng)然我們今天不是談這個(gè)問(wèn)題,而是我們要看看alphago的原理,其核心是價(jià)值計(jì)算函數(shù),用收益函數(shù)來(lái)判斷圍棋下一步該落子到哪里其收益是最大的,其中采用了人工智能深度學(xué)習(xí)方法。alphago并非天生聰明,其實(shí)他的智慧是分三步完成的, 第一步,給alphago輸入了3000萬(wàn)個(gè)人類圍棋高手的棋譜和走法,任何一個(gè)人是不可能記住3000萬(wàn)個(gè)棋局的,只有人工智能才能記住 第二步,alphago自己和自己對(duì)弈,在對(duì)弈過(guò)程中找到自己的薄弱點(diǎn),進(jìn)而改進(jìn)和完善,這其實(shí)和人的學(xué)習(xí)原理類似

第三步,才是人機(jī)對(duì)弈,從職業(yè)選手到世界圍棋冠軍,通過(guò)這樣不斷的對(duì)弈完善算法,校正學(xué)習(xí),使得alphago具有強(qiáng)大的智能計(jì)算能力。alphago的難點(diǎn)在哪,其關(guān)鍵在于在一個(gè)巨大的落子空間選一個(gè)最大的收益點(diǎn),或者落子點(diǎn),稱之為movepicker,,函數(shù),這個(gè)空間很大,有10170次方,在如此龐大的計(jì)算空間中選擇最優(yōu)函數(shù),只能依靠高性能計(jì)算平臺(tái)

alphago為我們研究大數(shù)據(jù)問(wèn)題提供了思路和啟發(fā)。我們?cè)谘芯拷逃髷?shù)據(jù)問(wèn)題中需要著力攻克以下理論與技術(shù)難題

第一,大數(shù)據(jù)造成了嚴(yán)重的認(rèn)知碎片化問(wèn)題。比如,大家在百度搜糖尿病會(huì)檢索出4440萬(wàn)個(gè)數(shù)據(jù)源,誰(shuí)也看不過(guò)來(lái),并且里面還有一大堆真假難辯的數(shù)據(jù)。所以,碎片化知識(shí)的聚合是一個(gè)非常基礎(chǔ)的難題,高度的碎片化降低了知識(shí)的可用性,造成了分布性、動(dòng)態(tài)化、低質(zhì)化、無(wú)序化等典型的問(wèn)題

一方面是知識(shí)的碎片化,另一方面是每個(gè)人的興趣和需求還不一樣。所以,資源的碎片化整合以及個(gè)性化推薦是今后人工智能中的關(guān)鍵問(wèn)題。我們的思路是,一方面,我們要

從資源的角度把無(wú)序、分散、低質(zhì)的資源進(jìn)一步重組以后形成知識(shí)點(diǎn),形成有序的知識(shí)地圖,另一方面,要對(duì)學(xué)習(xí)過(guò)程進(jìn)行跟蹤,實(shí)現(xiàn)興趣、個(gè)性、情感等方面的動(dòng)態(tài)分析與挖掘,兩者結(jié)合起來(lái),建立基于用戶興趣和個(gè)性的資源推薦,最后實(shí)現(xiàn)個(gè)性化精準(zhǔn)過(guò)濾,通過(guò)知識(shí)地圖面向用戶提供導(dǎo)航學(xué)習(xí),從而緩碎片化知識(shí)的問(wèn)題。開展這一研究也要建立龐大的基礎(chǔ)數(shù)據(jù),就像剛才講的alphago,光靠智能軟件肯定不可能那么聰明,需要建立龐大的知識(shí)地圖、知識(shí)圖譜,并將其放到了國(guó)際開源社區(qū)和開放數(shù)據(jù)平臺(tái)之上 第二,碎片化知識(shí)的聚合問(wèn)題。其目的是解決“既見樹木,又見森林”的問(wèn)題,破解“學(xué)習(xí)迷航”、“認(rèn)知過(guò)載”的問(wèn)題。我們正在承擔(dān)國(guó)家自然科學(xué)基金重點(diǎn)項(xiàng)目,研究如何將多源、片面、無(wú)序的碎片化知識(shí)聚合成符合人類認(rèn)知的知識(shí)森林,找出主題與主題之間的認(rèn)知關(guān)系,最后形成一個(gè)知識(shí)森林,其中需要解決主題分面樹的生成、碎片化知識(shí)的裝配、知識(shí)森林生成、學(xué)習(xí)路徑選擇與導(dǎo)航等有關(guān)知識(shí)地圖、知識(shí)圖譜構(gòu)建與應(yīng)用等許多基礎(chǔ)性關(guān)鍵技術(shù)

第三,學(xué)習(xí)行為的分析和挖掘技術(shù)。網(wǎng)上學(xué)習(xí)最大的好處我們可以把教師和學(xué)生所有的教與學(xué)的行為記錄下來(lái),討論、作業(yè)、習(xí)題、筆記及進(jìn)度記錄下來(lái),有了這些數(shù)據(jù),我們可以進(jìn)行后續(xù)分析,開展學(xué)習(xí)行為的特征識(shí)別和規(guī)律發(fā)現(xiàn)等等,既可以跟蹤挖掘某個(gè)個(gè)體的學(xué)習(xí)規(guī)律,也可以找出一

個(gè)群體、一個(gè)小組的特征和規(guī)律。針對(duì)不同的課程,開展課程點(diǎn)擊率、學(xué)習(xí)人群、知識(shí)關(guān)注點(diǎn)、學(xué)習(xí)時(shí)間等的分析與跟蹤,刻畫一個(gè)學(xué)生學(xué)習(xí)的過(guò)程,從時(shí)間、空間和課程知識(shí)導(dǎo)航的角度,甚至圍繞某個(gè)知識(shí)點(diǎn),研究學(xué)習(xí)者的特征、行為、交互等相互之間的關(guān)系,為老師深化課程改革、探索以學(xué)生為中心的教學(xué)設(shè)計(jì)具有非常重要的意義

教育是全人類、全社會(huì)發(fā)展的基礎(chǔ)性事業(yè),隨著互聯(lián)網(wǎng)+技術(shù)全面滲透和深度融入教育教學(xué),不僅產(chǎn)生了大量的課程資源和學(xué)習(xí)內(nèi)容,而且還產(chǎn)生了巨量的教育教學(xué)管理數(shù)據(jù)、行為數(shù)據(jù)、服務(wù)數(shù)據(jù),蘊(yùn)藏著巨大的價(jià)值,亟需我們開展深入研究,可謂前景廣闊,挑戰(zhàn)巨大，

,編輯,王曉明,

最新大數(shù)據(jù)研發(fā)協(xié)議書(推薦)三

職責(zé)：

1、負(fù)責(zé)公司大數(shù)據(jù)產(chǎn)品的架構(gòu)設(shè)計(jì)，包含數(shù)據(jù)收集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)應(yīng)用，并完成相關(guān)架構(gòu)設(shè)計(jì)文檔的撰寫;

2、參與規(guī)劃從數(shù)據(jù)源到數(shù)據(jù)應(yīng)用的整體流程，并參與相關(guān)產(chǎn)品的決策;

3、負(fù)責(zé)解決核心技術(shù)問(wèn)題，對(duì)技術(shù)方案進(jìn)行決策;

4、負(fù)責(zé)大數(shù)據(jù)研發(fā)團(tuán)隊(duì)建設(shè)、人才梯隊(duì)培養(yǎng)和技術(shù)團(tuán)隊(duì)管理;

5、積極了解業(yè)界發(fā)展，研究與跟蹤大數(shù)據(jù)新技術(shù)發(fā)展方向。

任職要求：

1、精通goldengate for bigdata相關(guān)理論，具備大型數(shù)據(jù)利用的生產(chǎn)實(shí)戰(zhàn)經(jīng)驗(yàn);

2、精通數(shù)據(jù)驅(qū)動(dòng)的理論，設(shè)計(jì)并生產(chǎn)上線相關(guān)數(shù)據(jù)驅(qū)動(dòng)的產(chǎn)品;

3、精通常用消息中間件的使用，例如kafka/rocketmq/apache pulsar，有解讀相關(guān)源碼者優(yōu)先;

4、掌握hadoop、spark生態(tài)體系相關(guān)產(chǎn)品的使用，掌握mapreduce編程或spark編程;

5、了解傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)理論及相關(guān)etl工具，例如kettle/datastage;

6、熟悉oracle、mongodb、mysql數(shù)據(jù)庫(kù)的使用;

7、扎實(shí)的java語(yǔ)言基礎(chǔ)，熟悉java開發(fā)工具和調(diào)試工具的使用;

8、良好的團(tuán)隊(duì)協(xié)作精神，有能力對(duì)團(tuán)隊(duì)在軟件設(shè)計(jì)、實(shí)現(xiàn)和測(cè)試方面進(jìn)行指導(dǎo);

9、良好的邏輯分析能力和溝通能力，執(zhí)行力強(qiáng)、對(duì)待工作認(rèn)真嚴(yán)謹(jǐn)、責(zé)任心強(qiáng)、具備出色的學(xué)習(xí)能力和團(tuán)隊(duì)合作精神，有一定的推動(dòng)能力;

10、計(jì)算機(jī)科學(xué)、信息技術(shù)或相關(guān)領(lǐng)域本科以上學(xué)歷，具有5年以上數(shù)據(jù)平臺(tái)項(xiàng)目開發(fā)經(jīng)驗(yàn)，3年以上的架構(gòu)設(shè)計(jì)經(jīng)驗(yàn)，具有大數(shù)據(jù)平臺(tái)應(yīng)用大型項(xiàng)目架構(gòu)設(shè)計(jì)經(jīng)驗(yàn)優(yōu)先;

最新大數(shù)據(jù)研發(fā)協(xié)議書(推薦)四

職責(zé)

1、負(fù)責(zé)基于hadoop/spark生態(tài)系統(tǒng)、億級(jí)別數(shù)據(jù)的全文檢索，搜索引擎的產(chǎn)品研發(fā);

2、基于海量用戶行為數(shù)據(jù)和其他數(shù)據(jù)，分析和研究數(shù)據(jù)與實(shí)際業(yè)務(wù)的關(guān)聯(lián)關(guān)系，并與實(shí)際業(yè)務(wù)應(yīng)用相結(jié)合開發(fā);

3、負(fù)責(zé)大數(shù)據(jù)分析需求設(shè)計(jì)和開發(fā)，承擔(dān)數(shù)據(jù)抽取、清洗、轉(zhuǎn)化等數(shù)據(jù)處理程序開發(fā)。

任職要求：

1、熟悉hadoop/hbase/spark/storm/redis/kafka/es/flume技術(shù)及其生態(tài)圈，具備相關(guān)項(xiàng)目開發(fā)經(jīng)驗(yàn)，有數(shù)據(jù)實(shí)時(shí)計(jì)算項(xiàng)目經(jīng)驗(yàn)優(yōu)先;

2、有搜索引擎全文檢索開發(fā)經(jīng)驗(yàn) ，如：elasticsearch、solr;

3、熟悉python、r任意一門開發(fā)語(yǔ)言;

4、有saas，paas企業(yè)級(jí)應(yīng)用平臺(tái)或者互聯(lián)網(wǎng)，金融等大型應(yīng)用平臺(tái)開發(fā)經(jīng)驗(yàn)優(yōu)先考慮;

5、 本科及以上學(xué)歷，計(jì)算機(jī)/軟件工程/統(tǒng)計(jì)學(xué)/數(shù)學(xué)等相關(guān)專業(yè)，互聯(lián)網(wǎng)/金融等行業(yè)3年以上工作經(jīng)驗(yàn);

6、擁有良好的代碼習(xí)慣，要求結(jié)構(gòu)清晰、命名規(guī)范、邏輯性強(qiáng)、代碼冗余率低，代碼注釋清晰;

7、熟悉使用svn，禪道等項(xiàng)目管理工具，有良好的團(tuán)隊(duì)協(xié)作開發(fā)經(jīng)驗(yàn).

最新大數(shù)據(jù)研發(fā)協(xié)議書(推薦)五

職責(zé)：

i、負(fù)責(zé)hadoop集群的安裝部署、維護(hù)及調(diào)優(yōu):

2、負(fù)責(zé)spark的安裝郵署、維護(hù)及調(diào)優(yōu):

3、負(fù)責(zé)基于大數(shù)據(jù)平臺(tái)開發(fā)的應(yīng)用系統(tǒng)的部署、日常維護(hù)、調(diào)優(yōu)和問(wèn)題處理

4、負(fù)責(zé)elk 平臺(tái)的部署及維護(hù)。

技能要求：

1 、2年以上大數(shù)據(jù)運(yùn)維工仵經(jīng)驗(yàn);

2、熟悉hadoop生態(tài)圈技術(shù)棧及各個(gè)組件原理:

⒊、熟練掌握hdfs、hive、hbase、sρa(bǔ)rk、sqooρ 等組件，具備部署、維護(hù)、調(diào)優(yōu)的能力:

4、熱悉kylin技術(shù)原理,有一定的維護(hù)經(jīng)驗(yàn)優(yōu)先:

5、掌掇elk的日常維護(hù)技能·有一定的維護(hù).經(jīng)驗(yàn)優(yōu)先:

6、有一定的hql/sql 性能調(diào)優(yōu)經(jīng)驗(yàn);

7、具備基本的 java、python等語(yǔ)言開發(fā)能力優(yōu)先:

8、有較強(qiáng)的溝通、團(tuán)隊(duì)協(xié)作及學(xué)習(xí)能力。

最新大數(shù)據(jù)研發(fā)協(xié)議書(推薦)六

職責(zé)：

負(fù)責(zé)制定數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)、數(shù)據(jù)治理體系和流程

負(fù)責(zé)大數(shù)據(jù)基礎(chǔ)平臺(tái)及大數(shù)據(jù)分析的相關(guān)工作，深度理解公司產(chǎn)品業(yè)務(wù)方向和戰(zhàn)略，負(fù)責(zé)數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)標(biāo)簽及數(shù)據(jù)建模;

深入理解業(yè)務(wù)運(yùn)作邏輯，利用數(shù)據(jù)分析手段對(duì)業(yè)務(wù)運(yùn)作進(jìn)行數(shù)據(jù)監(jiān)測(cè)、分析、統(tǒng)計(jì)，發(fā)現(xiàn)業(yè)務(wù)問(wèn)題并提出行動(dòng)建議;

對(duì)數(shù)據(jù)進(jìn)行清洗，同時(shí)能應(yīng)用先進(jìn)的統(tǒng)計(jì)建模、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)等方法建立數(shù)據(jù)模型進(jìn)行場(chǎng)景預(yù)測(cè);

部門領(lǐng)導(dǎo)交代的其他事項(xiàng)。

任職資格：

1、本科以上學(xué)歷，應(yīng)用數(shù)學(xué)、統(tǒng)計(jì)學(xué)、計(jì)算機(jī)等和數(shù)據(jù)處理高度相關(guān)專業(yè)，3年及以上數(shù)據(jù)分析工作經(jīng)驗(yàn);

2、熟悉數(shù)據(jù)治理、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)建模、主數(shù)據(jù)、元數(shù)據(jù)管理方法論，并有一定的項(xiàng)目經(jīng)驗(yàn);

3、根據(jù)特定的業(yè)務(wù)場(chǎng)景、分析需求，對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行提取、分析、挖掘、輸出數(shù)據(jù)分析報(bào)告;

4、熟練使用至少2種數(shù)據(jù)分析工具(r、spss、matlab、sas、python、stata)及office軟件(word/excel/ppt等)

5、熟悉hadoop生態(tài)環(huán)境，了解hbase、spark、kafka、storm、flink、flume的原理及使用

6、熟練使用tableau\python\r等工具，具有文本分析、大數(shù)據(jù)用戶畫像分析、標(biāo)簽處理相關(guān)工作經(jīng)驗(yàn)者優(yōu)先;

7、有政務(wù)大數(shù)據(jù)等相關(guān)工作經(jīng)驗(yàn)者優(yōu)先

8、具有較好的溝通協(xié)調(diào)能力、團(tuán)隊(duì)合作能力、文檔編寫能

最新大數(shù)據(jù)研發(fā)協(xié)議書(推薦)七

職責(zé)：

1. 負(fù)責(zé)集團(tuán)mysql數(shù)據(jù)庫(kù)部署、上線、管理、優(yōu)化、維護(hù)和備份

2. 負(fù)責(zé)集團(tuán)mysql數(shù)據(jù)庫(kù)的穩(wěn)定性、高可用性、擴(kuò)展性的相關(guān)保障工作

3. 協(xié)助業(yè)務(wù)方同學(xué)完成線上操作需求、故障排查、sql調(diào)優(yōu)和數(shù)據(jù)歸檔

4. 工作認(rèn)真細(xì)致，責(zé)任心強(qiáng)，具有良好的抗壓能力和團(tuán)隊(duì)合作精神

任職要求：

1. 5年以上專職mysql dba工作經(jīng)驗(yàn)，維護(hù)過(guò)大請(qǐng)求量和大數(shù)據(jù)量數(shù)據(jù)庫(kù)

2. 深入理解mysql體系架構(gòu)和原理，對(duì)數(shù)據(jù)庫(kù)優(yōu)化，架構(gòu)設(shè)計(jì)有較深入的研究和實(shí)踐經(jīng)驗(yàn)

3. 熟悉掌握mysql 5.7和8的新特性和新功能，并有線上使用經(jīng)驗(yàn)

4. 熟悉掌握mgr和hma的原理、配置和管理，并有線上部署經(jīng)驗(yàn)

5. 熟悉掌握xtrabackup和ghost優(yōu)缺點(diǎn)，并有線上操作經(jīng)驗(yàn)

6. 對(duì)orchestrator、pxc、inception、sqladvisor、soar或archer等有所了解或使用經(jīng)驗(yàn)

7. 對(duì)percona、oracle、postgresq、tidb、nosql類、bigdata類和k8s相關(guān)技術(shù)有所掌握或了解者更佳

8. 熟悉linux日常操作與配置，至少熟悉bash、python、golang或java編程中的兩種