2020年浙江省高校計(jì)算機(jī)三級(jí)數(shù)據(jù)管理與分析技術(shù)考試大綱

2020年浙江省高校計(jì)算機(jī)三級(jí)數(shù)據(jù)管理與分析技術(shù)考試大綱

考試目標(biāo)

掌握關(guān)系數(shù)據(jù)庫理論和基本應(yīng)用，掌握大數(shù)據(jù)基本概念、Hadoop與Spark的核心思想、分布式計(jì)算模型，具備基于關(guān)系數(shù)據(jù)庫和大數(shù)據(jù)的數(shù)據(jù)管理和應(yīng)用分析能力。

基本要求

1、掌握數(shù)據(jù)庫的基本概念;

2、掌握關(guān)系模型、關(guān)系模型完整性約束和函數(shù)依賴范疇的規(guī)范化理論;

3、熟練掌握關(guān)系數(shù)據(jù)庫設(shè)計(jì)方法：包括ER模型的設(shè)計(jì)、ER模型向關(guān)系模型的轉(zhuǎn)換與優(yōu)化、數(shù)據(jù)庫邏輯結(jié)構(gòu)設(shè)計(jì);

4、熟練掌握在MySQL平臺(tái)的基本用戶管理、基本權(quán)限管理、SQL基本指令的應(yīng)用;

5、熟練掌握MySQL存儲(chǔ)過程和觸發(fā)器的設(shè)計(jì)，理解數(shù)據(jù)庫事務(wù)與并發(fā)控制機(jī)制;

6、理解大數(shù)據(jù)技術(shù)Hadoop與Spark的核心思想與各自的特點(diǎn);Spark與Hadoop功能定位的區(qū)別與聯(lián)系;理解Spark優(yōu)于Hadoop的核心技術(shù)(RDD，DAG，內(nèi)存計(jì)算，惰性求值);

7、掌握HDFS分布式文件系統(tǒng)與MapReduce計(jì)算模型;

8、熟練掌握常用的Linux命令行操作和Hadoop指令操作;

9、熟練掌握Hadoop分布式計(jì)算常見任務(wù)的MapReduce實(shí)現(xiàn)方法;

10、熟練使用交互式spark-shell編寫分布式機(jī)器學(xué)習(xí)的任務(wù)。

考試內(nèi)容

一、關(guān)系數(shù)據(jù)庫應(yīng)用(40%)

1、數(shù)據(jù)庫的基本概念：數(shù)據(jù)、數(shù)據(jù)庫與數(shù)據(jù)處理、數(shù)據(jù)庫系統(tǒng)的組成、結(jié)構(gòu)與發(fā)展歷史;數(shù)據(jù)庫三級(jí)模式結(jié)構(gòu)的概念、數(shù)據(jù)邏輯獨(dú)立性與物理獨(dú)立性的含義。

2、數(shù)據(jù)庫系統(tǒng)的數(shù)據(jù)模型類別：層次、網(wǎng)狀、關(guān)系、面向?qū)ο髷?shù)據(jù)庫、NoSQL數(shù)據(jù)庫模型的特點(diǎn)、區(qū)別與典型DBMS產(chǎn)品。

3、關(guān)系數(shù)據(jù)庫的完整性約束類別：主鍵約束、外鍵約束、數(shù)據(jù)類型約束、(Not)Null約束、Check約束;掌握關(guān)系數(shù)據(jù)理論的函數(shù)依賴、1NF、2NF、3NF、BCNF的定義和判斷方法。

4、結(jié)構(gòu)化查詢語言SQL的基本應(yīng)用：數(shù)據(jù)庫對(duì)象定義語言(DDL)(數(shù)據(jù)類型、庫的創(chuàng)建與刪除、表的創(chuàng)建、修改與刪除、視圖的創(chuàng)建與刪除、索引的創(chuàng)建與刪除)、數(shù)據(jù)庫查詢(單表查詢、單表自身連接查詢、2表或3表的連接查詢(等值連接、自然連接、左外、右外、全外連接的select實(shí)現(xiàn))、不相關(guān)與相關(guān)嵌套子查詢、分組統(tǒng)計(jì)查詢、查詢結(jié)果排序)、數(shù)據(jù)更新(表數(shù)據(jù)的插入、刪除和修改);其中不相關(guān)嵌套子查詢要求掌握in、any、all的應(yīng)用，相關(guān)嵌套子查詢要求掌握exists謂詞的簡單應(yīng)用。

5、MySQL存儲(chǔ)過程和觸發(fā)器的設(shè)計(jì)：MySQL平臺(tái)下不帶參數(shù)、帶若干in、out參數(shù)的存儲(chǔ)過程的設(shè)計(jì)及觸發(fā)器的設(shè)計(jì);存儲(chǔ)過程的調(diào)用方法和觸發(fā)器的測(cè)試;理解事務(wù)的定義、ACID特性與多用戶數(shù)據(jù)庫系統(tǒng)的封鎖并發(fā)控制技術(shù)的基本原理。

6、MySQL用戶及權(quán)限基本管理：新用戶的創(chuàng)建、table對(duì)象的授權(quán)(select、insert、update、delete權(quán)限)。

7、簡單數(shù)據(jù)庫應(yīng)用的數(shù)據(jù)庫設(shè)計(jì)：需求描述、ER圖設(shè)計(jì)、ER圖向關(guān)系模型的轉(zhuǎn)換方法、數(shù)據(jù)模型優(yōu)化、設(shè)計(jì)視圖、邏輯設(shè)計(jì)、物理設(shè)計(jì);ER圖包括實(shí)體、屬性、聯(lián)系(1對(duì)1、1對(duì)多、多對(duì)多)、參與度約束(最小min、最大max)的表示方法與含義。

二、大數(shù)據(jù)管理與分析技術(shù)(60%)

1、大數(shù)據(jù)基本概念：大數(shù)據(jù)的4V特征、類型(結(jié)構(gòu)化與非結(jié)構(gòu)化大數(shù)據(jù))、核心技術(shù)(分布式存儲(chǔ)和分布式處理)、大數(shù)據(jù)計(jì)算模式(批處理計(jì)算、流計(jì)算、圖計(jì)算、查詢分析計(jì)算)、每類計(jì)算模式典型的代表產(chǎn)品。

2、Hadoop框架基礎(chǔ)理論： Hadoop特性、核心模塊與相應(yīng)的主要功能(HDFS分布式文件系統(tǒng)、MapReduce計(jì)算模型)。

(1)HDFS文件系統(tǒng)基本內(nèi)容：體系結(jié)構(gòu)、HDFS實(shí)現(xiàn)的目標(biāo)與局限性、HDFS的NameNode和DataNode的功能與模塊(NameNode：FsImage與EditLog;DataNode：數(shù)據(jù)存儲(chǔ)與檢索)。

(2)MapReduce計(jì)算模型基本內(nèi)容：體系結(jié)構(gòu)(Client、JobTracker、TaskTracker以及Task)、優(yōu)勢(shì)(容錯(cuò)性好、硬件要求低、編程難度低、使用場(chǎng)景多等)、設(shè)計(jì)策略(分而治之、計(jì)算向數(shù)據(jù)靠攏、Master/Slave架構(gòu))。

(3)Map/Reduce的輸入/輸出和工作流程：Input->Map->Reduce->Output。

3、常用的Linux命令行工具和Hadoop操作：

(1)Linux常用操作：cd、mkdir、rmdir、cp、mv、rm、cat、more、head、tail、touch、chown、chmod、find、tar、grep;

(2)Hadoop常用操作：Hadoop啟動(dòng)(所有進(jìn)程啟動(dòng)、單進(jìn)程啟動(dòng))、查看目錄(hdfs dfs –ls)、打開文件(hdfs dfs –cat)、本地文件或目錄上傳到Hadoop(hdfs dfs –put)、從Hadoop下載至本地目錄(hadoop dfs -get)、刪除Hadoop上文件夾或文件(hdfs dfs –rm||-rmr)、在Hadoop指定目錄內(nèi)創(chuàng)建新目錄(hdfs dfs –mkdir)、將Hadoop某個(gè)文件重命名(hdfs dfs –mv)、將Hadoop指定目錄下所有內(nèi)容保存為一個(gè)文件，同時(shí)download至本地(hdfs dfs –getmerge)、kill正在運(yùn)行的Hadoop作業(yè)(hadoop job –kill)、查看PATH目錄信息(hdfs dfs –count)、顯示文件的內(nèi)容(hdfs dfs –text)、查看幫助(hdfs dfs -help)。

4、經(jīng)典統(tǒng)計(jì)算法(去重、計(jì)數(shù)、排序、TopK排序、求最大最小值)與關(guān)系運(yùn)算(選擇、投影、分組)的MapReduce實(shí)現(xiàn)。

5、Spark基本概念：Spark核心技術(shù)(RDD：彈性分布式數(shù)據(jù)集，RDD的兩類操作：Transformation和Action，有向無環(huán)圖 DAG、內(nèi)存計(jì)算技術(shù)、惰性計(jì)算)、Spark特性(速度快、豐富的API、高容錯(cuò)性、部署方式多樣化)、Spark的架構(gòu)(驅(qū)動(dòng)器程序、SparkContext對(duì)象、集群管理器(Cluster Manager)、工作節(jié)點(diǎn))。

6、Spark應(yīng)用程序的運(yùn)行架構(gòu)與運(yùn)行流程(集群管理器(Cluster Manager)，多個(gè)工作節(jié)點(diǎn)(Worker Node)，每個(gè)應(yīng)用的任務(wù)控制節(jié)點(diǎn)(Driver)和每個(gè)工作結(jié)點(diǎn)上負(fù)責(zé)具體任務(wù)執(zhí)行進(jìn)程(Executor))。

7、使用Spark MLib庫進(jìn)行機(jī)器學(xué)習(xí)(特征提取、統(tǒng)計(jì)、分類、回歸、聚類、協(xié)同過濾)。

8、Spark經(jīng)典應(yīng)用場(chǎng)景分析：SQL查詢，文本處理，分析，音樂、視頻、廣告精準(zhǔn)推薦，實(shí)時(shí)數(shù)據(jù)分析。

以上就是小編整理的2020年浙江省高校計(jì)算機(jī)三級(jí)數(shù)據(jù)管理與分析技術(shù)考試大綱，準(zhǔn)備參加二級(jí)考試的同學(xué)們都來了解一下吧。想要及時(shí)了解考試動(dòng)態(tài)的小伙伴可“ 免費(fèi)預(yù)約短信提醒”屆時(shí)環(huán)球網(wǎng)校會(huì)及時(shí)為大家推送全國計(jì)算機(jī)等級(jí)考試相關(guān)信息提醒。環(huán)球網(wǎng)校友情提示：對(duì)于想要參加計(jì)算機(jī)二級(jí)考試的小伙伴們，環(huán)球網(wǎng)校特地為您準(zhǔn)備了計(jì)算機(jī)二級(jí)考試資料，如有需要請(qǐng)點(diǎn)擊文章下方“免費(fèi)下載>>>計(jì)算機(jī)二級(jí)考試資料”下載學(xué)習(xí)。