大数据scala编程实验

下面是小编为大家整理的大数据scala编程实验,供大家参考。

　 《Spark 编程基础》实验报告 题目：

　scala 编程初级实验 姓名：

　学号：

　日期：

　2019/4/12 实验环境：

　操作系统：Centos7.0 Spark 版本：2.1.0 实验内容与完成情况：

　1.统计学生成绩 学生的成绩清单格式如下所示，第一行为表头，各字段意思分别为学号、性别、课程名 1、课程名 2 等，后面每一行代表一个学生的信息，各字段之间用空白符隔开 Id

　gender

　Math

　English

　 Physics

　301610

　male

　 80

　64

　78

　 301611 female

　 65

　87

　58

　... 给定任何一个如上格式的清单（不同清单里课程数量可能不一样），要求尽可能采用函 数式编程，统计出各门课程的平均成绩，最低成绩，和最高成绩；另外还需按男女同学分开， 分别统计各门课程的平均成绩，最低成绩，和最高成绩。

　测试样例 1 如下：

　Id

　gender

　Math

　English

　 Physics

　301610

　male

　 80

　64

　78

　 301611

　female

　 65

　87

　58

　 301612

　female

　 44

　71

　77

　 301613

　female

　 66

　71

　91

　 301614

　female

　 70

　71

　 100

　 301615

　male

　 72

　77

　72

　 301616

　female

　 73

　81

　75

　 301617

　female

　 69

　77

　75

　 301618

　male

　 73

　61

　65

　 301619

　male

　 74

　69

　68

　 301620

　male

　 76

　62

　76

　 301621

　male

　 73

　69

　91

　 301622

　male

　 55

　69

　61

　301623

　male

　 50

　58

　75

　 301624

　female

　 63

　83

　93

　 301625

　male

　 72

　54

　 100

　 301626

　male

　 76

　66

　73

　 301627

　male

　 82

　87

　79

　 301628

　female

　 62

　80

　54

　 301629

　male

　 89

　77

　72

　完成情况截图：

　出现的问题：

　 因为是第一次用 scala 语言进行编程，虽然和 java 有着很大的相似性，但是具体的函数名以及具体的语法使用还是不明白，去看了官方的参考代码后看懂了他的思路后对照着写，我最开始的用的 java 的类挨个进行功能编写，虽然也可以得出最后答案但是基本上没有答案的这么快捷，但是参考答案用的放发比较难懂，花了一些时间去读懂领悟，比如参考答案里的切词方法是直接用的 head 取学号和课程名，而我最开始用的 distinct 进行过滤筛选，以及 tail 将这两个值返回到容

　器中，以及之后的 zip，感觉 scala 更快捷但是也不是很易读懂，看了参考代码后发现自己在新语言的掌握严重不足，在课下会花更多的时间来学习 scala 解决方案：

　在出现的问题后已给出解决方案 总结：

　 在 spark 编程中，scala 语言有点像 java 和 C 的结合，有着 java 的大量易扩充的函数功能，大大缩减了代码长度，但是在底层的原理以及概念上还没有理解，仅仅是可以看懂代码但是自己的编写还是会有一定的难度，争取在大量的实践之后可以做到更加熟练于心。

推荐访问:大数据scala编程实验 编程 实验 数据