Maven 创建 Spark 项目采坑记录
用 maven 创建 spark 项目,创建完成后一片红,现在记录一下可以成功创建项目的步骤。
创建新的项目
修改 pom.xml 文件
- 删除不需要的 plugin
- 配置 scala SDK — 选择自己安装的 scala 版本
- 添加 spark 依赖:
1 | <!--根据自己的环境选取相应的版本--> |
- 检查 Libraries 确保 scala 版本一致(重要重要重要‼️)
现在就可以愉快的写代码了
写个大数据的 “HelloWorld” — WordCount 试试吧🤗
- 本文作者: Kelly Liu
- 本文链接: http://tiantianliu2018.github.io/2020/06/19/Maven-创建-Spark-项目采坑记录/
- 版权声明: 本博客所有文章除特别声明外,均采用 MIT 许可协议。转载请注明出处!