一、调用hadoop api实现文件的上传、下载、删除、创建目录和显示功能
(1)添加必要的hadoop jar包。
A、首先将Hadoop1.1.2.tar.gz解压到某一个磁盘下。
B、右键选择工程,选择build path...., build configure path;
C、将hadoop1.1.2文件夹下的jar包添加进去;
还有lib文件夹下的所有jar包(注意:jasper-compiler-5.5.12.jar和jasper-runtime-5.5.12.jar不要引进,否则会报错)
注意:在build path引入这些jar包后,还需要将这些jar包复制到WEB-INF/lib目录下,可以通过下面操作实现:
选择工程,右键“Properties”,选择Deployment Assembly。
点击Add,选择Java Build Path Entries。
然后把你刚刚引进的Jar包全部选上,点击finishes。
D 、创建java工程
创建HdfsDAO类:
package com.model;
import java.io.IOException;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.mapred.JobConf;
public class HdfsDAO {
//HDFS访问地址
private static final String HDFS = "hdfs://192.168.1.104:9000";
public HdfsDAO(Configuration conf) {
this(HDFS, conf);
}
public HdfsDAO(String hdfs, Configuration conf) {
this.hdfsPath = hdfs;
this.conf = conf;
}
//hdfs路径
private String hdfsPath;
//Hadoop系统配置
private Configuration conf;
//启动函数
public static void main(String[] args) throws IOException {
JobConf conf = config();
HdfsDAO hdfs = new HdfsDAO(conf);
//hdfs.mkdirs("/Tom");
//hdfs.copyFile("C:\\files", "/wgc/");
hdfs.ls("hdfs://192.168.1.104:9000/wgc/files");
//hdfs.rmr("/wgc/files");
//hdfs.download("/wgc/(3)windows下hadoop+eclipse环境搭建.docx", "c:\\");
//System.out.println("success!");
}
//加载Hadoop配置文件
public static JobConf config(){
JobConf conf = new JobConf(HdfsDAO.class);
conf.setJobName("HdfsDAO");
conf.addResource("classpath:/hadoop/core-site.xml");
conf.addResource("classpath:/hadoop/hdfs-site.xml");
conf.addResource("classpath:/hadoop/mapred-site.xml");
return conf;
}
//在根目录下创建文件夹
public void mkdirs(String folder) throws IOException {
Path path = new Path(folder);
FileSystem fs = FileSystem.get(URI.create(hdfsPath), conf);
if (!fs.exists(path)) {
fs.mkdirs(path);
System.out.println("Create: " + folder);
}
fs.close();
}
//某个文件夹的文件列表
public FileStatus[] ls(String folder) throws IOException {
Path path = new Path(folder);
FileSystem fs = FileSystem.get(URI.create(hdfsPath), conf);
FileStatus[] list = fs.listStatus(path);
System.out.println("ls: " + folder);
System.out.println("==========================================================");
if(list != null)
for (FileStatus f : list) {
//System.out.printf("name: %s, folder: %s, size: %d\n", f.getPath(), f.isDir(), f.getLen());
System.out.printf("%s, folder: %s, 大小: %dK\n", f.getPath().getName(), (f.isDir()?"目录":"文件"), f.getLen()/1024);
}
System.out.println("==========================================================");
fs.close();
return list;
}
public void copyFile(String local, String remote) throws IOException {
FileSystem fs = FileSystem.get(URI.create(hdfsPath), conf);
//remote---/用户/用户下的文件或文件夹
fs.copyFromLocalFile(new Path(local), new Path(remote));
System.out.println("copy from: " + local + " to " + remote);
fs.close();
}
//删除文件或文件夹
public void rmr(String folder) throws IOException {
Path path = new Path(folder);
FileSystem fs = FileSystem.get(URI.create(hdfsPath), conf);
fs.deleteOnExit(path);
System.out.println("Delete: " + folder);
fs.close();
}
//下载文件到本地系统
public void download(String remote, String local) throws IOException {
Path path = new Path(remote);
FileSystem fs = FileSystem.get(URI.create(hdfsPath), conf);
fs.copyToLocalFile(path, new Path(local));
System.out.println("download: from" + remote + " to " + local);
fs.close();
}
}
在测试前,请启动hadoop;
运行测试该程序:
其他函数测试也成功,这里就不一一列举了。
二、结合web前台和hadoop api
打开Uploadservlet文件,修改:
package com.controller;
import java.io.File;
import java.io.IOException;
import java.util.Iterator;
import java.util.List;
import javax.servlet.ServletContext;
import javax.servlet.ServletException;
import javax.servlet.http.HttpServlet;
import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;
import javax.servlet.jsp.PageContext;
import org.apache.commons.fileupload.DiskFileUpload;
import org.apache.commons.fileupload.FileItem;
import org.apache.commons.fileupload.disk.DiskFileItemFactory;
import org.apache.commons.fileupload.servlet.ServletFileUpload;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.mapred.JobConf;
import com.model.HdfsDAO;
/**
* Servlet implementation class UploadServlet
*/
public class UploadServlet extends HttpServlet {
/**
* @see HttpServlet#doGet(HttpServletRequest request, HttpServletResponse response)
*/
protected void doGet(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {
this.doPost(request, response);
}
/**
* @see HttpServlet#doPost(HttpServletRequest request, HttpServletResponse response)
*/
protected void doPost(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {
request.setCharacterEncoding("UTF-8");
File file ;
int maxFileSize = 50 * 1024 *1024; //50M
int maxMemSize = 50 * 1024 *1024; //50M
ServletContext context = getServletContext();
String filePath = context.getInitParameter("file-upload");
System.out.println("source file path:"+filePath+"");
// 验证上传内容了类型
String contentType = request.getContentType();
if ((contentType.indexOf("multipart/form-data") >= 0)) {
DiskFileItemFactory factory = new DiskFileItemFactory();
// 设置内存中存储文件的最大值
factory.setSizeThreshold(maxMemSize);
// 本地存储的数据大于 maxMemSize.
factory.setRepository(new File("c:\\temp"));
// 创建一个新的文件上传处理程序
ServletFileUpload upload = new ServletFileUpload(factory);
// 设置最大上传的文件大小
upload.setSizeMax( maxFileSize );
try{
// 解析获取的文件
List fileItems = upload.parseRequest(request);
// 处理上传的文件
Iterator i = fileItems.iterator();
System.out.println("begin to upload file to tomcat server</p>");
while ( i.hasNext () )
{
FileItem fi = (FileItem)i.next();
if ( !fi.isFormField () )
{
// 获取上传文件的参数
String fieldName = fi.getFieldName();
String fileName = fi.getName();
String fn = fileName.substring( fileName.lastIndexOf("\\")+1);
System.out.println("<br>"+fn+"<br>");
boolean isInMemory = fi.isInMemory();
long sizeInBytes = fi.getSize();
// 写入文件
if( fileName.lastIndexOf("\\") >= 0 ){
file = new File( filePath ,
fileName.substring( fileName.lastIndexOf("\\"))) ;
//out.println("filename"+fileName.substring( fileName.lastIndexOf("\\"))+"||||||");
}else{
file = new File( filePath ,
fileName.substring(fileName.lastIndexOf("\\")+1)) ;
}
fi.write( file ) ;
System.out.println("upload file to tomcat server success!");
<span style="color:#ff0000;"> System.out.println("begin to upload file to hadoop hdfs</p>");
//将tomcat上的文件上传到hadoop上
JobConf conf = HdfsDAO.config();
HdfsDAO hdfs = new HdfsDAO(conf);
hdfs.copyFile(filePath+"\\"+fn, "/wgc/"+fn);
System.out.println("upload file to hadoop hdfs success!");</span>
request.getRequestDispatcher("index.jsp").forward(request, response);
}
}
}catch(Exception ex) {
System.out.println(ex);
}
}else{
System.out.println("<p>No file uploaded</p>");
}
}
}
启动tomcat服务器测试:
在上传前,hdfs下的wgc文件夹列表如下:
接下来我们上传:(4)通过调用hadoop的java api实现本地文件上传到hadoop文件系统上.docx
在tomcat服务器上,我们可以看到刚刚上传的文件:
打开http://hadoop:50070/查看文件系统,可以看到新上传的文件:
那么,到此,一个简陋的网盘上传功能就实现了,接下来我们就对这个简陋的网盘做一些美工,让它看起来更漂亮些。
参考资料:
http://blog.fens.me/hadoop-hdfs-api/
分享到:
相关推荐
基于hadoop的网盘应用
Hadoop是Apache的一款开源框架,使用java语言编写,可以通过编写简单的程序来实现大规模数据集合的分布式... Hadoop 采用的是Apache v2协议,Hadoop基于Google发布的MapReduce论文实现,并且应用了函数式编程的思想。
《Hadoop实战》作为云计算所青睐的分布式架构,Hadoop是一个用Java语言实现的软件框架,在由大量计算机组成的集群中运行海量数据的分布式计算,是谷歌实现云计算的重要基石。《Hadoop实战》分为3个部分,深入浅出地...
应用部署服务器:SpringBoot内置Tomcat插件 Node服务器:Node v10.15.3 数据库:Mysql v5.5.59 缓存服务:Redis v2.8.9 代码仓库管理系统:GitHub 服务器环境:处理器Core i5以上 2.2 基本处理流程 企业网盘...
基于SpringCloud+Hadoop+Vue的企业级网盘系统设计与实现(含毕业论文资料+优秀毕业设计) 应用组成 前端:vue-projectManage 后台:mycloud-admin 提供前端服务:mycloud ps:springcloud实现 文件在线预览服务:file...
资源名称:颠覆大数据分析 基于StormSpark等Hadoop替代技术的实时应用 内容简介:Vijay Srinivas Agneeswaran 博士,1998 年于SVCE 的马德拉斯分校获得计算机科学与工程专业的学士学位,2001 年获取了印度理工学院...
管理Hadoop 1478.1 为实际应用设置特定参数值 1478.2 系统体检 1498.3 权限设置 1518.4 配额管理 1518.5 启用回收站 1528.6 删减DataNode 1528.7 增加DataNode 1538.8 管理NameNode和SNN 1538.9 ...
# 基于SpringCloud+Hadoop+Vue的企业级网盘系统设计与实现 ## 二、总体设计 #### 2.1 运行环境 ```lua 编程语言:Java、Mybatis、Spring、SpringBoot、SpringCloud、Node、Vue 开发环境:Windows 10 + Mysql 开发...
企业网盘系统的使用者分为企业普通员工和企业管理员,所以具体流程是不一样的。 企业普通员工进入本系统前台主界面后看到的是首页数据,系统右上角有用户的头像和系统公告通知。在首页顶部的位置有个欢迎用户功能,...
毕业设计,基于SpringBoot+Hadoop+Vue开发的企业级网盘分布式系统,被评为优秀毕业设计,包含毕业论文、查重报告等 2.1 运行环境 编程语言:Java、Mybatis、Spring、SpringBoot、SpringCloud、Node、Vue 开发环境...
基于SpringBoot+Hadoop+Vue开发的企业级网盘分布式系统+优秀本科毕业设计+论文.zip总体设计,运行环境: 编程语言:Java、Mybatis、Spring、SpringBoot、SpringCloud、Node、Vue 开发环境:Windows 10 + Mysql 开发...
第四章 数据湖基于Hadoop、Spark的实现 第五章 Delta Lake - 数据湖核心的增强 第六章 Delta Lake - Quickstart 第七章 Delta Lake 操作 第八章 Delta Lake - 理论 第九章 企业数据湖应用案例分析 第十章 基于AWS的...
手把手视频详细讲解项目开发全过程,需要的小伙伴自行百度网盘下载,链接见附件,永久有效。 课程简介 从零开始讲解大数据业务及数据采集和迁移需求,以案例驱动的方式讲解基于Sqoop构建高性能的分布式数据迁移和...
采用Kudu技术,Kudu是开源的运行在Hadoop平台上的列式存储系统,拥有Hadoop生态系统应用的常见技术特性,运行在一般的商用硬件上,支持水平扩展,高可用。 基于高德地图API打造自有商圈库,方便管理,更新,基于商圈库...
111计算器系统的组成—硬件部分1.1计算机系统介绍aip,网盘文件,永久连接 1.1.2计算器系统的组成—软件部分11计算机系统介绍zip 1.2.1鲲鹏生态介绍1.2鲲鹏处理器及关键硬件特性介绍,zip 天1.2.2鲲鹏处理器介绍1.2...
6.Hadoop的集成配置 7.Oozie的部署配置 第三章:Oozie调度开发实战 1.Shell脚本工作流调度开发实战 2.Hive Job工作流调度开发实战 3.MapReduce工作流调度开发实战 4.复杂工作流调度实战 5.分支与合并逻辑...
从实际企业需求角度出发,引入Hue的实际开发应用场景,基于Hue构建统一化的大数据集中式开发管理平台,并基于Hue构建可视化分析 课程亮点 1,知识体系完备,从小白到大神各阶段读者均能学有所获。 2,生动形象,化...
手把手视频详细讲解项目开发全过程,需要的小伙伴自行百度网盘下载,链接见附件,永久有效。 课程简介 从零开始讲解大数据分布式计算的发展及Impala的应用场景,对比Hive、MapReduce、Spark等类似框架讲解内存式计算...
基于Hadoop技术的医院大数据分析平台自下而上 分为三个部分,分别为:数据层、大数据釆集与存储、数 据分析与展示。 数据层针对不同系统进行分析,制定系统数据采集 范围与目标,收集医院在日常管理和医疗工作中...
基于SpringCloud+Hadoop+Vue的企业级网盘系统设计与实现 【2019届毕业设计】,【优秀毕业设计】,【华东交通大学】 一、应用组成 前端:vue-projectManage 后台:mycloud-admin 提供前端服务:mycloud ps:spring...