利用java多线程断点续传实践情况是什
annegu做了一个简单的Http多线程的下载程序,来讨论一下多线程并发下载以及断点续传的问题。
这个程序的功能,就是可以分多个线程从目标地址上下载数据,每个线程负责下载一部分,并可以支持断点续传和超时重连。
下载的方法是download(),它接收两个参数,分别是要下载的页面的url和编码方式。在这个负责下载的方法中,主要分了三个步骤。第一步是用来设置断点续传时候的一些信息的,第二步就是主要的分多线程来下载了,最后是数据的合并。
1、多线程下载: /** *//** http://www。bt285。cn http://www。5a520。cn */ publi...全部
annegu做了一个简单的Http多线程的下载程序,来讨论一下多线程并发下载以及断点续传的问题。
这个程序的功能,就是可以分多个线程从目标地址上下载数据,每个线程负责下载一部分,并可以支持断点续传和超时重连。
下载的方法是download(),它接收两个参数,分别是要下载的页面的url和编码方式。在这个负责下载的方法中,主要分了三个步骤。第一步是用来设置断点续传时候的一些信息的,第二步就是主要的分多线程来下载了,最后是数据的合并。
1、多线程下载: /** *//** http://www。bt285。cn http://www。5a520。cn */ public String download(String urlStr, String charset) { this。
charset = charset; long contentLength = 0; CountDownLatch latch = new CountDownLatch(threadNum); long[] startPos = new long[threadNum]; long endPos = 0; try { // 从url中获得下载的文件格式与名字 this。
fileName = urlStr。substring(urlStr。lastIndexOf("/") + 1); this。url = new URL(urlStr); URLConnection con = url。
openConnection(); setHeader(con); // 得到content的长度 contentLength = con。getContentLength(); // 把context分为threadNum段的话,每段的长度。
this。threadLength = contentLength / threadNum; // 第一步,分析已下载的临时文件,设置断点,如果是新的下载任务,则建立目标文件。在第4点中说明。
startPos = setThreadBreakpoint(fileDir, fileName, contentLength, startPos); //第二步,分多个线程下载文件 ExecutorService exec = Executors。
newCachedThreadPool(); for (int i = 0; i < threadNum; i++) { // 创建子线程来负责下载数据,每段数据的起始位置为 (threadLength * i + 已下载长度) startPos[i] += threadLength * i; /**//*设置子线程的终止位置,非最后一个线程即为(threadLength * (i + 1) - 1) 最后一个线程的终止位置即为下载内容的长度*/ if (i == threadNum - 1) { endPos = contentLength; } else { endPos = threadLength * (i + 1) - 1; } // 开启子线程,并执行。
ChildThread thread = new ChildThread(this, latch, i, startPos[i], endPos); childThreads[i] = thread; exec。
execute(thread); } try { // 等待CountdownLatch信号为0,表示所有子线程都结束。 latch。await(); exec。shutdown(); // 第三步,把分段下载下来的临时文件中的内容写入目标文件中。
在第3点中说明。 tempFileToTargetFile(childThreads); } catch (InterruptedException e) { e。printStackTrace(); } } 首先来看最主要的步骤:多线程下载。
首先从url中提取目标文件的名称,并在对应的目录创建文件。然后取得要下载的文件大小,根据分成的下载线程数量平均分配每个线程需要下载的数据量,就是threadLength。然后就可以分多个线程来进行下载任务了。
在这个例子中,并没有直接显示的创建Thread对象,而是用Executor来管理Thread对象,并且用CachedThreadPool来创建的线程池,当然也可以用FixedThreadPool。
CachedThreadPool在程序执行的过程中会创建与所需数量相同的线程,当程序回收旧线程的时候就停止创建新线程。FixedThreadPool可以预先新建参数给定个数的线程,这样就不用在创建任务的时候再来创建线程了,可以直接从线程池中取出已准备好的线程。
下载线程的数量是通过一个全局变量threadNum来控制的,默认为5。 好了,这5个子线程已经通过Executor来创建了,下面它们就会各自为政,互不干涉的执行了。线程有两种实现方式:实现Runnable接口;继承Thread类。
ChildThread就是子线程,它作为DownloadTask的内部类,继承了Thread,它的构造方法需要5个参数,依次是一个对DownloadTask的引用,一个CountDownLatch,id(标识线程的id号),startPosition(下载内容的开始位置),endPosition(下载内容的结束位置)。
这个CountDownLatch是做什么用的呢? 现在我们整理一下思路,要实现分多个线程来下载数据的话,我们肯定还要把这多个线程下载下来的数据进行合。主线程必须等待所有的子线程都执行结束之后,才能把所有子线程的下载数据按照各自的id顺序进行合并。
CountDownLatch就是来做这个工作的。 CountDownLatch用来同步主线程,强制主线程等待所有的子线程执行的下载操作完成。在主线程中,CountDownLatch对象被设置了一个初始计数器,就是子线程的个数5个,代码①处。
在新建了5个子线程并开始执行之后,主线程用CountDownLatch的await()方法来阻塞主线程,直到这个计数器的值到达0,才会进行下面的操作,代码②处。 对每个子线程来说,在执行完下载指定区间与长度的数据之后,必须通过调用CountDownLatch的countDown()方法来把这个计数器减1。
2、在全面开启下载任务之后,主线程就开始阻塞,等待子线程执行完毕,所以下面我们来看一下具体的下载线程ChildThread。 /** *//** *author by http://www。
5a520。cn http://www。feng123。com */ public class ChildThread extends Thread { public static final int STATUS_HASNOT_FINISHED = 0; public static final int STATUS_HAS_FINISHED = 1; public static final int STATUS_HTTPSTATUS_ERROR = 2; private DownloadTask task; private int id; private long startPosition; private long endPosition; private final CountDownLatch latch; private File tempFile = null; //线程状态码 private int status = ChildThread。
STATUS_HASNOT_FINISHED; public ChildThread(DownloadTask task, CountDownLatch latch, int id, long startPos, long endPos) { super(); this。
task = task; this。id = id; this。startPosition = startPos; this。endPosition = endPos; this。latch = latch; try { tempFile = new File(this。
task。fileDir + this。task。fileName + "_" + id); if(!tempFile。exists()){ tempFile。createNewFile(); } } catch (IOException e) { e。
printStackTrace(); } }。收起