本文收录于【#云计算入门与实践 - AWS】专栏中,收录 AWS 入门与实践相关博文。 本文同步于个人公众号:【云计算洞察】 更多关于云计算技术内容敬请关注:CSDN【#云计算入门与实践 - AWS】专栏。 本系列已更新博文: [ 云计算
本文收录于【#云计算入门与实践 - AWS】专栏中,收录 AWS 入门与实践相关博文。
本文同步于个人公众号:【云计算洞察】
更多关于云计算技术内容敬请关注:CSDN【#云计算入门与实践 - AWS】专栏。
本系列已更新博文:
在本文中,我们将探索如何利用 Java 编程与 Amazon S3(即简单存储服务)存储系统进行互动。
需要牢记,S3 的结构异常简单:每个存储桶能够容纳大量的对象,这些对象可以通过 SOAP 接口或 REST 风格的 api 进行访问。
接下来,我们将使用适用于Java的AWS开发工具包来实现S3存储桶的创建、列举以及删除。同时,我们还将学会如何上传、列举、下载、复制、移动、重命名以及删除这些存储桶内的各个对象。
在开始之前,我们需要在项目中声明 AWS SDK 依赖项:
<dependency> <groupId>software.amazon.awssdk</groupId> <artifactId>s3</artifactId> <version>2.20.52</version></dependency>
要查看最新版本,我们可以检查 Maven Central,或者其他的国内 Maven 仓库。
要使用AWS SDK,我们需要一些东西:
IAM
控制台中的 IAM 用户凭证。首先,我们需要创建一个客户端连接来访问 Amazon S3 Web 服务。为此,我们将使用 Amazon S3 接口:
AWSCredentials credentials = new BasicAWSCredentials( "" , "" );
然后我们将配置客户端:
AmazonS3 s3client = AmazonS3ClientBuilder .standard() .withCredentials(new AWSStaticCredentialsProvider(credentials)) .withRegion(Regions.US_EAST_2) .build();
需要注意的是,存储桶命名空间是由系统的所有用户共享的。因此,我们的存储桶名称在 Amazon S3 中的所有现有存储桶名称中必须是唯一的(稍后我们将了解如何检查这一点)。
另外,根据官方文档规定,Bucket 名称必须符合以下要求:
现在让我们创建一个存储桶:
String bucketName = "baeldung-bucket";if(s3client.doesBucketExist(bucketName)) { LOG.info("Bucket name is not available." + " Try again with a different Bucket name."); return;}
CreateBucketRequest bucketRequest = CreateBucketRequest.builder() .bucket(bucketName) .build();s3Client.createBucket(bucketRequest);
在创建存储桶之前,我们必须使用doesBucketExist()
方法检查存储桶名称是否可用。如果名称可用,那么我们将构建一个CreateBucketRequest
并提供存储桶名称。最后一步是将bucketRequest
传递给 S3Client 的CreateBucketRequest createBucketRequest
的createBucket
。
现在我们已经创建了一些存储桶,让我们使用listBuckets ()
方法打印 S3 环境中可用的所有存储桶的列表。此方法将返回一个ListBucketsResponse
, 其中包含有关存储桶的信息。
ListBucketsResponse listBucketsResponse = s3Client.listBuckets();// Display the bucket namesList<Bucket> buckets = listBucketsResponse.buckets();System.out.println("Buckets:");for (Bucket bucket : buckets) { System.out.println(bucket.name());}
这将列出 S3 环境中存在的所有存储桶:
baeldung-bucketbaeldung-bucket-test2elasticbeanstalk-us-east-2
在删除存储桶之前,确保存储桶是空的非常重要。 否则,将会抛出异常。
首先,我们需要构建一个DeleBucketRequest
实例并向其传递存储桶名称。然后,我们调用 s3Client 对象上的deleteBucket
方法,并将请求作为参数传递。
另请注意,只有存储桶的所有者才能删除它,无论其权限如何(访问控制策略):
try { DeleteBucketRequest deleteBucketRequest = DeleteBucketRequest.builder() .bucket(bucketName) .build(); s3Client.deleteBucket(deleteBucketRequest); System.out.println("Successfully deleted bucket : " + bucketName);} catch (S3Exception e) { System.err.println(e.getMessage()); System.exit(1);}
Amazon S3 存储桶内的文件或数据集合称为对象。我们可以对对象执行多种操作,例如上传、列出、下载、复制、移动、重命名和删除。
上传对象是一个非常简单的过程。首先,我们将构建一个PutObjectRequest
实例,指定存储桶名称和密钥。然后,我们将该请求和包含数据的文件的路径传递给 s3Client 的putObject
方法:
PutObjectRequest request = PutObjectRequest.builder() .bucket(bucketName) .key(key) .build();return s3Client.putObject(request, Path.of(file.toURI()) );
我们将使用listObjects()
方法列出 S3 存储桶中的所有可用对象:
ListObjectsV2Request listObjectsV2Request = ListObjectsV2Request.builder() .bucket(bucketName) .build();ListObjectsV2Response listObjectsV2Response = s3Client.listObjectsV2(listObjectsV2Request);List<S3Object> contents = listObjectsV2Response.contents();System.out.println("Number of objects in the bucket: " + contents.stream().count());contents.stream().forEach(System.out::println);
要列出 AWS S3 存储桶中的对象,我们需要创建一个ListObjectsV2Request
实例并指定存储桶名称。然后,我们在 s3Client 对象上调用 listObjectsV2
方法,并将请求作为参数传递。此方法返回一个ListObjectsV2Response
,其中包含有关存储桶中对象的信息。
要下载对象,我们首先创建一个GetObjectRequest
实例并将存储桶名称和密钥作为输入参数传递给它。然后,我们将其提供给 getObjectAsBytes()
方法并获取响应。一旦我们得到响应,我们就可以提取字节数组。最后一步是处理字节数组:
GetObjectRequest objectRequest = GetObjectRequest.builder() .bucket(bucketName) .key(objecTKEy) .build();ResponseBytes<GetObjectResponse> responseResponseBytes = s3Client.getObjectAsBytes(objectRequest);byte[] data = responseResponseBytes.asByteArray();// Write the data to a local file.java.io.File myFile = new java.io.File("/Users/user/Desktop/hello.txt" );OutputStream os = new FileOutputStream(myFile);os.write(data);System.out.println("Successfully obtained bytes from an S3 object");os.close();
我们可以通过调用 s3client 上的copyObject()
方法来复制对象,该方法接受CopyObjectRequest
实例。因此,CopyObjectRequest
接受四个参数:
CopyObjectRequest copyObjectRequest = CopyObjectRequest.builder() .sourceBucket(sourceBucketName) .sourceKey(sourceKey) .destinationBucket(destinationBucketName) .destinationKey(destinationKey) .build();return s3Client.copyObject(copyObjectRequest);
注意:我们可以结合使用copyObject()
方法和deleteObject()
来执行移动和重命名任务。这将涉及首先复制对象,然后将其从旧位置删除。
要删除对象,我们将在s3client上调用deleteObject()
方法并传递DeleteObjectRequest
实例。为了创建DeleteObjectRequest
实例,我们需要传递要删除的对象的键和存储桶名称:
DeleteObjectRequest deleteObjectRequest = DeleteObjectRequest.builder() .bucket(bucketName) .key(objectKey) .build();s3Client.deleteObject(deleteObjectRequest);
要一次删除多个对象,我们首先创建DeleteObjectsRequest
对象并传递存储桶。然后我们将传递一个包含所有要删除的对象键的 ArrayList。
一旦我们有了这个DeleteObjectsRequest
对象,我们就可以将它作为参数传递给我们的 s3client 的deleteObjects()
方法。如果成功,它将删除我们提供的所有对象:
ArrayList<ObjectIdentifier> toDelete = new ArrayList<>();for(String objKey : keys) { toDelete.add(ObjectIdentifier.builder() .key(objKey) .build());}DeleteObjectsRequest deleteObjectRequest = DeleteObjectsRequest.builder() .bucket(bucketName) .delete(Delete.builder() .objects(toDelete).build()) .build();s3Client.deleteObjects(deleteObjectRequest);
在本文中,我们重点介绍了在存储桶级别和对象级别与 Amazon S3 Web 服务交互的基础知识。重点在 Java 应用中使用 Amazon S3(Simple Storage Service)进行存储桶和对象操作的方法、详细说明了如何进行存储桶操作,包括创建桶和列出桶。在对象操作部分,我们涵盖了上传、列出和下载对象的过程,还介绍了复制、重命名、移动对象以及删除对象的方法。此外,我们还提供了删除多个对象的操作步骤。通过本文,小伙伴们可以了解如何通过 Java 代码有效地与 Amazon S3 进行交互,实现对存储桶和对象的各种操作。
[ 本文作者 ] bluetata[ 原文链接 ] https://bluetata.blog.csdn.net/article/details/132531011[ 最后更新 ] 11/19/2023 23:45[ 版权声明 ] 如果您在非 CSDN 网站内看到这一行,说明网络爬虫可能在本人还没有完整发布的时候就抓走了我的文章,可能导致内容不完整,请去上述的原文链接查看原文。
来源地址:https://blog.csdn.net/dietime1943/article/details/132531011
--结束END--
本文标题: [ 云计算 | AWS 实践 ] Java 应用中使用 Amazon S3 进行存储桶和对象操作完全指南
本文链接: https://www.lsjlt.com/news/551695.html(转载时请注明来源链接)
有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
下载Word文档到电脑,方便收藏和打印~
2024-04-03
2024-04-03
2024-04-01
2024-01-21
2024-01-21
2024-01-21
2024-01-21
2023-12-23
回答
回答
回答
回答
回答
回答
回答
回答
回答
回答
0