还有谁对google云存储API示例的运行有疑问?
我沿着所有的方向走,这些方向都很直截了当。您只需将代码粘贴到示例中,就可以了。但是,您必须更新您的bucket名称。我正在更新这条线路
# TODO: Change to a bucket your app can write to.
READ_PATH = '/gs/bucket/obj'
到
它不起作用?
我更新了它,因为这就是我通过gsutil访问我的bucket的方式
任何人都可以使用它吗?在文件API中,路径不遵循gs://URL
我无法将大型文件上传到谷歌云存储。我成功上传了一个700MB的文件,但是当我尝试5GB的文本文件时,它抛出了以下异常。我无法通过谷歌搜索找到解决方案
问题在于一个简单java类的主方法
Exception in thread "main" java.lang.RuntimeException: java.net.SocketTimeoutException: Read timed out
Caused by: java.net.SocketTimeoutException: Read time
我不小心将我的帐户“升级”为非试用版。我仍在使用试用版,需要在开发阶段测试一些东西。
我放的信用卡不是我有意升级账户时的信用卡。
因此,简而言之,我需要将我的状态改回“试用”,这样即使我仍然获得试用特权,谷歌也不会意外地向我收费。您不能将付费改回试用,但这不是必需的。追踪的剩余信用将应用于您的帐户,因此您将免费获得同样多的信用
如果您不想被收费,您可以为您的项目禁用计费(尽管这将禁用许多服务)。这个问题与主题无关。你需要联系谷歌支持。我和谷歌销售部的人谈过,他们指示我到这里。如果你还没有这样做,
我想从一个VM实例创建一个bucket watch通知,这样每当我在bucket中做一些更改时,VM就会知道这些更改
我能够使用gsutil通知watchbucket创建通知。它给了我:成功创建了监视通知频道
问题是我不知道如何从VM读取通知
我尝试了下面给出的客户端应用程序示例:。我将代码复制到一个名为“通知”的文件中,在创建通知通道时,我给出了该文件的路径,但仍然没有得到任何信息。日志中也没有保存任何内容
它说通知是作为POST请求发送的。我创建了一个PHP文件,读取了所有POST变量,并试
我想删除对象名为“”的对象
我试过了,但没有被移除
$ gsutil -m rm "gs://{my_bucket}/**"
Removing gs://{my_bucket}/....
CommandException: 1 files/objects could not be removed.
$ gsutil rm "gs://{my_bucket}/."
$ gsutil rm gs://{my_bucket}/.
尝试使用gcsfuse,但当我运行
gcsfuse <bucket> /target/dir
我是在一个GCE实例上完成这项工作的,该实例具有对Google云服务的完全API访问权限
文件夹存在,我在fuse组中
我尝试使用所有调试开关运行,但它们没有显示任何有用的信息
> gcsfuse --uid "33" --gid "33" --debug_fuse --debug_gcs --debug_http --debug_invariants bucket-name /ta
我有一个谷歌云存储桶,里面有大量文件。我想列出添加到bucket的最新文件。我知道我可以(理论上)使用
gsutil ls gs://my_bucket/**
然后使用sed/awk将输出通过过滤器传输。但是,文件的数量太大,gsutil查询需要运行很长时间。是否有只列出最近创建的文件的内置查询?否,GCS不支持按日期查询。如果您需要一种高效的方法来实现这一点(例如,如果您定期在一个包含数百万或更多对象的存储桶上执行此操作),您可以配置对象更改通知,并使用一个应用程序订阅通知并跟踪最近添加的N
使用LetsEncrypt为我的域生成SSL证书时,系统会提示我在我的域中提供一个文件,以验证我在我的域中的控制:
http://example.com/.well-known/acme-challenge/XXXXXX
但是,当我尝试将该文件上载到我的Google云存储桶时,我得到以下错误:
$gsutil rsync-R。gs://example.com
正在生成同步状态。。。
开始同步
临摹file://./.well-known/acme-challenge/XXXXXX [内容类型=应
我在谷歌的Nearline和Coldline存储上有很多不同时间上传的文件。任何在30/90天内删除的内容都将收取附加费。如何检查要删除的文件的年龄
到目前为止,我们一直在使用gsutil。gsutil是检查文件年代的好方法。您还可以使用自己选择的语言使用API(请参阅)
请注意,对于Nearline/Coldline,附加费分别相当于对象在前30/90天的存储成本。如果您打算在一个已经存在的文件达到该年龄之前将其删除,那么现在删除该文件的成本不会比等到该文件达到30/90天后再删除该文件的成本
如何在数据流作业中标识已处理的文件?我正在使用通配符从云存储中读取文件。但每次作业运行时,它都会重新读取所有文件
这是一个批处理作业,下面是我正在使用的读取文本的示例
PCollection<String> filePColection = pipeline.apply("Read files from Cloud Storage ", TextIO.read().from("gs://bucketName/TrafficData*.txt"));
PCollection fil
我有一个运行在android上的cordova应用程序,带有spring boot后端。
在应用程序中,客户端可以上传照片。
目前,该文件通过后端上传到谷歌云存储,后端拥有一个服务凭证文件。
当我们想在应用程序中显示照片时,照片是否应该通过spring boot应用程序从google云平台读取?
或者我们可以直接从google cloud bucket读取数据(在本例中,我们如何进行身份验证)?我想说,从Java代码中的GCS读取数据,然后从应用程序中提供数据是最简单的
你可以考虑在你的后端生成
我是开发者。为谷歌云存储构建应用程序时,我是否需要启用计费并实际计费?他们是否有某种沙箱或试用期?是的,需要付费才能创建一个存储桶,这是在谷歌云存储上构建任何内容的第一步。好消息是,如果你不使用太多的空间,你的账单每月可能会少于一美元。您可能想查看,以便更清楚地了解您将被收取的费用 是的,创建bucket需要付费,这是在谷歌云存储上构建任何内容的第一步。好消息是,如果你不使用太多的空间,你的账单每月可能会少于一美元。您可能想查看,以便更清楚地了解您将被收取的费用 事实上,谷歌确实提供了一个入门包
我使用谷歌api php客户端。
我正在使用服务帐户进行身份验证并接收令牌ok。
正在尝试使用Google云存储JSON api在Google云存储中插入对象
当尝试将对象插入BUCKET时,返回:NoSuchBucket指定的BUCKET不存在。但我可以保证它确实存在,正如我在web manager控制台中看到的,并且已经有我几天前上传的图像
完整的信息说:
调用POST时出错{我现有的bucket名称在这里}/o?uploadType=multipart&name=thec36b23baf2
地面军事系统似乎没有任何交易机制。这是正确的吗
我希望能够有一个长期的交易。例如,如果我可以启动一个事务并指定一个过期时间(如果没有在X时间内提交,它会自动回滚),那就太好了。然后我可以使用这个句柄插入对象、合成、删除等,如果一切顺利,则发出iscommitmable(),如果是,则发出commit()
这是可能的吗?对象写入是事务性的(要么成功写入完整的对象及其元数据,使对象可见;要么失败而不可见)。但没有跨多个地面军事系统操作的交易机制
Mike云存储客户端库提供了一个类似文件的对象,它具有
我正在从事一个项目,我希望开发人员能够读/写GCS,但不一定能够在AppEngine中上传代码。我在web控制台中看不到用于指定访问权限的选项。如何设置希望用户拥有的特定权限?谢谢 基本上,如果您希望团队成员不被允许部署应用程序并修改或配置其资源,那么他/她必须对项目只有“可以查看”的访问级别
然后,在您的案例中,您必须为范围为“Google帐户电子邮件地址”(您的开发人员的电子邮件地址)的bucket设置相应的权限(写入)
正如GCS文档所述,有三种方法可以指定存储桶和对象的ACL,使用:
a
我在
并成功装载到具有gcsfuse的实例上,
但是,当我尝试写入挂载目录时,它显示一个输入/输出错误
fuse_debug: Op 0x00000003 connection.go:395] <- LookUpInode (parent 1, name "test")
gcs: Req 0x1: <- StatObject("test/")
gcs: Req 0x2: <- StatObject("test")
我有一个文件(out2.txt),其中包含GCS文件URL列表,包括版本号。我试图将这些文件复制到本地目录,同时保持目录结构
我试过这个命令:
cat out2.txt | gsutil -m cp -r -I ./download
所有文件都被复制到同一目录,源存储桶中的目录结构丢失
如果我去掉-r参数,同样的事情也会发生
在使用-I参数时,有没有办法保持目录结构?我正在寻找类似于GNU cp的东西--parents,它将在复制文件时创建父目录。您能提供一些示例URL吗?gsutil
我正在将文件从我的服务器上传到我的bucketfoobar。上传文件的路径是foobar/uploads/avatars/123456789.jpg
我希望用户能够通过公共https链接访问此文件,如。该链接必须无需登录任何谷歌帐户即可访问。
我不希望用户能够通过类似或某种不同的链接浏览整个bucket
我正在使用上传文件。如何使用ACL实现这些设置?对于现有对象:
file.makePublic(function(err, apiResponse) {});
上载新对象时,请使用选项publ
我正在寻找一种确定谁将文件上传到云存储桶的方法。所有有权写入bucket的用户都是同一G套件域中经过身份验证的用户
云存储中的对象ACL显示所有者标识符字符串,如下所示:
{
"entity": "user-84fac329bceSAMPLE777d5d22b8SAMPLE77d85ac2SAMPLE2dfcf7c4adf34da46",
"entityId": "84fac329bceSAMPLE777d5d22b8SAMPLE77d85ac2SAMPLE2dfcf7c4adf34da
一年多以来,我一直在为谷歌数据流构建和创建模板。我从来并没有遇到过创建模板并使用选项将其上传到gcs的问题呼叫。从今天开始,当使用Pipeline.create(选项)创建管道时并在eclipse中运行java程序,我得到以下异常:
Exception in thread "main" java.lang.RuntimeException: Failed to construct instance from factory method DataflowRunner#fromOptions(in
我在谷歌云存储桶上有一个静态站点
我使用以下命令将我的站点同步到存储桶:
args:[“-m”、“-h”、“内容编码:gzip”、“rsync”、“-c”、“-r”、“/folder”、“gs://mysite.com”]
我已在我的云存储桶中设置网站配置:
/index.html
这导致:
mysite.com/category/index.html
我想从中删除index.html,因此我在第二行中除了上面的args之外,还尝试了以下操作:
args:[“-h”,“内容类型:text/htm
我在地面军事系统铲斗上有以下结构:
我的桶/笔记本/jupyter/
模块
mymodule.py
init.py
笔记本_1.ipynb
如何在notebook_1.ipynb中导入mymodule?(notebook_1.ipynb是python笔记本,不是spark笔记本)我担心这是不可能的,因为您需要将模块放在运行脚本的目录中或您的应用程序中
作为一个选项,您可以实现一个功能,从云存储下载模块,使用其功能,然后将其删除
以下是我为测试目的编写的一个简单的示例:
greeting
我有一个方法,可以获取google bucket中blob的签名url,然后将其返回给用户。理想情况下,我也可以更改显示的文件名。这可能吗
例如:
https://storage.googleapis.com/<bucket>/<path to file.mp4>?Expires=1580050133&GoogleAccessId=<access-id>&Signature=<signature>
https://storage.
与此类似,我正在尝试从一个私有的PyPI repo安装一个Python包,这样我们的googlecloudcomposer实例就可以使用它
我已经跟进了,但仍然不知道我的包裹:
No module named 'foopackage'
我在任何地方的任何日志中都找不到对我的pip.conf的任何引用,因此我不确定该文件是否位于正确的位置,或者是否包含正确的内容
如何继续调试此问题
Cloud Composer环境日志显示从bucket复制pip.conf时出现问题,但不提供任何其他详细信息:
谷歌云存储似乎提供了一种不同的行为,无论文件夹是从带有或不带尾随的web客户端访问的/
一个简单的测试显示以下链接的不同行为
(加载css失败-背景为白色)
(工作正常-背景为黑色)
其中,铲斗已通过以下方式配置:
gsutil setwebcfg-m index.html-e 404.html gs://gstest.tekatik.com
有关信息,它包含3个简单文件index.html/404.html/style.css,其中style.css仅将背景设置为黑色。
它们都正确地“重定
如何使用javascript读取Google云存储上的文件内容
我尝试了这个,它得到了元数据,但我不知道如何读取文件的内容。谢谢你的帮助
$wnd.gapi.client.request({
path : '/storage/v1beta1/b/easycompile/o/steps.txt',
method : 'GET',
params : {
projection: "FULL"
执行以下命令时:
gsutil notifyconfig watchbucket -i myapp-channel -t myapp-token https://myapp.appspot.com/gcsnotify gs://mybucket
我收到了以下答案,但我之前在另一个bucket中使用了相同的命令,并且成功了:
Watching bucket gs://mybucket/ with application URL https://myapp.appspot.com/gcsnoti
在我联系销售人员后,我很想知道这一点,销售人员向我询问有关我网站的更多信息。如果每个人都能使用它,销售人员不会问我,因为它是按使用付费的。然而,该网站并未提及使用该服务的任何最低要求
因此,我想确认是否有任何要求,包括最低消费和存款?销售人员很可能会要求您提供更多信息,以帮助您确定这是否是适合您的产品,以及它是否能够满足您的期望。他们往往会帮助你开始
使用该服务没有任何要求或特殊先决条件。您可以访问以获取有关如何开始、注册以及与服务交互的命令行和web UI选项的指导的详细信息。300美元的免费
我们正在使用谷歌云存储和gsutil命令。我们希望rsync一个包含许多文本文件的大目录,我们希望其中一些文件被压缩,并将其内容编码设置为gzip。在使用gsutil rsync时,我们似乎只能为所有文件设置内容编码(使用-h),这是一个麻烦。我们的一些文件是图像,我们不希望压缩
或者,我们希望运行rsync,只从目标删除源模式中不再存在的内容。我们不想也上传。我们只想从GCS中删除不再在本地源目录中的内容。但是,我没有找到该选项。gsutil rsync命令不支持在上载时压缩文件的选项(即类似
我知道本地ssd磁盘不会产生任何费用,因为它位于计算引擎中。假设磁盘是标准的永久性磁盘,计算引擎和磁盘之间的入口和出口费用是否可以计费?否,永久性磁盘没有相关的网络费用。您需要了解每个磁盘(每GB,每月)的已配置空间量
如果您选择跨区域还原快照,则与快照(总快照大小)和网络出口相关的附加费用将增加。否,永久磁盘没有相关的网络费用。您需要了解每个磁盘(每GB,每月)的已配置空间量
如果您选择跨区域恢复快照,则与快照(总快照大小)和网络出口相关的额外费用。视情况而定,正如谷歌云平台中所述
在同一区域
我已经通过我的组织在谷歌云上使用了将近一年的gsutil,没有任何问题。今天早上,当我尝试使用任何gsutil命令时,出现以下错误:
401 Anonymous users does not have storage.objects.list access to bucket <my-bucket>.
gcloud info的输出
Google Cloud SDK [146.0.0]
Platform: [Mac OS X, x86_64]
Python Version: [2.
我正在构建一个需要让用户上传大文件的web应用程序。我想使用谷歌云存储。我花了好几天的时间阅读这些文档,但我仍然不确定如何从浏览器启动上传
我知道为此需要一个签名URL,允许匿名用户上传到bucket,我可以在服务器上生成并发送到浏览器
但是,似乎只打算在具有用户或服务帐户身份验证的应用程序服务器上运行。例如,该包有一个生成签名URL的方法,但不用于使用该签名URL上载文件
我错过了什么
PS-这些将是大文件,所以最好执行可恢复的上传
更新:据我所知,你只需要把或张贴到签名的网址。所以我想我应该
我正在将带有firebase存储的文件上载到some/path/file.txt
后来我得到一个下载url,并通过浏览器中的链接提供下载。当用户下载该文件时,该文件名为file.txt
现在,我通过gcloud存储使用云函数修改此文件。我正在用以下代码重新加载它:
bucket.upload(localfile, {destination: 'some/path/file.txt'});
当用户现在下载文件时,浏览器中建议的文件名是:some%2path%2file.txt
有什么方法可以避免
我有一个项目,定期需要将数百万个微小(1-3KB)的图像文件上传到谷歌云存储。推荐的方法/库是什么?我目前正在使用,但不知道是否有更好的库。我最近遇到过,但它似乎更慢(使用blob.upload\u from\u filename())
我希望能够通过Python(windows)实现这一点,但如果其他选项提供了显著的性能优势,我愿意接受
有什么建议吗?在gsutil中进行了大量优化,我怀疑使用原始库是否会更快,而无需付出很大的努力(尽管它可能比大量文件更适合传输大文件)
尝试将-m标志添加到您
我有一个Android应用程序,它使用Firebase存储,Firebase存储又使用谷歌云存储。
如何在Firebase/Google云控制台中检查我的使用限制
我无法在Firebase控制台或Google云存储中找到任何选项
如何找到我的应用程序的存储使用情况?当前的Firebase控制台现在可以显示您的使用情况。
我们无意中从我们的GCS存储桶中删除了一些没有激活“版本控制”的图像文件(它已关闭)
这仍然是我们恢复这些已删除文件的一种方法吗?除非在存储桶上启用版本控制,否则无法恢复已删除的对象。不幸的是,没有
GCS对象通常在被用户永久删除后无法恢复
如何在云存储中恢复已删除的文件?客户端备份文件消失。谷歌有没有删除一些文件的例行程序?谷歌让开发者完全控制他们的数据。正如文档中所述,“警告:对象删除无法撤消。”
为了防止将来再次发生这种情况,您可以使用对象版本控制来保护文件。有关更多信息,请参阅文档。我很惊讶这个问题与开发/编程无关,因此这被认为是一个离题(也许可以看一下@)
我犯了一些错误,我想在谷歌云存储中纠正这些错误,但一旦在谷歌云存储中创建了这些错误,我似乎无法改变任何事情
我单击要删除的对象,按delete,但每次都失败。它没有告诉我为什么
我试过查看支持页面,但他们给出的建议不起作用-在每个对象的三点菜单中,我没有重命名或移动对象的选项,删除过程总是失败
我对使用命令行指令没有信心,因此不会尝试这样做(我不是组织中唯一一个使用存储平台的人,我不想意外删除任何不属于我的内容。组织中没有人可以提供帮助)
我已尝试编辑权限,但这似乎没有效果
我无法升级到一个允许
我正在将硬盘上一个文件夹中的数据备份到谷歌云存储
我清除了Chrome中的浏览数据,并在另一个选项卡中重新登录到云控制台;然后刷新了屏幕右下角的选项卡,显示复制了哪些文件;尚未完成的工作;以及当前正在复制的文件
备份状态的事情现在已经消失了
如何让它恢复到停止备份的位置?云控制台中的上载状态仅存在于浏览器中,而不存在于Google云存储服务器上,当您清除浏览器中的浏览数据并刷新选项卡时,您将其删除--只需在其他选项卡中再次登录无法使其重新出现
我在us-central1-a区域的一个实例中工作,无法复制~200GB的文件
我试过:
gsutil-mcp-L my.log my.file gs://my bucket/
gsutil-mcp-L my.second.log my.file gs://my-bucket2/
经过几次“追赶”,我得到了以下错误:
CommandException:某些临时组件未成功上载。请重试此上载。
CommandException:无法传输X文件/对象
有什么线索吗
谢谢这是一条消息,如果gsuti
我目前正在尝试为我的Google Cloud SQL实例分配另一个IP地址,以便远程连接到我的数据库。然而,我不断收到错误“您的更改无法保存”。我试图从编辑选项和访问控制选项卡添加IP地址 非常感谢谷歌云团队帮助我们发现错误。我们团队中有人在授权网络设置中输入了格式不正确的IP地址。这导致我们的实例设置冻结,从而使实例无法在开发人员控制台中编辑。通过移除它,它解决了我们的问题 您只能将单个IP地址分配给云SQL实例。拥有IP地址后,可以授权多个IP地址或子网远程访问该实例。这就是您试图做的吗?不
复制某些日志文件(通过gsutil compose命令创建)时:
我们遇到了很多这样的错误:
"errors":[
{
"domain":"usageLimits",
"reason":"rateLimitExceeded",
"message":"The total number of compose requests for this bucket's project exceeds the rate limit. Please
我正在使用“gsutil-mv”将大量文件从本地驱动器移动到一个存储桶中。但是,在传输过程中,一次似乎只运行一个传输。我检查了top,只看到python中运行该命令的一个进程。我修改了“并行进程计数”
boto配置文件中的“并行线程计数”,并且不观察传输行为中的任何更改。即使在使用-m选项运行gsutil时,我仍然会收到以下消息:
“==>注意:您正在执行一系列gsutil操作,这些操作可能会
如果改用gsutil-m-m,运行速度会明显加快…请
有关更多信息,请参阅“gsutil帮助选项”下的
我有一个脚本正在运行gsutil rsync-r-d-c,有时它会使源目录和目标目录不同步。列表中的最后一个文件(名为version.json)首先上载,然后立即删除
有人遇到过这个错误吗
其他信息:
目标存储桶中的版本控制已关闭
当试图覆盖已存在的目标存储桶的全部内容时,会发生这种情况
一般来说,源目录和目标目录可能会稍微不同步,因为谷歌云存储中的列表最终是一致的。但是,如果本地文件系统上始终存在一个文件,我不希望您的命令上载然后删除该文件。您能否使用debug(-D)标志运行命令并将调试日
我们应用程序的一部分通过存储传输服务API启动从Amazon S3到Google云存储的传输。我们已经成功安装并运行了几个月,直到昨天我们的传输停止工作。我们可以在控制台中看到传输已启动,但它无限期挂起,只有一个历史记录项声明:“此传输正在启动…”我们有一个后台进程轮询传输状态,我们看到该状态返回“transfer_calculating”
在尝试调试此问题时,我们通过设置了一个传输。我们使用了应用程序使用的相同AWS访问密钥id/机密访问密钥,传输成功完成。这使我们相信问题与传输服务API或启
我完全能够从本地计算机(使用默认凭据)连接(使用Go)到云存储,但当我尝试从实例连接到存储时,我总是遇到这个错误
googleapi:错误403:已超出用户速率限制,已超出UserRateLimit
这只发生在一个项目上,在所有其他项目上都可以正常工作。
在那个项目上,我可以成功地连接到数据存储、日志记录服务以及除云存储以外的一切
在创建gce实例时,我使用ComputeEngine默认服务帐户(允许对所有云API的完全访问)。
已启用存储api
我尝试运行gsutil(在ssh连接到一个实例时
我最近加入了一个新的销售团队。此配置文件是关于销售AWS和GCP服务的。我想知道我应该如何开始通过互联网学习云技术?对于AWS,贵公司将有一个合作伙伴帐户。登录并转到培训部分。AWS有一些非常好的课程可以让你快速掌握进度
谷歌也有类似的计划。还有第三方公司,如云大师、Linux Academy、云学院、Udemy,以及YouTube上大量与云相关的视频
我已经设法将自定义元数据添加到存储在Google Cloud Bucket中的公共文件中,但HTTP响应中不会返回该自定义头
下图显示我的自定义元数据(X-Content-Type-Options)已添加到我的对象中。当我从浏览器请求该文件时,此自定义标题不是响应的一部分
可以添加自定义标题,但它们的前缀将是x-goog-meta-。AWS S3也受到同样的限制。这似乎是出于安全原因。我发现克服此限制的最精简的解决方案是使用AWS Lambda edge或Cloudflare edge Work
在下面的Curl命令中,内容类型、内容长度和访问载体被附加到我的bucket URI,以将文件上传到谷歌云存储
C:\softwares\curl>curl -X POST -H "Content-Type:application/json" \
-H "Content-Length:100" \
-H "Authorization: Bearer <MY_OAUTH2_TOKEN>" \
"https://www.googleapis.com/upl
我在Node.js上获得的get-getSignedUrl()方法与在SDK上获得的getDownloadURL()方法有什么区别?(我使用颤振)
使用我在云函数中使用的getSignedUrl(),当图像更改时(使用相同的文件名),返回的url不会更改
但是客户端代码中的getDownloadURL()会在图像更改时返回正确且变化的URL。它们在功能上基本相同,因为它们都提供对底层对象的直接下载访问
具有您提供的明确过期期限
签名URL可以使用某些形式的身份验证,您可以在文档中阅读
签名URL
1 2 3 4 5 6 ...
下一页 最后一页 共 21 页