Google cloud platform 谷歌数据实验室)如何通过pandas read_csv()读取谷歌云存储中存在的多个csv文件?
我找到了在Google cloud platform 谷歌数据实验室)如何通过pandas read_csv()读取谷歌云存储中存在的多个csv文件?,google-cloud-platform,google-cloud-storage,google-cloud-datalab,Google Cloud Platform,Google Cloud Storage,Google Cloud Datalab,我找到了在数据实验室中读取“单个”csv文件的解决方案: 但我想知道我怎么能在Datalab中读取“多个”csv文件 我试过的是这样的: variable_list = ['IBM', 'SPY'] for variable in variable_list: file_path = "gs://chois-trader-bucket/data/" + variable + ".csv" %%storage read --object file_path --variable varia
数据实验室中读取“单个”csv文件的解决方案:
但我想知道我怎么能在Datalab
中读取“多个”csv文件
我试过的是这样的:
variable_list = ['IBM', 'SPY']
for variable in variable_list:
file_path = "gs://chois-trader-bucket/data/" + variable + ".csv"
%%storage read --object file_path --variable variable
但是这个失败了,因为python变量与magic命令不兼容
如何有效地处理多个csv文件?您可以使用大括号中的变量
e.g) %storage read --object {file_path} --variable variable
或者,您可以使用bash中的一行程序将文件夹中的所有csv文件合并(假设csv文件中没有标题):
cat*.csv>联合文件名.csv
然后将该文件导入熊猫