基于Python实现批量读取大量nc格式文件并导出全部时间信息
本文介绍基于Python语言,逐一读取大量.nc格式的多时相栅格文件,导出其中所具有的全部时间信息的方法。
.nc是NetCDF(Network Common Data Form)文件的扩展名,表示一种常用的科学数据存储格式。NetCDF是一种自描述的、可移植的二进制文件格式,用于存储科学和工程领域的大型数据集;由于其自身的特性,.nc数据被广泛应用于气象学、海洋学、地球科学、气候研究、大气科学、地理信息系统等领域。
首先,明确一下本文的需求。现在有一个文件夹,其中具有大量的.nc格式的栅格文件,如下图所示。
其中,每一个.nc
格式的文件都具有多个时相(或者说是多个维度),而不仅仅只是一个时相。我们希望,读取这个文件夹中的全部.nc
格式文件,并获取其所表示的每一个时相。
明确了需求后,我们就可以开始具体的操作。首先,本文所需用到的代码如下。
# -*- coding: utf-8 -*- """ Created on Sun Dec 31 20:28:03 2023 @author: fkxxgis """ import os import netCDF4 from netCDF4 import Dataset def list_nc_dates(folder_path): nc_dates = [] for file_name in os.listdir(folder_path): if file_name.endswith(".nc"): file_path = os.path.join(folder_path, file_name) try: dataset = Dataset(file_path) time_var = dataset.variables["time"] time_values = time_var[:] time_units = time_var.units time_calendar = time_var.calendar dates = [] for value in time_values: date = netCDF4.num2date(value, units=time_units, calendar=time_calendar) dates.append(date.strftime("%Y-%m-%d %H:%M:%S")) nc_dates.append((file_name, dates)) except Exception as e: print(f"Error reading file {file_name}: {str(e)}") return nc_dates folder_path = "F:/Data_Reflectance_Rec/soil_1" nc_dates = list_nc_dates(folder_path) for nc_file, dates in nc_dates: for date in dates: print(date)
这段代码整体思路也很明确。
首先,我们导入所需的模块。在这里,需要导入Python的os模块,用于处理文件和文件夹路径操作;同时导入netCDF4库,并接着从netCDF4库中导入Dataset类,用于打开和读取.nc文件。在这里,如果需要配置netCDF4库,大家可以参考文章 Anaconda下Python中h5py与netCDF4模块下载与安装方法。
接下来,我们定义了一个名为list_nc_dates的函数,接受一个文件夹路径作为参数。在函数中,首先创建一个空列表nc_dates,用于存储每个.nc文件及其对应的日期列表;随后,使用os.listdir()函数遍历文件夹中的所有文件,通过检查文件名是否以.nc结尾来筛选出.nc文件。紧接着,对于筛选出来的.nc文件,使用os.path.join()函数构建其完整路径。
其次,使用Dataset类打开.nc文件,并将打开的文件对象赋值给dataset变量;随后,获取.nc文件的时间,在本文的.nc数据中,也就是名为time的变量,并将时间变量的值读取到time_values变量中。接下来,分别获取时间变量的单位与时间类型。
随后,我们创建一个空列表dates,用于存储日期字符串。遍历时间变量的每个值,使用netCDF4.num2date()函数将时间值转换为日期对象。紧接着,将日期对象转换为指定格式的字符串,并将其添加到dates列表中。此外,这里还将.nc文件名和对应的日期列表作为元组添加到nc_dates列表中,方便我们后期对日期的核对。函数的最后,返回包含每个.nc文件及其对应日期的列表。
在函数外部,我们设置文件夹路径,随后即可调用list_nc_dates函数,将文件夹路径传递给它,并将返回的结果赋值给nc_dates变量。最后,通过循环,打印每个日期即可。
执行上述代码,即可出现如下图所示的结果(结果很长,就截取一部分)。由于在本文中,每一个.nc格式文件的每一个维度(即每一个时相)都是精确到天的,所以下图天数后的时、分、秒都是00。当然,如果大家的.nc格式文件维度很多,时相打印出来的话也不好完全显示,所以可以考虑将时间信息导出为表格文件等;例如,可以将每一个date都放在DataFrame中,随后导出为.csv文件。
至此,大功告成。
到此这篇关于基于Python实现批量读取大量nc格式文件并导出全部时间信息的文章就介绍到这了,更多相关Python读取nc格式文件内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!
- python中的netCDF4批量处理NC文件的操作方法
- 如何用python合并多个有规则命名的nc文件
- Python安装xarray库读取.nc文件的详细步骤
相关文章
pytest接口测试之fixture传参数request的使用
本文主要介绍了pytest接口测试之fixture传参数request的使用,文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下2021-08-08Python之freegames 零代码的22个小游戏集合
这篇文章主要介绍了,Python之freegames 零代码的22个小游戏集合,文章内容详细,简单易懂,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧2023-01-01Python使用pip freeze的完整指南
pip freeze 是 Python 包管理器 pip 的一个非常有用的命令,它可以列出当前 Python 环境中已经安装的所有包及其版本,本文将详细介绍 pip freeze 的用途及其在不同场景下的使用方法,需要的朋友可以参考下2024-08-08python3+PyQt5 使用三种不同的简便项窗口部件显示数据的方法
今天小编就为大家分享一篇python3+PyQt5 使用三种不同的简便项窗口部件显示数据的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧2019-06-06图像检索之基于vlfeat实现SIFT特征
SIFT特征的讲解已经很多了,本文就借助vlfeat对SIFT特征的提取过程做一个总结。接下来通过本文给大家介绍图像检索之基于vlfeat实现SIFT,感兴趣的朋友跟随小编一起看看吧2021-12-12解析python高级异常和运算符重载
异常是一个事件,该事件会在程序执行过程中发生,影响了程序的正常执行。 运算符重载,意味着在某个类的方法中拦截内置的操作,当类的实例出现在内置操作中,Python会调用你的方法,并且方法的返回值会作为相应操作的结果。本文主要介绍了python的高级异常和运算符重载2021-06-06Python Selenium中常用的元素定位方法总结
在Web自动化测试中,元素定位是一项非常重要的技术,Python Selenium提供了各种元素定位方法,可以帮助我们定位页面上的元素并与之交互,本文将详细介绍Python Selenium中常用的元素定位方法,并提供实例代码,需要的朋友可以参考下2023-11-11Windows下pycharm安装第三方库失败(通用解决方案)
这篇文章主要介绍了Windows下pycharm安装第三方库失败(通用解决方案),文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧2020-09-09matplotlib 对坐标的控制,加图例注释的操作
这篇文章主要介绍了matplotlib 对坐标的控制,加图例注释的操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧2020-04-04python3实现点餐系统
这篇文章主要为大家详细介绍了python3实现点餐系统,具有一定的参考价值,感兴趣的小伙伴们可以参考一下2019-01-01
最新评论