分类: 天文学 >> 天文学 提交时间: 2023-01-18 合作期刊: 《天文研究与技术》
摘要: 随着天文观测技术的飞速发展,天文数据处理软件日趋复杂,天文数据处理环境的部署与管理日渐繁琐。利用容器技术将脉冲星数据处理环境封装成容器镜像并建立私有镜像库,科研人员可以根据数据处理需求选择镜像,实现数据处理环境的快速部署。利用实体计算机、虚拟机和容器中对脉冲星基带数据进行相干消色散处理,对比不同平台的资源利用率与数据处理效率。实验结果表明,容器的性能与实体计算机相近;在多任务并发的数据处理测试中,容器的资源分配更加合理,相较虚拟机可以提高计算资源利用效率。在新疆天文台脉冲星数据处理服务器上实现了基于容器的数据处理架构部署,设计并开发了容器管理图形用户界面,通过优化多用户登录、身份验证、数据卷挂载管理等功能,提高利用容器技术进行天文数据处理的效率。
分类: 天文学 >> 天文学 提交时间: 2018-12-03 合作期刊: 《天文研究与技术》
摘要: 平方公里阵望远镜(SKA)即将开始建设,各子工作包也将进入关键设计评估阶段。 基于云与容器技术是当前 SKA 科学数据处理器(SDP)未来可能采用的平台技术。本文针对 SDP 超大规模海量数据处理中所面临的天文应用软件快速部署、运行与实测要求,充分考虑 了天文应用软件运行环境复杂,云计算环境下超大规模计算集群部署困难等问题,系统研究 并给出了一种使用 Docker 技术的天文应用软件通用自动部署方法,论文以目前较为常用的 可见度函数校准软件 SAGECaL 为例,首先分析了 SAGECaL 的相关特性和分布式部署方面存在的困难,进而给出了基于 Docker 容器技术的 SAGECaL 分布式集群的自动部署方法。实验结果表明,本文所提出的自动部署方法极大地提高了 SAGECaL 分布式集群的部署效率,满足了项目组承担 SKA-SDP 相关测试工作中所需要的基础平台部署与切换等需求。同时,本工作也为其它天文软件在云端的快速部署与执行提供了有益的思路。