分类: 天文学 >> 天文学 提交时间: 2020-11-12 合作期刊: 《天文研究与技术》
摘要: 随着巡天观测计划的进行,传统数据库技术无法满足海量天文数据的存储以及检索性能的需求。本文针对海量天文数据存储以及锥形检索时的高并发、高性能问题,采用数据库中间件技术,当海量数据到达传统数据库存储的阈值时,能够通过中间件技术以分库分表的形式存储到数据库集群中,充分整合关系性数据库和分布式技术的优点。在本文中,利用MySQL数据库集成DIF插件,在分布式数据库中建立伪球面索引,能够满足海量天文数据中锥形索引需求。
分类: 天文学 >> 天文学 提交时间: 2020-09-23 合作期刊: 《天文研究与技术》
摘要: 天线增益是用来衡量天线在指定方向接收和发射信号能力的参数。随着平方公里阵列(Square Kilometre Array,SKA)建设的日趋临近,基于Python语言的射电天文仿真、校准以及成像软件库(Radio Astronomy Simulation, Calibration and Imaging Library ,RASCIL)正在开发完善中,天线增益校准算法的高性能实现是其中重要的组成部分。本文基于RASCIL antsol天线增益校准算法开发工作,首先讨论了antsol算法的基本原理,随后分析说明了基于纯Python的实现过程,在此基础上进一步讨论了Python语言中算法的优化方法。结果表明,通过底层优化后的antsol算法实现可以达到非常高的性能。经过优化的算法将运用到SKA的增益数据校准实验中,本文所介绍的优化方法对其它天文软件的开发有一定的参考价值。
分类: 天文学 >> 天文学 提交时间: 2020-07-29 合作期刊: 《天文研究与技术》
摘要: 双星星族光谱拟合的实质是在双星星族理论光谱库对应的参数空间进行搜索,通过最小二乘法找到与被拟合观测光谱最相近的理论光谱。快速、准确的拟合是有效利用星族合成方法处理海量星系光谱的难点和关键。为了提高双星星族光谱拟合的速度,针对双星星族光谱拟合计算量巨大、拟合效率不高等问题,本文在双星星族光谱拟合的优化模型基础上,采用策略改进的遗传算法对模型进行求解,并与BS2fit算法和传统遗传算法进行比较。实验表明,通过改进策略的遗传算法对双星星族光谱拟合的速度平均可提高43.5%,一定程度上推动了演化星族合成方法在天文研究中的应用。
分类: 天文学 >> 天文学 提交时间: 2020-06-09 合作期刊: 《天文研究与技术》
摘要: 环境信息是大天区面积多目标光纤光谱望远镜(LAMOST,即郭守敬望远镜)运行状态的一部分,用于辅助望远镜的日常维护、观测以及后期数据处理。环境信息来源于多个子系统,而子系统的数据存储由不同单位设计,使得数据存储环境复杂,不利于统一检索。基于异步协程,我们提出了一种异构环境信息检索的方法。该方法利用数据库代理对象工厂整合多个数据库及检索字段信息,通过客户端和Web浏览器提供远程服务,以自定义检索命令的方式实现对异构数据库的检索。本方法充分考虑了后期升级的需求,保留多种数据库和应用接口,便于更多数据库和应用的接入。目前基于该方法开发的检索系统已部署于LAMOST运行环境,在实际运行中简化了运行环境检索操作,提高了工作效率和数据获取的精准度,提升了维护和观测效率。
分类: 天文学 >> 天文学 提交时间: 2019-09-18 合作期刊: 《天文研究与技术》
摘要: 测量集(MeasurementSet,MS)文件是成为射电天文领域的重要存储文件格式,并逐渐成为射电天文数据存储、分析与共享的标准格式,得到越来越多的天文数据处理软件如CASA、WSCLEAN等的支持,在ALMA、LOFAR等诸多射电望远镜系统中应用。但长期以来,MS格式在国内应用较少,技术规范文档非常缺乏。本文结合SKA工程桥接阶段相关工作需要,对MS格式的基本概念、目录结构和字段设计进行了介绍,在此基础上讨论了利用python-casacore调用底层casacore生成MS文件的方法,并将此功能封装到当前SKA的算法参考库(Algorithm Reference Library, ARL)。文中给出了利用ARL仿真观测生成MS文件的实例,并通过CASA软件对生成的MS文件成像,经过结果比对,验证了MS文件的正确性。本文的工作为SKA后续的成像实验、观测模拟和文件存储都提供了关键的保障,在满足SKA工程桥接阶段工作需要的同时,也为国内外射电天文数据处理工作提供了参考。
分类: 天文学 >> 天文学 提交时间: 2019-05-30 合作期刊: 《天文研究与技术》
摘要: 望远镜的观测日志在观测用户进行数据处理以及台站对观测数据进行存储、归档和发布的时候都非常重要,观测日志往往能提供很多观测信息以供用户判断观测数据的质量。在实际观测过程中,观测日志是通过观测助手或观测用户手工记录的,存在信息不全、笔误等多种可能,且纸质的日志也不利于后期观测数据的归档和发布。本文针对丽江2.4米望远镜YFOSC的观测数据,设计研发了一套自动记录观测日志的辅助系统,该系统可以自动记录观测数据的日志信息,并提供了修改错误信息的功能;系统中以观测用户的观测时间申请书编号为唯一代码对观测数据进行管理,从而实现了根据不同观测用户进行观测数据打包的功能。在保护观测数据权限的同时,降低了笔误带来的影响,提高了观测日志的准确性,最终提高观测效率。
分类: 天文学 提交时间: 2018-12-04 合作期刊: 《天文研究与技术》
摘要: 射电干涉阵列宽视场成像网格化处理过程中必须考虑w项的影响。w-projection和w-stacking是两个重要的宽视场成像网格化处理算法, w-plane参数是算法中影响计算速度和成图质量的一个重要因素。本文研究了w-projection和w-stacking两种网格化算法,利用SKA1低频阵台站数据和ASKAP软件包进行模拟观测,对两种算法在不同w-plane参数取值情况下的成图速度和成图质量进行了定量分析对比。结果进一步表明w-plane是性能改善的重要参数,针对w-projection算法来说,w-plane取值应比一般给定的经验值要大才能较好的得到成像效果。w-stacking算法虽然有很大的速度优势,但算法实现中w-plane的影响更为显著,论文给出了推荐的w-plane取值。本文工作是大视场成像算法的基础研究工作,对未来SKA科学数据处理中的管线设计有较好的参考价值。
分类: 天文学 提交时间: 2018-12-04 合作期刊: 《天文研究与技术》
摘要: 观测控制系统(Observation Control System,OCS)是当前的一个研究热点,底层通信是OCS架构中重要的一个环节。但传统的OCS中一般采用裸套接技术实现,缺少统一的传输控制机制,在密集数据通信时经常存在延迟影响实时控制的需要; 同时缺少广播与组播机制,限制了OCS系统的设计。本文针对OCS的要求,系统研究分析了基于ZeroMQ不同通信模型及所对应的天文控制模式,对不同的通信控制架构可用性进行了分析。在此基础上通过实验对相应的通信模型进行了测试,验证其在天文仪器分布控制中的可用性。测试结果进一步说明ZeroMQ构建OCS的底层通信架构是可行的,能够满足OCS对设备的各种控制需求。
分类: 天文学 >> 天文学 提交时间: 2018-09-11 合作期刊: 《天文研究与技术》
摘要: 平方公里阵列(Square Kilometre Array,SKA)望远镜建成后将会具有超高的灵敏度、超快的巡天速度以及宽视场,进而产生超海量的观测数据。在SKA天文台与各国区域数据中心间的海量数据同步/传输是当前SKA建设中的一个难点。SKA先导项目使用的下一代归档存储系统(Next Generation Archive System, NGAS)在应用测试中存在效率低下,性能不足等问题。本文提出了一种基于ZeroMQ的数据存储与同步方法,通过采用更加高效的异步消息机制实现同步传输数据,回避了NGAS原有的采用HTTP协议的局限。实验结果表明新方法在平均数据归档存储效率方面比NGAS原有方法快了将近40倍,能够基本满足10GB带宽的全速传输需要,取得了较好的使用效果。
分类: 天文学 >> 天文学 提交时间: 2018-05-29 合作期刊: 《天文研究与技术》
摘要: 明安图射电频谱日像仪(MingantU SpEctral Radioheliograph, MUSER)目前已经进入常规观测,必将产生海量的观测数据。针对日像仪需要高效管理其产生的海量观测数据并提供高效检索服务的需求,负数据库管理系统提出并被应用到日像仪中。详细介绍了负数据库的接口设计与实现,并通过实验验证了所设计接口的有效性和性能。负数据库管理系统不仅可以有效解决其面临的问题,也可以为新一代望远镜负数据库管理系统提供参考。
分类: 天文学 >> 天文学 提交时间: 2018-05-29 合作期刊: 《天文研究与技术》
摘要: 光学和近红外太阳爆发监测望远镜每天可以获得大量的太阳图像数据,对这些观测数据进行实时选帧处理,一方面可以减轻存储压力,另一方面也可以提高后续图像重建的质量。针对实时观测过程中的选帧要求,设计并实现了一套基于图形处理器的图像选帧实时处理模块,当前的模块已经实现了平均梯度法和谱比法选帧两种算法的高速并行处理。对模块的实现进行了细致的讨论,并比较了两种选帧方法的加速比。实验表明,该模块运行稳定可靠;从执行效率来看,针对近全日面图像的选帧总体执行时间最快为1.2s,比原有串行实现提升了7倍;局部面图最快为0.7s,平均提升了5倍。整体模块的实现与当前性能已经可以满足实时观测与处理的要求。
分类: 天文学 >> 天文学 提交时间: 2018-05-24 合作期刊: 《天文研究与技术》
摘要: 明安图射电频谱日像仪每天产生海量观测数据,传统的关系型数据库存储和管理这些数据时,面临着读写延迟高、性能和容量扩展能力有限以及可用性弱等诸多问题。针对这些问题,开展了基于NoSQL的海量数据存储与检索应用研究。首先,详细分析了明安图射电频谱日像仪数据特点、存储需要以及面临的问题;然后,对明安图射电频谱日像仪进行数据建模,给出了明安图射电频谱日像仪的列式非关系型数据模型,同时提出了元数据和数据在NoSQL中的同步存储方法,解决了二者的一致性问题,在此基础上实现了基于Cassandra的海量天文数据存储管理系统(MBDMS),最后通过实验验证了系统存储与检索的高效性、扩展性以及可行性,从结果来看,MBDMS可以很好的满足数据管理需要,是解决当前数据存储问题的一种有效方案。
分类: 天文学 >> 天文学 提交时间: 2018-05-15 合作期刊: 《天文研究与技术》
摘要: 随着天文技术的进步,天文望远镜系统组件日趋于复杂化,望远镜自动控制系统已成为望远镜进行常规观测的核心组成部分。通常执行一个完整的观测计划需要不同设备之间相互配合,协同工作,因此,具有一个高效的底层通信框架是望远镜自动控制系统成功的关键。ZeroMQ是一个高性能的网络通信程序库,提供了多种基础的通信模型,可用于构建复杂的分布式程序,非常适合天文望远镜观测控制这样的分布式、多种通信模式并存和低延迟要求的场合。回顾了在望远镜控制系统中广泛使用的CORBA,DCOM,原生Socket等网络技术,给出了基于ZeroMQ的新一代望远镜自动控制系统通信框架的总体设计,讨论了套接字设计、消息模型设计、序列化等关键技术的解决方案。
分类: 天文学 >> 天文学 提交时间: 2018-05-15 合作期刊: 《天文研究与技术》
摘要: 中国新一代频电频谱日像仪-明安图射电频谱日像仪(Mingantu Spectral Radioheliograph,MUSER)以高时间、高空间、高频率分辨率工作在0.4GHz~15GHz,为太阳爆发活动初始能量释放区的物理过程、太阳电子加速等研究开辟了新的窗口。高性能高质量太阳成像算法是MUSER数据处理流水线至关重要的研究内容。参考法国墨东天文台太阳干涉阵的数据处理方法,系统讨论分析了多尺度(Multi-Scale)CLEAN算法,给出了适用于MUSER的多尺度CLEAN算法参数,并重点讨论了算法的GPU并行。实验结果表明,改进的多尺度CLEAN在算法效率上比基于GPU实现的Högbom CLEAN提高了近3倍,有效提高了整个MUSER数据处理流水线的性能。
分类: 天文学 >> 天文学 提交时间: 2018-05-15 合作期刊: 《天文研究与技术》
摘要: 大气湍流导致地基望远镜成像模糊,高分辨图像重建是解决这一问题的有效方法,K-T高分辨图像重建方法是其中常用的一种,但存在数据大、计算复杂等因素的制约,导致重建非常耗时。针对当前中央处理器与图形处理器混合架构下的高分辨图像重建开展研究,采用MPI-CUDA混合并行技术,最终实现了一套在单机GPU环境下基于斑点图像重建技术的高分辨太阳图像重建系统。通过实验验证,与单一的信息传递接口并行相比,图像子块的处理速度有了显著提升,在8个子进程下整个流程的加速比达到了2。实验结果表明,MPI-CUDA混合并行的有效性,能够为天文研究中的大规模计算任务提供借鉴和参考。
分类: 天文学 >> 天文学 提交时间: 2017-10-20 合作期刊: 《天文研究与技术》
摘要: 中国明安图超宽频谱射电日像仪(Mingantu Ultrawide Spectral Radioheliograph ,MUSER)进入实际观测后,每3 ms产生一帧100 kB左右的数据,每天的原始观测数据约3. 5 TB。由于射电日像仪的原始数据采用自定义格式,为了后续数据分析和共享的需要,有必要根据数据存储需求把这些原始数据转换成天文常用的文件格式。在前期工作中已经实现了原始数据格式到UVFITS文件的转换,在此基拙上研究了基于MPI的集群并行环境下UVFITS合成系统性能优化。通过实验验证,在改进后的并行环境下,UVFITS合成系统的性能达到了需求的2. 5倍,可以有效处理当前及未来一定时间内射电日像仪的海量观测数据。同时,改进后的系统具有良好的横向扩展能力,能够为相关项目的数据处理提供借鉴和参考。
分类: 天文学 >> 天文学 提交时间: 2017-10-20 合作期刊: 《天文研究与技术》
摘要: 我国明安图射电频谱日像仪(Mingantu Ultrawide SpEctral Radio Heliograph, MUSER)已经完成所有的硬件设备安装与调试,即将进入常规观测。为有效地保证观测数据的可用性,项目组购置了Vantage Pro自动气象站,用以实时监控观测地的气象条件变化。首先介绍了MUSER项目的基本情况,论述了在项目中气象条件的应用场景及在数据处理时对数据有效性可能造成的影响;详细介绍了Vantage Pro气象站的数据采集格式、数据交换格式以及串行通信协议;介绍了在气象数据的存储方式;最后给出了构建气象数据服务、数据归档和高效查询的方法。可以应用在望远镜自动气象监控和数据处理方面,也可以为选址的自动气象监测提供春考
分类: 天文学 >> 天文学 提交时间: 2017-10-11 合作期刊: 《天文研究与技术》
摘要: 冕环结构的准确识别和跟踪有利于更好地研究和分析冕环特征以及同耀斑爆发和日冕物质抛射之间的关系。提出基于相位一致性和方向滤波的冕环震荡识别和跟踪方法。识别过程如下:首先,使用相位一致性技术对太阳图像中的冕环特征进行识别;其次,对识别后的图像进行二值化处理;接着使用方向滤波去除非冕环的结构特征;然后,对其进行形态学处理;最后,再对识别结果进行二次曲线拟合。运用所提算法对2011年9月6日由太阳动力学观测站(Solar Dynamics Observatory, SDO)在Fe IX 17.1 nm波段观测到的冕环震荡进行了识别和跟踪,结果验证了所提算法的可行性和准确性。证明所提算法能被用于冕环特性以及震荡过程的研究和分析。
分类: 天文学 >> 天文学 提交时间: 2017-09-26 合作期刊: 《天文研究与技术》
摘要: 天文远程监控是天文研究的重要组成部分。为及时发现由于天气原因、电磁干扰、天线故障等导致的异常数据,提高数据处理的可靠性,我国明安图频谱射电日像仪迫切需要实现实时观测状态的远程监控。提出了一种基于WEBSOCKET技术的远程监控数据的可视化展现方法,并以观测过程中功率图和频谱图的实时展现为例进行了验证。实验表明,方法可满足实时监控数据可视化展现需求,并且改变了传统的现场监控模式,打破了地域限制,具有可靠性高、实时性好和扩充性广等诸多优点,提高了工作效率和设备利用率,对其它远程监控数据可视化展现系统有一定的参考价值。
分类: 天文学 >> 天文学 提交时间: 2017-09-26 合作期刊: 《天文研究与技术》
摘要: 明安图射电频谱日像仪(Mingantu Ultrawide SpEctral Radioheliograph, MUSER)已经完成硬件建设,与之配套的数据处理系统也初步开发完成。为提高用户操作的可用性,简化操作难度,数据处理系统在提供传统的命令行用户界面的同时,也提供了网络交互方式。简单介绍了Web.py的基本概念和内部组件交互流程,讨论了基于Web.py进行网络开发的方法和流程,并利用 Web.py框架实现了数据处理系统的网络界面交互。成果已经应用,提高了日像仪数据处理系统的可用性,也为其它天文软件系统的开发提供了一定的借鉴与参考价值。