BASS 原始数据处理流程暨1月份数据处理 2015 0210-0224 鉴于处理双色（g，r）；BOK-fits头，增加成双方向有OVERSCAN； 原始数据存放目录变化；以及简化操作（带目录）；CCD-3需同时用 dome和sky平场等等。写下处理流程，备查。 今年数据改善的地方不少： 1. OVERSCAN 好了不少。往年受亮星影响大，得用大窗口平滑，势 必引入大的误差。 2. 四个角不再发亮发暗（指电路引起的缺陷），程序无须专门对四 角进行专门处理。 3. 四门平衡比往年好。 4，竖条纹比往年好，仅个别门出现，且频率小了许多。 5，大亮星“溢出”，好了许多许多，边缘不再溢出。 6, 4号1号ccd “表现好”。平整，修改少。 处理程序改动很多。用新的一组程序。 1. 带目录处理 2. 命令行输入更方便 3. 自已开发的jfits程序，使用时十分给力，随心所欲，省去烦恼。 许多单图，仅调其中一个门1个ADU。能十分清楚显示。 人老眼花，以前一直担心，“逐图审核”能否坚持到最后。 4，人为干预减少。（指处理亮星的背景） 5，天光能定得准些，为后续处理（合并图像）带来好处。 6. Uband几乎是无月夜的图像；本轮可以用“灰夜”的图像。 准备了一些“校背景”的程序。 一。原始数据存放 数据按月处理 local机器> ls 201501*/* >201501.name local机器> rsync -a 201501?? uband:/line2/line2-00 uband机器> cd 201501* mkdir bias flat bad 用dirss命令，得知*.fits属性，分别移动文件。 focus*,test*,短曝光的文件移动到 bad 目录。 2015年1月有效图像：（去坏图） **150107 g 4*4 天光~25000。不能用 150109 g 8*4 用14号的g*.fit，圆顶平场，做了“背景”修正。 ** r 10*4 天光 5000~20000，未处理 **150110 r 24*4 天光 >5000 未处理 150114 g 140*4 编号174后的25幅*4图像，全做了“背景”修正。 150115 g 193*4 1号4号，CCD好，未作太多修改。 2号CCD，3号门前阶段有竖条纹。四门不平衡。 r 8*4 天光 >3000，用圆顶平场，留下了类拟月球表面 的“环形山”。全做了“背景”修正。 150116 g 273*4 150117 g 302*4 150118 g 268*4 2号CCD，3号门有竖条纹；3号ccd修正，费劲。 二。生成当月BIAS cd /line5/bass/1501bias b_d4 /line2/line2-00/20150107/bias/*.fits b_d4 /line2/line2-00/20150109/bias/*.fits b_d4 /line2/line2-00/20150110/bias/*.fits b_d4 /line2/line2-00/20150112/bias/*.fits ... 运行 0key （每天第一个bias，其值有点偏离，但无碍统计） 三。生成实测数据 e*.fit，sky平场 cd /line5/bass/150107 cp ../15bias/bias*.fit . b1key_sky /line2/line2-00/20150107 & 四。生成圆顶平场（仅对颜色g） cd /line5/bass/150107/flat b_d4 /line2/line2-00/20150107/flat/*.fits bflat ! 生成全部平场 cd /line5/bass/150118/flat bflat 3 仅生成3号平场 （若当天数据很多） 五。替换3号ccd-g色平场，生成pattern（2048*4032）图像 如观测少，有效图像小于50幅。将圆顶平场（4幅）拷入数据目录。 先做数据多的目录。拷一幅日期相近的（g????g_3.fit) pattern图像到本目录区，改一下名，运行bp4 e*g????_3.fit 否则： 在当天数据目录。 运行 combflat 1. 生成 3号ccd的特殊平场： 1,2门用圆顶，3,4门用天光平场。 2. 取一致曝光时间的，天光相似的e*_3.fit，左半拉图像 除以特殊平场，生成g*.fit, (2048*4032) 3. 类似生成天光平场，生成“非线性”pixel图像，供 下面bp4相加。抬高3号ccd1,2门左半拉的天光背景。 六。生成 p*.fit bp4 e*.fit crosstalk，平衡四门天光背景，（四门相邻处），或在无亮源 处找出天光背景 3号ccd的1,2门背景提升调整。 bp4中包含了3号CCD，g色修正。 本步骤最费时间和眼神， 逐图反复校正。被校过的图在1千幅以上。 七。各目录去坏图 用jfits查看，坏图存放到当前目录的bad下。 它们是： 天光亮，跟踪，。。。 同时有个readme文件， 有些图像缺了一个“门”的数据。并未 拷到bad目录。其它3门数据能用。 在有些情况下，并非严格的一个门，其中一个门缺95%，临近一个门 缺5%。 已查，原始数据为“零”。经减BIAS，除平场，在p*.fit上表现 为负数，显示图像为一片“漆黑”。 共有16幅单图出现问题。均在1,2号CCD上。 应通告BOK，硬件问题无疑。 八。目视所有单图 在两个窗口同时进行，（我至少进行了两轮目视修改） A。jfits e*_1.fit @5 用bp4实时修正后，马上可以看效果。（1秒出图） @5 固定显示zscale为5 adu， 否则按个图天光背景起伏出图。 B。bp4 单图, 修饰单图， （介绍bp4中的子程） 1. 天光背景选取位置 getsky（图像，x，y，输出天光，输出sigma） jfits 一眼看出。 对单图测光无影响，对合并图像至关重要。 2. y=2016附近有“大”亮星，OVERSCAN产生的暗竖道。 fill（1/2/3,图像，起始列，终了列） 1： 1,3 门； 2: 2,4门； 3： 上下门同时修正。 以前放在e4b中处理，实质是加减一个数。模平。 3. 单门“竖条纹”修正。 往年出现很多。今年出现少些，集中在2号ccd，3号门上。 分时间段，有时整晚都不出现 子程名：over（gate，图像，adu加减值）， gate=1,2,3,4 a。求出每列数据的“天光”值，（iraf方法） b。求， 和(总的)SKY差值，加上修正值，模平。 4. 四门平衡 今年情况好多了。不再自动修正。（自动修正有弊病,不如人眼） 用jfits看，修改后再看，很方便，直观。1个ADU之差别能分辨。 add_adu（图像，n1,n2,n3,n4) n? 修正值。不改动者，值为零。 5. “月光，晨光”修正。 本期巡天，肯定有“灰夜”图像。图像上天光不平 150114 后半夜图像就是如此。 图像必须修正背景，不然无法合并。 找一个平滑的背景图去实现。 不影响测光，反而能提高测光精度。 星象的测光精度取决于： 星的流量，背景起伏。 修正背景后：和去除背景后的星的流量值无关。 “斜坡”的背景改成“平”的背景， 点之间的起伏没有多大改动。总体背景起伏 却得以修正，测光精度就提高了。 例： 图像总体背景起伏能减少一半。 mini（gate号，图像） gate=1,2,3,4和5 四门单独修正，5代表四门全部逐一修正。 平滑背景求出： 在2048*2016图像上，求出16*16个天光背景，带sigma。 考虑了，上下边的坏道影响，15行，排除在外。 “桩点”不宜太多。以减少亮星影响。 16个点，求三个待定系数，够了。 用二次曲线最小二乘法拟合，带权重，sigma平方的倒数。 若“桩点”处于亮星附近，sigma必定大，权重就大大减小。 在X,Y方向上，分别求出16条“理论”曲线。 “理论”曲线可以解决边缘问题。变成16*18个“桩点”。 X，Y的“桩点”阵，相加除2， 产生 18*18 个点阵。 图像逐点加上，和已知sky值的偏离。修正就完成了。 又： 边缘“桩点”对二次曲线的“走向”影响甚大。 如果存在“亮星”，修正后的背景会往下“掉”。 程序做特殊修正， 输出数值“桩点”阵，人工令某些 “桩点”的权重为0。虽说不能完全改观，但大为改善。 slope（ gate号，图像，slopex，slopey，判断值） 做法同上，可将背景在任意方向上，调“坡度” 判断值： 0 全部调； 1 大于均值的地方不调； -1 小于均值的地方不调。 以达到调一个角，或半幅的效果。 为什么整幅单图不一并处理: A. 四门如不平衡，接缝处就成了问题。 B。二次曲线不能完美描述比较大的区域。 16个门，等于16个ccd来处理。 C。四门处理所用“归一”sky是同一个值，完成后，不需 再做四门“平衡”。 d。曝光时间长的图，特别是3号ccd，难调。 九。位置定标 2key ！ 2key中，做2次 coord84。原因在高纬，投影中心需要两次逼近。 以致能对上更多的星。 -------- 在高纬，78度以上，约有20%的图像定标，低精转高精失败。 低精：初级定标，误差0.7”，星数比高精少一半。 投影中心为单图中心，未做也无法做径向修正。 高精：在初级基础上进行，投影中心改为四单图中心。做径向修正。 精度在0.16", 星数大大增加，占全部取出的UCAC4星数目 的 80%以上，（ 10%几的星为：自行大，污染，。。。问题） 处理：以coord61为蓝本，成功初级定标后，取同一批星，人为移动 投影中心，加上径向修正。一气哈成。程序为 coord64 再用原来coord84程序统一四图中心。 高纬图的精度同于低纬。 估计，到高纬88度以上后，还会出幺蛾子。无法预测。 ------- 今年的位置，有问题的很多，老听说，高纬望远镜指向有问题。 写了新程序： dirccd5 /line5/bass/150117/p*.fit 列出 RA，DEC 的位置差，角分为单位。 有的位置，挪到别人家了，得补拍。 十。星等定标 感谢UCAC4，该星表提供了 g，r 星等。 综览定标直线，是弯的。 取 14~20等。（UCAC4 星等到18等左右；列出的20.0等，是测不准的） 在当前版本的fits头。第28行，增加了keyword，CALIBRU4 列出UCAC4的定标值。 可用程序观看： dirccd4 /line5/bass/150118/p*_1.fit -------- 在某些天区，UCAC4 g，r星等缺失。均以20.0标出。 只能用UCAC4 星表星等。（介于g，r之间，见/UCAC4/readme_u4.txt) 在此keyword行上，增加*号，以此区分。 该定标值不太可靠。小了许多。弥散太大。 --------- 斯隆定标，暗端我们测到的星等比较亮。取16~21等星定标， --------- 看定标曲线, 拷几幅p*fits到自己目录。 bc40 p*.fit ! bc41 p*.fit ! --------- dirccd4 最终给出 两星等的统计 偏差。（带*的图，不参与统计） 其值及误差 趋于稳定。 日期 图像数 定标差 误差 150114 ( 560 467) 459 0.001 +-.039 150115 ( 772 426) 421 -0.003 +-.041 150116 (1092 832) 814 0.046 +-.046 150117 (1208 955) 946 0.052 +-.048 150118 结果很好，两个系统出的定标值趋于一致。均在误差范围之内。 如此“吻合”，很惊奇。 惊奇两点，均值和rms如此之小。 如无斯隆定标，UCAC4可否取代？ UCAC4 满天都是。 UCAC4 有不足之处，星少，不够暗，曲线是弯的。 最终参与定出 定标值 的星数目很重要，不能在列出的误差上体现。 dirccd4 还能带 第3个参数运行，给出单图的rms。最终给出算术 平均值。 可以分别单独统计1,2,3,4号CCD的rms。3号ccd经上述改正后，其 rms 未见异常。（从另一角度，说明 圆顶+天光 平场可行） 附录： A。被调用命令更新： d4，e4 两种大小的fits文件兼容 be4b，bp4 （对应e4b，p4） B。X，Y向的OVERSCAN 用99pixel的窗口做中值平滑。 去除原始OVERSCAN的问题。可构成OVERSCAN图像。 C。P*.fit fits头KEYWORDS FILENAME 行上增加平场属性，分别为 sky，dome，dome+sky（3号CCD，1,2gate用dome，3,4号用sky） 在keyword，“INSTRUM”后加上，图像背景修正否? 在keyword，“SKYADU” 后加上，背景起伏ADU （IRAF天光） 在keyword，“RDNOCAL”后加上，取天光位置，不写对代表取自 图像中央。 在keyword，“GAINCAL”后加上，四门背景微调。不写代表不调。 在keyword “RDNOISE,GAIN”后加上 amp ID 号。 本期的RDNOISE,GAIN感觉不错，值不尽相同，可用。 RDNOCAL，GAINCAL值暂时缺失，需要的话补填，keyword保留。 增加keyword，“CALIBRU4”， UCAC4定标。 D。3号ccd12门左边，修正原理。 已知： 1. 1,2门左边，pixel响应非线性，---弱光反应弱--- 天光背景往下掉。 2. 该部分区域，用星等测光比较，用圆顶平场大大优于天光平场。 3。天光背景，在统计角度，应是趋于一致的。 所以： 用圆顶平场，找出修正pattern图像后添加。对测光无影响， 视觉改观，尤其在合并图像上体现。 加半幅“常数”图像。 做法： 1. 2013年做法太繁琐，人工干预太多。几乎逐图修正。意思是一样的。 2. 今年曾用，逐行二次曲线最小二乘法拟合。有亮星部分修正效果 仍不佳，综观改正后的图像，还存在pattern。化了太多的时间。 3. 统计出pattern，类似减bias的pattern，现在是归一后相加。 （周旭两年前建议过） 量： (1.0-pattern)*（scale-50）， scale可以从g*.fit制作时所用参数定出。 此处scale提法不确切，权当变量名。 例： 做pattern图像，保证50幅以上。 从 < 300adu天光图像统计出，scale取250 从小于350adu图像统计出，scale取300，以此类推。 缺陷：非线性pixel上有亮面源，修正量就加多了，但不影响测光 和观看。 E。 /line2/line2-00 有专题目录。 readme.log 记录我程序发展流水帐。 TXT： 我发的重要mail，按日子记录。 ID_1-16： 16个门的对应，确认。（P*.fit做了重组，旋转） ccd3： 3号ccd非线性，星等测光数据确认。 F。 两种不用性质的背景修正。 最终效果是一样的，在各个pixel上，天光做加减。 但不可能合在一起解决。 A。ccd3 1,2门非线性 可以看pattern图，在各自目录下的g*.fit。 用每天，天光背景比较暗的图像统计而出。 X方向满足二次曲线特征，而Y方向不是。 每天的结构不尽相同。不然结果会出现“横”条纹。 它是一个“pattern”，但又不同于bias的“pattern” 它是在“低”曝光下产生的，（所以说，非线性） 目前是用了圆顶平场。从星等测试的角度来看，效果不错，但 并非说，完全解决了问题，是没有办法的办法。 推论： 亮星测光可信； 暗星却不是，测值应是偏小了些。 无法兼顾，除非得到每pixel的“底片特性曲线”。 B。“月光”使背景不平整。 仅有部分图需要修正。 单图进行。四门分别进行。 X,Y方向上的变化，满足二次曲线特征。 对测光无影响。（甚至有改善） 演示：bp4中屏蔽特定单图修正语句，jfits立马给出修正 前后的图像，可作比较。 G， 门，竖条纹处理。 例 150115,2号CCD，第3门，前夜出现。 一列 2016个数，用IRAF求天光程序，定出”天光“，抹平。 有亮星的图，处理后效果不佳，所以不做，有的图仍有竖条纹。 有少量的图，处理出来的效果也不好，呈现“宽的"条纹。 以前就发现过，揣测ccd的噪声“属性”不一致所致。 举例， 噪声 1,2,3 加起来=6； 另一种为 1,1,4， 加起来也=6 视觉效果一样。但统计值不同。 类似上述情况，也只能不进行处理。 出现在某个时间段。