Ed's 지식 공방

지식 요소의 가공과 분석, 그리고 여러가지 도구의 활용에 관한 내용

Category: Automation

  • H5py를 활용한 HDF5 포맷으로 된 데이터 추출.

    —

    by

    Ed
    in , , ,

    HDF5 파일포맷을 활용해본적은 없었습니다만, 최근 동료에게 주어진 실험 데이터가 해당 파일포맷을 활용해서 데이터 추출 작업을 할 필요가 생겼습니다. 그래서 동료는 Windows에서 대량의 파일들을 읽어들여 본인이 원하는 포맷으로 데이터를 저장하길 원했습니다. HDF5 포맷 자체는 여러 용도로 사용하고, 키, 그룹 등을 포함한 다양한 구조를 제공합니다만, 저의 경우에는 일단 데이터를 뽑아내서 활용하는게 목적입니다. 먼저 Silx로 확인해보니 구조가 다음과…

  • 파일명의 특정 문자열 이후의 숫자를 추출해서 사용하기 (sed)

    —

    by

    Ed
    in , , ,

    간만에 파일명중에 특정 문자열 이후의 숫자를 추출할 이유가 생겨서 작업하다가 기록을 위해 남겨둡니다. 예전에는 awk를 사용해서 어찌어찌 했던것 같은데 스크립트도 못찾겠고 기억고 안나고 해서 sed를 조합해서 사용했습니다. 파일명이 xxx_Rseed3112_xxx.data 와 같이 존재하고 Rseed이후의 번호를 추출해서 가공할 필요가 있어서 사용하는 스크립트입니다.