pandas DataFrame에서 Splunk의 mvexpand처럼 활용하기
이번에는 데이터를 처리하면서 Splunk의 mvexpand같은 명령어를 만나서 포스팅해 봅니다. Splunk에서는 stats의 values를 이용하면 내용을 그룹화 해서 모아줍니다.(표현이 맞는지 모르겠지만) 그걸 한줄 한줄 확장할 필요가 있는데 이 때 사용하는 명령어가 mvexpand입니다.
»이번에는 데이터를 처리하면서 Splunk의 mvexpand같은 명령어를 만나서 포스팅해 봅니다. Splunk에서는 stats의 values를 이용하면 내용을 그룹화 해서 모아줍니다.(표현이 맞는지 모르겠지만) 그걸 한줄 한줄 확장할 필요가 있는데 이 때 사용하는 명령어가 mvexpand입니다.
»다양한 방법으로 책을 읽는 법을 소개하는 책이다.
»R에는 dplyr이라는 멋진 도구가 있습니다. Splunk에는 stats, eventstats, streamstats라는 함수가 있습니다. 아래 내용은 제가 학습하면서 Splunk와 같이 설명 할 수 있을거 같아 작성한 내용입니다. 다른 부분이 있으면 댓글로 알려주시면 고맙겠습니다.
»프로젝트를 진행하면서 수많은(?) 엑셀을 읽어 들이는 문제를 가지게 되었습니다. 처음에 테스트를 할 때는 몇개의 파일이 안되어 하나씩 일었으나 기간이 길어지면서 하나씩하는데 어려움을 느끼다가 다음의 코드를 찾았습니다. 여기서는 30개 엑셀(개별 20메가)을 읽었습니다.
»RFM 작업을 하면서 문자열로 된 날짜를 날짜 형식으로 변경하는 방법을 하다가 찾은 내용입니다. 기본적으로는 다음의 방법으로 날짜를 변경했습니다.
»새로운 글을 올리고 화면을 보는데 기존과는 다르게(?) 본문이 많이 보이는 현상이 발생한다. 이게 윗글이 짧아서 밑에 소스가 나오는것인지 확인이 안되어 글도 더 넣어보고 하는데도 역시 같은 현상이다.
»시스템 문제로 초기화를 한 다음에 conda 가상환경에서 tensorflow를 새로 설치하려고 하는데 다음과 같은 메시지가 나옵니다.
»계속 공부를 할 지 몰랐다. 학창시절에 하던 노력(?) 보다는 적은거 같지만 그래도 꾸준히 뭔가를 익히고 있다. 지금은 대학원에서 공부를 하는 것도 그 연장선상에 있는 것이다.
»12회 정보보안 기사 시험이 있어서 새벽부터 일어나서 긴 여행을 하고 왔다. 첫날 접수했으면 집 근처 학교에서 할 수 있었는데 잊고 있다가 거의 마지막날에 접수를 하니 다 마감되고 저멀리 노원구에 있는 경기기계공업고등학교로 갈 수밖에 없었다.
»정보보안기사를 봄부터 알고 있어서 준비를 하고 있는데 시간이 10일도 안남은 시점에 급하게 하고 있다. 미리 미리 준비를 좀 했어야 하는데 역시나 늘 미루고 있다.
»