Techbrad

5분 주기로 메세지 전송 서버에 GET을 요청해야하는 상황이 발생해서 Docker 환경을 구성해서 Cron으로 작업을 했다. 요청을 수신 받는 서버는 CentOS 7.8의 Host에서 구동되어 있었다. 서버가 오래 되어서 파이썬 버전이 2.7.x 였고 운영중이였기 때문에 라이브러리 버전을 올리는 것은 부담이 되었다. 그래서 서버의 호스트 운영 체제의 버전이나 설정에 영향을 받지 않는 도커를 도입하기로 결심했다. 사전 준비 작업 환경: CentOS 7.8, Docker 24.06 오래된 서버 이기 때문에 버전을 맞추느라 고생했다. 역시 모든 작업은 의존성 때문에 버전을 먼저 체크해야한다. 적용시킬 서버게 폐쇄망이였기 때문에 도커를 설치하기 위해 RPM 파일을 준비했다. 준비 과정을 아주 자세하게 소개한 링..

mongodb에 데이터를 입력하면 _id 외에 다른 key의 중복 값을 제거해야할 필요가 있다. 의료 상담 데이터를 크롤링하는 과정에서 중복된 document가 발생하여 중복 값을 제거 하는 것을 찾아보았다. 하지만 어느 버전 이상부터 중복 값을 제거하는 기능이 없어져서 새로운 collection을 만든 후 유니크한 데이터를 옮기는 방법을 선택했다. hidoc 컬랙션 수 (중복값이 있는 컬랙션) hidoc 컬랙션 유니크 값 (counselAnswerCid 키를 기준) temp 컬랙션을 생성 (counselAnswerCid를 유니크 키로 지정) hidoc의 컬랙션을 전부 temp로 옮김 temp 카운트 확인 기존의 hidoc 컬랙션을 지우고 컬랙션 이름 변경

pem키 없이 AWS 라이트세일 서버에 접속할 수 있는지 찾아보다가 EC2 서버로의 접속만 있어서 이곳저곳 자료를 찾아보고 정리를 해보았다. Key 없이 접속하기 위해서는 서버에 ssm 에이전트가 설치되어야하고 System Manager를 사용해야 한다 작업 환경 - ubuntu 20.04 LTS 1. SSM 에이전트 구동 확인 서버를 구축하면 ssm agent가 이미 설치된 것을 확인할 수 있다. 실행 중인 agent를 멈추고 /etc 경로 밑에 ssm agent 실행에 필요한 파일들을 옮겨야 한다. 2. SSM 에이전트 관련 파일을 /etc/amazon/ssm 에 이동 ssm agent 관련 파일을 이동한다. $ mkdir /etc/amazon $ mkdir /etc/amazon/ssm $ cp -r..

LightSail에 CentOS7을 설치후 mariadb를 설치하였습니다. 이후 방화벽 설정과 계정 생성을 진행하여 외부에서 접속할 수 있는 환경을 구성했다. 1. 네트워크 방화벽 설정 - LightSail에서 방화벽 포트 3306을 OPEN 2. 계정 생성 Insert into user(host, user, password, ssl_cipher, x509_issuer, x509_subject, authentication_string) values ('IP주소', '계정', password('비밀번호'), '', '', '', ''); 3. DBeaver로 외부 접속 확인