본문 바로가기
728x90

분류 전체보기

 (74)
[AWS] EC2 외부 접속(SSH) - MobaXterm 기존에 윈도우에서 EC2 인스턴스로 접속하기 위해서 Open SSH를 설치하여 Powershell에서 SSH Client를 이용하여 원격 접속을 하였습니다. 매번 보안 키 경로를 입력하고 AWS 매니저에서 퍼블릭 DNS를 복사하는 과정이 번거로워 간편한 방법을 찾다보니 MobaXterm SSH 접속 툴을 알게되었습니다. EC2 외부 접속하기 [ MobaXterm ]https://jolocal.tistory.com/67 [Tool] MobaXterm 설치 & 사용 방법( SSH 접속 )MobaXterm리눅스에서 Telnet, SSH 접속을 위해 Putty나 XShell을 깔고, FTP/SFTP 접속을 위해 FileZilla를 깔고, 그 외 다양한 원격 접속용 프로그램을 복수개 설치하여 관리하면 많이 복잡해..
[Tool] MobaXterm 설치 & 사용 방법( SSH 접속 ) MobaXterm리눅스에서 Telnet, SSH 접속을 위해 Putty나 XShell을 깔고, FTP/SFTP 접속을 위해 FileZilla를 깔고, 그 외 다양한 원격 접속용 프로그램을 복수개 설치하여 관리하면 많이 복잡해지고 번거로워 집니다.또한 Putty 같은 경우, 여러 파일들을 vi 에디터로 수정/관리해야하는 경우 'Putty'만으로는 한계가 있습니다.  MobaXterm은 현존하는 최강의 SSH 접속 툴로,익숙한 UI와 다양한 접속 방식 지원으로 설정이 편하고 별도의 SFTP 프로그램 등을 설치하지 않아도 됩니다.(ptty, 파일질라 OUT)그리고 보안키도 putty로 ppk 변환하지 않고 .key 또는 .pem 그대로 사용할수도 있다.터미널 화면 좌측에 윈도우 탐색 창처럼 현재 경로의 폴더와..
[AWS] EBS 개념 & 사용법 정리 (EBS Volume 추가하기) EBS (Elastic Block Storage)컴퓨터 본체를 보면, cpu와 램카드, SSD, HDD가 다같이 장착되어 컴퓨터가 돌아가게 된다.EC2 인스턴스가 연산에 관한 (CPU,메모리 등) 처리를 한다고 하면, 데이터를 저장하는 역할(SSD, HDD)은 바로 EBS가 한다고 보면 된다.즉, EBS는 클라우드에서 사용하는 가상 하드디스크(HDD)라고 말할 수 있다.EBS는 AWS 클라우드의 Amazone EC2 인스턴스에 사용할 영구 블록 스토리지 볼륨을 제공한다.그리고 단 몇분 내에 사용량을 많게 또는 적게 확장할 수 있으며, 프로비저닝(빌리는 행위)한 부분에 대해서만 저렴한 비용을 지불 할 수 있다.EBS ⭤  EC2 연결 특징EBS의 가장 큰 특징은 EC2 인스턴스가 종료되어도 별개로 작동하여..
[AWS] Swap File을 이용해 EC2 메모리 부족 현상을 해결해보자 작업을 하던 중 AWS EC2 메모리 부족현상이 발생했다. 우리가 사용하고 있는 t4g.micro 인스턴스 유형은 램이 1GB였고, 이는 메모리 부족현상을 충분히(?) 볼 수 있을 정도로 작은 양의 메모리였다.프리티어의 가장 큰 단점은 RAM이 1G 라는 것인데 그게 뭔 상관일까?RAM은 실행중인 프로그램의 속도와 실행에 관련이 있다.만약 프로그램이 잡아먹는 RAM이 컴퓨터(우분투환경)의 RAM 크기를 초과해버린다면 프로그램이 느려지거나, 실행이 안될 수 있다. 이러한 현상을 어떻게 해결할까 고민하다가 swap file을 이용한 swap memory 할당이라는 방법을 알게 됐다!스왑 파일을 이용한 스왑 공간 할당EC2 램 메모리가 가득 찼기 때문에 실제 디스크의 용량을 이용하여 부족한 메모리를 대체할 공..
[AWS] EC2 서버 배포 시 plain.jar 파일 오류 발생 프로젝트 수동 배포를 쉽게 하기 위해 쉘 스크립트를 작성했는데 특정 조건에서 실행 시 정상 접근이 불가했다. 원인을 찾기 위해 이것저것 찾아보다가... nohup.out 파일 내용을 확인해보니no main manifest attribute, in /app/step1/Ubuntu/{프로젝트 루트}/{프로젝트명}-0.0.1-SNAPSHOT-plain.jar이런 에러가 적혀 있었다. 스크립트에서는 build/libs 파일 내에 생성된 jar 파일 중에 가장 마지막에 생성된 것을 실행시키는데, plain.jar파일이 실행되면 에러가 발생한다. 그래서 검색하다가 방법을 발견했다.build.gradle에jar { enable = false}를 추가하면 된다. plain.jar 파일은 모든 의존성을 포함하지 않고, ..
[빅데이터] 클라우드상 오브젝트 스토리지(Object Storage)란? AWS에서 DynamoDB를 사용할때 S3를 사용할때 혹은 Firegase의 Storage, Firestore등을 사용하면 항상 수정은 할 수 없습니다. SDK상에 Update라는 메서드가 있지만 사실상 파일을 덮어쓰고(지우고 다시 넣기) 변경을 처리합니다.우리가 흔히 써왔던 온프로미스 환경과는 조금 다른점을 찾아보면 객체 스토리지(Object Storage)의 특성이라고 말합니다. 그래서 찾아보니 생각만큼 이해하기 쉬운 자료는 나오지 않아 직접 정리한 내용을 공유하고 싶었습니다. 객체스토리지가 조금 더 옳은 표현이라하며 오브젝트 스토리지를 이하 객체스토리지로 기술하였습니다. 우선 객체스토리지를 알기위해서는 3가지를 알아야 합니다. 블록 스토리지(Block Storage), 파일 스토리지(File..
[빅데이터/MQ] 아파치 카프카를 데이터 레이크로 사용할 수 있을까? 데이터 레이크란? 데이터 레이크의 기본 개념은 기업단위의 서비스 데이터들을 한곳의 저장공간에 모아 두는 것입니다. 이렇게 저장된 데이터로부터 BI(Business Intelligence) App으로 조회하거나 시각화, 머신러닝을 수행하였습니다. 데이터 웨어하우스와는 다르게 '일단 저장'하고 나서 이후에 스키마를 적용하는 'Schema-on-Read'에 초점을 잡고 있습니다. 데이터 레이크라는 단어가 나온 이래도 지속 발전을 거듭했고 데이터 레이크 기술은 다음과 같이 발전 하였습니다. - 1세대 데이터 레이크: HDFS, 맵리듀스, 피그, 하이브, 임ㅍㄹ라, 플룸, 스쿱 - 2세대 데이터 레이크: 클라우드 네이티브로 성장하였고 오븢게트 스토리지(S3), 스파크, 플링크, 프레스토, 스트림셋 스트리밍 데이터..
[MQ] 카프카 스트림즈 (Kafka Streams) 카프카는 브로커를 중심으로 다양한 형태의 메시지 파이프라인을 구성할 수 있습니다. 그리고 메시지 파이프라인은 보편적으로 메시지를 생성하고 브로커로 전송하는 프로듀서에서 시작하여, 브로커에 저장된 메시지를 읽고 처리하는 컨슈머에서 끝이 납니다. 즉, 브로커 외부에서 메시지가 생성되고, 다시 브로커 외부로 읽어집니다. 이러한 메시지 파이프라인 구성은 프로듀서와 컨슈머를 직접 개발하거나, 혹은 카프카 커넥트(Kafka Connect)를 이용하여 Source -> Sink 형태로 구성할 수 있습니다. 그렇다면 카프카 내부에서 메시지파이프라인을 구성하려면 즉, 내부 토픽을 이용하여 파이프라인을 구성하려면 어떻게 해야할까요? 이번 글은 카프카 내부에서 메시지 파이프라인을 쉽게 구성할 수 있도록 하는 카프카 스트림즈..
728x90

티스토리툴바