분류 전체보기 126

[Redis/AWS] 리눅스2 Redis 설치 하기

#1. Redis 란? 레디스(Redis)는 "Remote Dictionary Server"의 약자로, Key-Value 구조의 비정형 데이터를 저장하고 관리하기 위한 오픈소스 기반의 비 관계형 데이터베이스 관리 시스템(DBMS)이다. 2009년 살바토르 산필리포(Salvatore Sanfilippo)가 처음 개발 후, 2015년부터 Redis Labs가 지원하고 있다. 모든 데이터를 메모리에 로드해 처리하는 메모리 기반 DBMS이다.db-engines.com 기준 가장 인기있는 Key-Value Stores이다. Cassandra, HBase 와 같이 NoSQL로 분류되기도 하고, memcached와 같이 In Memory 설루션으로 분류되기도 한다. 성능이 memcached에 버금가면서 다양한 데이터..

DataBase/Redis 2023.02.10

[DB/AWS] MariaDB Mariabackup 복원하기

mariabackup restore(복원하기) - MariaDB mariabackup을 통해 백업 된 데이터를 이용해 복원을 진행해 보도록 하겠습니다. 공통​ 1. fullbackup , increbackup 파일 aws s3 저장소에서 가져오기 - 초기 설정 sudo aws configure access key id : [access key aws] 유출 금지 secret access key : [secret key aws] 유출 금지 region name : ap-northeast-2 output format : json s3 저장소 연결 확인 sudo aws s3 ls 전체 백업 데이터​ sudo aws s3 cp s3://db-backup-s3/real-db/fullbackup/2022/05/20..

DataBase/Maria DB 2023.02.09

[DB/AWS] MariaDB Mariabackup을 이용한 백업 스케쥴 설정 2

지난 https://trillion-binary.tistory.com/55 에서는 개념 위주로 설명했다면 이번 게시글에서는 직접 셋팅했던 코드를 중심으로 설명드리겠습니다. ​ 먼저 설정할 DB서버인 AWS EC2 인스턴스에 SSH 접속을 합니다. mariabackup 프로그램을 설치합니다. # mariabackup 설치 및 확인 sudo yum install MariaDB-backup # 설치 완료 확인 mariabackup --version ​ AWS CLI 환경설정을 해줍니다. # AWS S3 저장소 셋팅 # aws 설치 확인 aws --version # aws 초기 설정 (super 계정 권한으로) sudo aws configure access key id : [ACCESS_KEY] # 접근 코드는..

DataBase/Maria DB 2023.02.09

[DB/AWS] MariaDB Mariabackup을 이용한 백업 스케쥴 설정

mysqldump는 SQL 형태로 백업과 복원을 진행하는 논리적 백업 입니다. 데이터베이스의 모든 행을 스캔하고 각각의 행과 테이블마다 Insert 구문을 생성합니다. 그 후 백업시에는 생성한 Insert 구문을 그대로 재생하면서 복원이 진행되는 방식입니다. Mariabackup 은 MySQL과 MariaDB에서 사용된 무료 백업 라이브러리린 Percona XtraBackup을 바탕으로 작성된 포크 소프트웨어 입니다. 여기서 파생된 Mariabackup은 mysqldump에 비해 데이터가 증가할수록 백업과 복원에 걸리는 시간이 월등히 효율적입니다. 백업 및 복원 시간 비교 표 입니다. Mariabackup은 원격으로 접속하여 실행이 불가합니다. 호스트에서 해당 MariaDB 서버로 접속하여 Mariaba..

DataBase/Maria DB 2023.02.09

[DB] Database Lock?

Lock 이란? : 간단하게 설명하자면, 데이터의 일관성을 보장하기 위한 방법입니다. (= 잠금 / 데이터를 동시에 사용하게 해주는 기능) 그럼 Lock 의 종류는? Shared Lock (공유 Lock 또는 Read Lock) : 보통 데이터를 읽을 때 사용합니다. 내가 보고 있는 데이터를 다른 사용자 또한 볼 수 있지만, 변경할 수는 없습니다. > Select 명령어 Exclusive Lock (배타적 Lock 또는 Write Lock) : 보통 데이터를 변경할 때 사용합니다. 해당 Lock 이 해제되기 전까지는, 다른 사용자가 읽기 또는 쓰기가 불가능합니다. > Insert / Update / Delete 명령어 Blocking 이란? : Blocking 은 Lock 들의 경합이 발생하여 특정 세션..

DataBase/Maria DB 2023.02.08

[DB] MariaDB 시스템 튜닝

MariaDB의 튜닝은 MariaDB의 데이터베이스 시스템 관련 파라메터들에 대한 튜닝과 각각의 스토리지 엔진 관련 튜닝으로 나뉘어진다. MariaDB의 시스템 관련 튜닝은 MariaDB의 설정 파일인 my.cnf(윈도우의 경우 my.ini)파일을 수정하게 되며 MariaDB 커넥션에 관한 부분과 메모리에 관한 부분으로 나눌 수 있다. 1. MariaDB 연결(Connection) 튜닝 실질적으로 MariaDB이 가장 많이 사용되는 분야를 꼽는다면 역시 인터넷 분야라고 할 수 있다. 포탈사이트나 게임사이트 등 매우 많은 부하가 발생하는 사이트에서 가장 문제가 되는 것은 MariaDB의 커넥션에 관련된 문제이다. (1) Connection 설정 보기 SHOW STATUS LIKE '%connect%'; S..

DataBase/Maria DB 2023.02.08

[DB/AWS] 리눅스2 MARIA DB 설치 - 3) MariaDB의 Data 위치 변경하기

아래 1강에서 추가한 스토리지에 MARIADB 의 DATA를 위치 시키기 위해서 환경파일을 변경해 줘야 한다. 리눅스2 MARIA DB 설치 - 1) 스토리지 볼륨 사용할수 있도록 만들기 :: Binary의 끄적끄적 (tistory.com) 리눅스2 MARIA DB 설치 - 1) 스토리지 볼륨 사용할수 있도록 만들기 처음 리눅스 서버를 생성 했을때 루트 볼륨을 제외 하고 추가한 볼륨은 사용가능한 상태가 아니다 추가 한 스토리지 볼륨을 사용가능하게 하는 방법은 다음과 같다 1. 추가할 볼륨 확인 2. 추가 trillion-binary.tistory.com 1. MariaDB 의 data 위치 확인 mysql -u root -p 로 mariadb에 접속한 후 select @@datadir; +--------..

DataBase/Maria DB 2023.02.08

[DB/AWS] 리눅스2 MARIA DB 설치 - 2) MariaDB 설치

OS 기본 저장소에서 사용할 수 있는 MariaDB 서버 버전은 업스트림 프로젝트에 따라 최신 버전이 아니다. Amazon Linux 2에 최신 MariaDB 설치하려면 MariaDB 공식 RPM 리포지토리를 추가해야 합니다. Amazon Linux 2에서 작동하는 것은 CentOS 7 리포지토리입니다. 현재 10.7버전 기준 1. 먼저 시스템을 업데이트하고 재부팅 sudo yum -y update sudo reboot 2. 아래 명령을 루트 또는 sudo 권한이 있는 사용자로 실행하여 MariaDB 리포지토리를 Amazon Linux 2 시스템에 추가 curl -LsS -O https://downloads.mariadb.com/MariaDB/mariadb_repo_setup sudo bash maria..

DataBase/Maria DB 2023.02.08

[DB/AWS] 리눅스2 MARIA DB 설치 - 1) 스토리지 볼륨 사용할수 있도록 만들기

처음 리눅스 서버를 생성 했을때 루트 볼륨을 제외 하고 추가한 볼륨은 사용가능한 상태가 아니다 추가 한 스토리지 볼륨을 사용가능하게 하는 방법은 다음과 같다 1. 추가할 볼륨 확인 2. 추가할 볼륨이 파일시스템이 있는지 여부 확인 1) 없을때 2) 있을때 3. 파일시스템이 없다면 파일시스템을 생성 4.mkfs.xfs이 발견되지 않는 오류가 발생하는 경우 다음 명령을 사용해 XFS 도구를 설치하고 3번을 반복 5.볼륨에서 사용할 디렉터리를 생성한다. 6. 디렉터리를 볼륨에 탑재한다. 7.재부팅 후에도 디렉터리를 볼륨에 자동으로 탑재 1) UUID 조회 2) 다음 항목을 /etc/fstab에 추가해 디바이스를 지정된 탑재 지점에 탑재합니다. 필드는 blkid가 반환하는 UUID 값(또는 Ubuntu 18.0..

DataBase/Maria DB 2023.02.08

[DB] MariaDB 백업 스케줄 설정과 백업파일 AWS S3 저장소 업로드

기업이나 개발자들은 정기적인 DB 백업의 중요성을 잘 알 것입니다. 디스크가 고장나거나 DB 서버에 오류가 발생할 경우 백업을 미리 해 두었는지 여부에 따라 몇 년 치의 업무 데이터가 손실되느냐 아니면 빠른 시간 내에 정상적으로 복구하느냐를 결정하게 됩니다. ​ 본 글에서는 MariaDB의 정기적인 백업을 실행하고 결과 파일을 AWS S3 저장소로 자동 업로드하는 방법을 알아볼 것입니다. ​ Windows 환경에서의 MariaDB 백업 1. 정기적 백업을 실행할 batch 파일을 작성합니다. ​ ​set CUR_DATE=%date:~0,4%-%date:~5,2%-%date:~8,2% echo %CUR_DATE% "D:\mariadb\bin\mysqldump" --single-transaction --ro..

DataBase/Maria DB 2023.02.08
BIG