목록mysql (11)

개인 공부

pt-online-schema-change를 사용한 테이블 데이터 정리 방법

운영 중인 서비스에서 로깅성 데이터를 저장하는 테이블이 있는 경우, 일정 시간이 지나면 해당 데이터가 필요 없어지는 상황이 종종 발생합니다.하지만 수억 건 이상의 데이터를 단순히 DELETE로 삭제하려고 하면 엄청난 리소스 소모와 장시간 락으로 인해 서비스에 큰 영향을 줄 수 있습니다.오늘은 이러한 문제를 해결하기 위해 Percona Toolkit의 pt-online-schema-change(이하 pt-osc)를 활용해 특정 조건의 데이터만 이관하고,디스크 공간도 회수하는 방법을 소개하려고 합니다. 사용처로깅성 테이블에서 특정 기간이 지난 데이터가 더 이상 필요하지 않을 때기존 데이터가 많아지면서 실행 계획이 바뀌고 성능 저하가 발생하는 경우서비스에 영향을 최소화하면서 대규모 데이터를 정리하고 싶은 경우..
MySQL & Maria 2025. 5. 3. 21:43
[ DML ] Rollback 시간 산정

가끔 대용량 작업을 LIMIT 처리 없이 작업을 하다가 이슈가 발생하게 되었을 때 해당 SESSION을 KILL 하는 경우들이 발생한다. 이때 DML 작업 시간이 길었던 만큼 ROLLBACK 작업이 길어지는데 이때 해당 테이블에 DML, DDL작업이 불가능하게 되며 이로 인해 서비스 문제가 발생하게 되는 경우가 있다. ROLLBACK 시간을 산정하여 이슈에 어떻게 대처할지를 선택 해야 한다. EX) ROLLBACK을 기다릴지, 새로운 장비를 사용할지 등등 이번엔 Rollback이 완료 되는데 얼마큼의 시간이 걸리는지 확인하는 방법에 대해 작성해 보려 한다.  DMLRollback 데이터를 쌓기 위해서 적당히 큰 테이블에 전체 UPDATE 수행[test]> update lee_test set reason=..
MySQL & Maria 2025. 1. 3. 20:19
MySQL 비교 ( Naver Cloud CDB vs VM )

이번에는 많은 공공사업에서 사용하고 계시는 Naver Cloud CDB 상품과 VM에 설치해서 사용하는 MySQL에 대해 비교해 보는 글을 작성해 보려고 합니다. 우선 둘 중 어떤 게 좋다라기 보다는 사용하는 입장에 있어 어떤 부분이 더 자신의 사업과 맞는 것같다를 중점으로 봐주세요. Naver Cloud Cloud db for MySQL 이란?? Naver Cloud Cloud db for MySQL은 네이버 클라우드에서 제공하는 MySQL 호환 관계형 데이터베이스 서비스입니다. MySQL 프로토콜을 그대로 사용하며, MySQL 데이터베이스와 호환성이 있습니다. Cloud db for MySQL은 높은 가용성과 확장성을 제공합니다. 데이터베이스의 자동화된 백업과 복원 기능, 스케일 업 및 다운 기능으로..
Naver Cloud 2023. 12. 10. 22:26
AND / OR 논리 연산자 우선 순위

음.. 이번에는 쿼리를 짤때 자주 사용되는 AND / OR 논리 연산에 대한 우선 순위에 대해 작성해보려고 합니다. 많은 분들이 잘 알고 계시겠지만 이 우선순위에 의해서 원하는 결과 값이 아닌 다른 값이 나올수 있다는 점!!! AND / OR ? AND: 두 조건이 모두 참인 레코드를 검색 OR : 두 조건중 하나라도 참인 레코드 예제 쿼리를 통해 AND / OR 연산자의 우선 순위를 보겠습니다. 1. 2페이지에 해당하는 데이터중 Title에 'Test'가 포함된 데이터 select * from ( select rownum rn, bro, title, wirter from board where title like '%Test%' and rownum 10; 2. tit..
MySQL & Maria 2023. 12. 8. 20:58
[ MySQL ] MyISAM to InnoDB

오늘은 MySQL MyISAM 엔진의 테이블들을 InnoDB 엔진의 테이블로 변경하는 내용에 대해서 포스팅할 예정입니다. MySQL Dev에 작성된 지침들을 확인해 보면서 진행하도록 하겠습니다. https://dev.mysql.com/doc/refman/8.0/en/converting-tables-to-innodb.html MySQL :: MySQL 8.0 Reference Manual :: 15.6.1.5 Converting Tables from MyISAM to InnoDB 15.6.1.5 Converting Tables from MyISAM to InnoDB If you have MyISAM tables that you want to convert to InnoDB for better reliabi..
MySQL & Maria 2023. 5. 26. 12:25
[ MySQL ] innodb_onlin_alter_log_max_size 중요성

MySQL 5.7 이후부는 Online DDL을 지원하게 되었습니다. Online DDL시 장애를 줄이기 위해서 알아두면 좋은 환경설정에 대해 포스트팅 해보도록 하겠습니다. ■ Online DDL시 아래 작업들이 발생하게 됩니다. - online ddl시 row log buffer에 DDL이후의 데이터 변경사항을 저장하게 된다. - row log buffer는 sort_buffer_size 시스템 변수에 정의된 크기만큼씩 할당하며, 최대 innodb_online_alter_log_max_size 만큼 증가하게 된다. - innodb_online_alter_log_max_size ⇒ ONLINE DDL 중 DML문을 적재하는 Size 이다. 대부분 ONLINE DDL 중 해당 파라미터를 1G로 설정하고 진..
MySQL & Maria 2023. 2. 27. 17:46
[ MySQL ] Container DB Replication ( Using. Docker-compose )

Docker Compose를 이용해서 이전에 포스팅했던 Docker Image를 빌드한후 DB Replicatoin 올리는 방법을 작성해보곗습니다. 간략하게 요약하면 아래 순으로 실행이됩니다. Docker hub에 올려논 Docker Image를 통해서 → Docker file을 만들고 → Docker Compose를 이용하여 Replication 설계 https://github.com/dkwlfowh/docker_mysql8_repl ■ Docker-Compose 설치 [root@pmm-server ~]# sudo curl -L "https://github.com/docker/compose/releases/download/1.24.1/docker-compose-$(uname -s)-$(uname -m)..
MySQL & Maria 2023. 2. 15. 12:32
[ Jmeter ] 성능부하 테스트

■ Apache JMeter는 서버가 제공하는 성능 및 부하를 측정할 수 있는 테스트 도구이다. JMeter는 순수 Java 애플리케이션 오픈소스이며 서버나 네트워크 또는 개체에 대해 과부하를 시뮬레이션하여 강도를 테스트하거나 다양한 부하 유형에서 전체 성능을 분석하는 데 사용할 수 있다. ■ 이번에 DB 구조 개선을 하게되면서 AS-IS / TO-BE 구조의 성능을 테스트할 기회가 생겨 해보게 되었다. https://generated-ixia-4d4.notion.site/Jmeter-00de2adf17344ad3b7e031f2cabe6c0b
Open Source 툴 2023. 1. 25. 10:30
이전 Prev 1 2 Next 다음