티스토리

개인 공부

검색하기

블로그 홈

개인 공부

yunhyeonglee.tistory.com/m

MySQL / Maria / Oracle

구독자: 29

방명록 방문하기

주요 글 목록

[ REDIS ] max number of clients reached 이슈 REDIS를 운영하다 보면 max number of clients reached 에러가 발생할 때 가 있는데 이는 maxclients가 3만인데 connected_clients가 299970이 되면서 다른 session들이 연결을 요청하게 될 때 발생하게 된다. 원인maxclients : Redis 인스턴스에 접속 할 수 있는 클라이언트 수를 지정합니다. -1은 최댓값 (4294967295)이 설정되며, 설정하지 않으면 기본 값으로 1024를 갖습니다. O/S의 ulimit 값과도 연관이 있기 때문에 ulimit 제한도 같이 확인해서 변경해줘야 합니다. (/etc/limits.conf ,/etc/security/limits.conf ) Redis 확인1. maxclients 확인redis-cli .. 공감수 0 댓글수 0 2025. 1. 8.
[ DML ] Rollback 시간 산정 가끔 대용량 작업을 LIMIT 처리 없이 작업을 하다가 이슈가 발생하게 되었을 때 해당 SESSION을 KILL 하는 경우들이 발생한다. 이때 DML 작업 시간이 길었던 만큼 ROLLBACK 작업이 길어지는데 이때 해당 테이블에 DML, DDL작업이 불가능하게 되며 이로 인해 서비스 문제가 발생하게 되는 경우가 있다. ROLLBACK 시간을 산정하여 이슈에 어떻게 대처할지를 선택 해야 한다. EX) ROLLBACK을 기다릴지, 새로운 장비를 사용할지 등등 이번엔 Rollback이 완료 되는데 얼마큼의 시간이 걸리는지 확인하는 방법에 대해 작성해 보려 한다. DMLRollback 데이터를 쌓기 위해서 적당히 큰 테이블에 전체 UPDATE 수행[test]> update lee_test set reason=.. 공감수 0 댓글수 0 2025. 1. 3.
[Python] Input() 사용 파이썬으로 코드를 짜다보면 간혹 사용자에게 키보드 입력을 받아 진행하게되는 경우가 있다. 이럴때는 Python Input 함수를 사용하여 구현할 수 있다. Input 코드 ) ➜ python cat input.py data=input("입력하새주세요:") print("입력된 값:",data) 실행 테스트 ) ➜ python python3 input.py 입력하새주세요:1234 입력된 값: 1234 공감수 0 댓글수 0 2024. 2. 10.
Redis 6 Download & Install redis tar download wget https://download.redis.io/releases/redis-6.2.7.tar.gz Install [root@lee redis-6.2.7]# tar -zxvf redis-6.2.7.tar.gz [root@lee redis-6.2.7]# cd redis-6.2.7/ [root@lee redis-6.2.7]# make && make install [root@lee redis-6.2.7]# /usr/local/bin/redis-cli --version redis-cli 6.2.7 Create Redis Directory & configuration File Copy [root@lee redis-6.2.7]# mkdir -p /data/redis/ [roo.. 공감수 0 댓글수 1 2023. 12. 20.
Naver Cloud CDB 소산 Backup 오늘은 Naver Cloud CDB를 사용하고 있을 경우 소산 백업, 즉 기본적인 Backup본 이외에 새로운 Backup본 하나를 다른 위치에 두 개 하는 요건이 있을 때 어떻게 처리를 했는지에 대한 포스팅을 해보려 합니다. 개요 Naver Cloud CDB를 사용하는 곳에서 소산 백업 요건이 발생 테스트 내용 CDB Backup후 Object Storage로 보내기 방안 1. Console에서 클릭으로 작업 진행 Cloud DB for MySQL 탭 → Backup → Backup 상세 내역 → 선택 후 Object Stroage 내보내기 → Object Storage 선택 방안 2. Naver CLI를 사용하여 작업 진행 방안 2. CLI 작업 https://guide.ncloud-docs.com/.. 공감수 3 댓글수 0 2023. 12. 13.
MySQL 비교 ( Naver Cloud CDB vs VM ) 이번에는 많은 공공사업에서 사용하고 계시는 Naver Cloud CDB 상품과 VM에 설치해서 사용하는 MySQL에 대해 비교해 보는 글을 작성해 보려고 합니다. 우선 둘 중 어떤 게 좋다라기 보다는 사용하는 입장에 있어 어떤 부분이 더 자신의 사업과 맞는 것같다를 중점으로 봐주세요. Naver Cloud Cloud db for MySQL 이란?? Naver Cloud Cloud db for MySQL은 네이버 클라우드에서 제공하는 MySQL 호환 관계형 데이터베이스 서비스입니다. MySQL 프로토콜을 그대로 사용하며, MySQL 데이터베이스와 호환성이 있습니다. Cloud db for MySQL은 높은 가용성과 확장성을 제공합니다. 데이터베이스의 자동화된 백업과 복원 기능, 스케일 업 및 다운 기능으로.. 공감수 2 댓글수 1 2023. 12. 10.
AND / OR 논리 연산자 우선 순위 음.. 이번에는 쿼리를 짤때 자주 사용되는 AND / OR 논리 연산에 대한 우선 순위에 대해 작성해보려고 합니다. 많은 분들이 잘 알고 계시겠지만 이 우선순위에 의해서 원하는 결과 값이 아닌 다른 값이 나올수 있다는 점!!! AND / OR ? AND: 두 조건이 모두 참인 레코드를 검색 OR : 두 조건중 하나라도 참인 레코드 예제 쿼리를 통해 AND / OR 연산자의 우선 순위를 보겠습니다. 1. 2페이지에 해당하는 데이터중 Title에 'Test'가 포함된 데이터 select * from ( select rownum rn, bro, title, wirter from board where title like '%Test%' and rownum 10; 2. tit.. 공감수 1 댓글수 0 2023. 12. 8.
Redis Migration 오랫만에 돌아와서 Redis Migration에 관한 글을 포스팅해 보려고 합니다.ㅎㅎㅎ 요즘 바빠서 포스팅을 못하고 있었지만 조금씩 다시 해보려합니다. REDIS 설치 Redis 설치에 관해서는 이전에 포스팅 했던 글을 참고해 주세요~ 2021.09.30 - [Redis] - [Redis] Redis 설치 [Redis] Redis 설치 많은 회사들이Database cache server용으로 Redis를 이용한다는 말을 듣고 Redis에 대해 공부해보기로 하였다. 오늘은 간단한 Redis 설치 과정에대해 포스팅해야지.. 1. Redis란? - 레디스는 Key-Value 구조의 비 yunhyeonglee.tistory.com 테스트 환경 Export Import 공감수 1 댓글수 1 2023. 12. 8.
[ MySQL ] MyISAM to InnoDB 오늘은 MySQL MyISAM 엔진의 테이블들을 InnoDB 엔진의 테이블로 변경하는 내용에 대해서 포스팅할 예정입니다. MySQL Dev에 작성된 지침들을 확인해 보면서 진행하도록 하겠습니다. https://dev.mysql.com/doc/refman/8.0/en/converting-tables-to-innodb.html MySQL :: MySQL 8.0 Reference Manual :: 15.6.1.5 Converting Tables from MyISAM to InnoDB 15.6.1.5 Converting Tables from MyISAM to InnoDB If you have MyISAM tables that you want to convert to InnoDB for better reliabi.. 공감수 10 댓글수 14 2023. 5. 26.
[ MySQL ] CPU 부하 Query 모니터링 모니터링 스크립트 TOP을 이용해서 MySQL의 Top10 Thread_OS_ID 확인 Thread_OS_ID를 이용하여 MySQL Query 수행 Thread_OS_ID, Processlist_ID, Query 출력 실행 시 password 변수 변경하여 사용 [root@db-test1 ~]# cat lee.sh #!/bin/bash password='wl@2020Toaxj' ### Search Top10 MySQL Thread_OS_ID lee=`top -b -n 1 -H -p \`ps -ef | grep mysqld | grep -v "mysqld_safe" | grep -v "grep" | awk '{print $2}'\` | grep -v "Threads\|top\|KiB\|%Cpu(s)\|PI.. 공감수 4 댓글수 10 2023. 3. 10.
[ MySQL ] innodb_onlin_alter_log_max_size 중요성 MySQL 5.7 이후부는 Online DDL을 지원하게 되었습니다. Online DDL시 장애를 줄이기 위해서 알아두면 좋은 환경설정에 대해 포스트팅 해보도록 하겠습니다. ■ Online DDL시 아래 작업들이 발생하게 됩니다. - online ddl시 row log buffer에 DDL이후의 데이터 변경사항을 저장하게 된다. - row log buffer는 sort_buffer_size 시스템 변수에 정의된 크기만큼씩 할당하며, 최대 innodb_online_alter_log_max_size 만큼 증가하게 된다. - innodb_online_alter_log_max_size ⇒ ONLINE DDL 중 DML문을 적재하는 Size 이다. 대부분 ONLINE DDL 중 해당 파라미터를 1G로 설정하고 진.. 공감수 9 댓글수 15 2023. 2. 27.
[ MySQL ] MySQL 데이터 디렉토리 변경 MySQL를 운영하다 보면 DIsk 교체나 특정이유로 인해 데이터 디렉터리 경로를 변경하는 경우가 있습니다. 오늘은 데이터 디렉토리를 변경하는 방법에 대해 포스팅해 보겠습니다~ ■ 현재 Datadir 확인 1. MYSQL 들어가서 확인 mysql> select @@datadir; +-------------+ | @@datadir | +-------------+ | /data/data/ | +-------------+ 1 row in set (0.00 sec) 2.ps로 확인 [root@maria ~]# ps -ef | grep mysql root 6412 1 0 Feb20 ? 00:00:00 /bin/sh /mysql/bin/mysqld_safe --user=mysql mysql 6959 6412 0 F.. 공감수 14 댓글수 22 2023. 2. 21.
[ PostgreSQL ] Lock Session 확인 PostgreSQL에서 Lock Session을 할 때 사용하는 SQL 쿼리 기본적으로 Postgresql의 Transaction isolation은 read-committed이다. ( Oracle DB의 격리 레벨과 동일 ) Autocomit이 on으로 되어있다. Lock 테스트는 총 3개의 Session으로 진행할 예정입니다. ■ Autocommit 비활성화 - Lock 테스트를 하기위해 Session의 Autocommit을 비활성화하였습니다. session1 > lee=# \set AUTOCOMMIT off session2 > lee=# \set AUTOCOMMIT off ■ Update Table session1 > lee=# update lee set a=2 where b='asd'; UPDAT.. 공감수 6 댓글수 9 2023. 2. 19.
[ MongoDB ] MongoDB Test Data 몽고 DB의 성능을 테스트하기 위해 테스트 데이터를 입력하는 방법에 대해 기록하도록 하겠습니다.~~ ■ wget sampledata - 외부 에서 sample data를 받아 옵니다. wget https://atlas-education.s3.amazonaws.com/sampledata.archive ■ mongodb tools 다운로드 - sample data를 몽고 DB에 넣기 위해서는 mongorestore tool이 필요 ###mongodb tools 다운로드 [root@mongo ~]# vim /etc/yum.repos.d/mongodb-org-5.0.repo [mongodb-org-5.0] name=MongoDB Repository baseurl=https://repo.mongodb.org/yu.. 공감수 2 댓글수 3 2023. 2. 18.
[ MySQL ] Openging Table 상태 ■ Opening Tables? Trying to open a table. Usually very quick unless the limit set by table_open_cache has been reached, or an ALTER TABLE or LOCK TABLE is in progress. 테이블을 열려고 합니다. table_open_cache에 의해 설정된 한계에 도달하거나 ALTER TABLE 또는 LOCK TABLE이 진행 중이 아니라면 일반적으로 매우 빠릅니다. ■ 결론 Opening Table State의 경우 Table_open_cache < open_tables 상태이며 새로운 Table이 open될떄 발생하게된다. 해결방안 show global status where variabl.. 공감수 2 댓글수 3 2023. 2. 17.
[ MySQL ] Container DB Replication ( Using. Docker-compose ) Docker Compose를 이용해서 이전에 포스팅했던 Docker Image를 빌드한후 DB Replicatoin 올리는 방법을 작성해보곗습니다. 간략하게 요약하면 아래 순으로 실행이됩니다. Docker hub에 올려논 Docker Image를 통해서 → Docker file을 만들고 → Docker Compose를 이용하여 Replication 설계 https://github.com/dkwlfowh/docker_mysql8_repl ■ Docker-Compose 설치 [root@pmm-server ~]# sudo curl -L "https://github.com/docker/compose/releases/download/1.24.1/docker-compose-$(uname -s)-$(uname -m).. 공감수 1 댓글수 2 2023. 2. 15.
[ MySQL ] Docker MySQL 이미지 생성 테스트 DB를 구성하는데 있어 보다 편하게 하고싶어서 Docker 이미지를 생성하고 해당 이미지로 Container DB 생성을 해보았습니다. 이후에 해당 이미지를 이요하여 Container Replication을 구성해 볼 예정입니다. [root@pmm-server ~]# docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 508674e5261a centos:7 "/bin/bash" 8 minutes ago Up 8 minutes centos7 4c349fab5687 centos "/bin/bash" 58 minutes ago Up 57 minutes centos 44eeafff66ca percona/pmm-server:2 "/opt/ent.. 공감수 1 댓글수 4 2023. 2. 15.
[ PostgreSQL ] Autovacuum이란??? 무엇일까? 이번 Postgresql 관련 교육 자료를 만들게되면서 Autovacuum에 대해 공부해보았습니다. https://generated-ixia-4d4.notion.site/AutoVacuum-b1f5a5f647154efb8833f0d8098978f7 공감수 8 댓글수 13 2023. 1. 26.
[ Jmeter ] 성능부하 테스트 ■ Apache JMeter는 서버가 제공하는 성능 및 부하를 측정할 수 있는 테스트 도구이다. JMeter는 순수 Java 애플리케이션 오픈소스이며 서버나 네트워크 또는 개체에 대해 과부하를 시뮬레이션하여 강도를 테스트하거나 다양한 부하 유형에서 전체 성능을 분석하는 데 사용할 수 있다. ■ 이번에 DB 구조 개선을 하게되면서 AS-IS / TO-BE 구조의 성능을 테스트할 기회가 생겨 해보게 되었다. https://generated-ixia-4d4.notion.site/Jmeter-00de2adf17344ad3b7e031f2cabe6c0b 공감수 2 댓글수 5 2023. 1. 25.
[ MYSQL ] NCP - Cloud DB for MySQL 구축 - Naver Cloud 에서 관리해주는 Database인 Cloud DB for MYSQL을 구축해보았다. https://generated-ixia-4d4.notion.site/CDB-MySQL-d0202dc3b7f7419e8d977aa5e6480e74 공감수 0 댓글수 0 2023. 1. 19.
[ Zabbix ] Zabbix - Slack 연동 최근 Team-Slack 계정을 만들게되어 기존 Email 방식으로 하던 알람을 Slack 방식으로 바꾸었다. 아래는 Zabbix, Slack 연동 Alert 테스트한 자료다. https://generated-ixia-4d4.notion.site/Zabbix-Slack-20c56dca6a5f46b6895d36b2386c8fb4 공감수 0 댓글수 0 2023. 1. 17.
[ AWS ] RDS - 파라미터 설정 수정 - AWS RDS 환경에서 파라미터 수정을 해보았다 ~ https://generated-ixia-4d4.notion.site/RDS-MYSQL-Variables-3cfbcf2c900e49d6bb6a1e9d121f10e5 공감수 0 댓글수 0 2023. 1. 16.
[ AWS ] RDS 생성 & 연결 방법 - AWS 프리 티어를 이용하여 RDS 생성 및 DB 연결을 해보았다~ https://generated-ixia-4d4.notion.site/RDS-37feaac16c2c4906b7859cf508e244f8 공감수 0 댓글수 0 2023. 1. 13.
[ MySQL ] 괜찮아 보이는 블로그 추천 https://jhdatabase.tistory.com/ 공감수 1 댓글수 0 2023. 1. 10.
[ MySQL ] ProxySQL Query 빈도수 통계 작업 - ProxySQL를 사용하는 곳에서 하루 동안 실행되는 Query의 빈도수 체크를 하고 싶어 했다. - ProxySQL의 경우 ProxySQL로 들어오는 Query에 대한 통계를 저장하는 Table이 존재한다. - Python을 이용하여 하루동안 실행되는 Query를 저장 DB에 Insert 하는 것을 짜보자 ■ Query_check.py 1. ### SELECT STATE - ProxySQL에서 하루동안 실행되는 Query를 Select 해 온다. 2. ### Insert Zabbix - ### IF EXISTS QUERY IN ZABBIX SERVER : 저장 DB에 ProxySQL에서 가져온 쿼리가 존재한다면 - ### IF NOT EXISTS QUERY IN ZABBIX SERVER == NEW.. 공감수 0 댓글수 0 2023. 1. 6.
[ MySQL ] Memory ( Use. performance_schema / sys ) - MySQL Database에서 Thread별 / 전체 Memory 관련 정보때 사용할 수 있습니다. https://generated-ixia-4d4.notion.site/MYSQL-Memory-Use-Performance_schema-Sys-6b28f605340c4ee2b555be762322441d 공감수 0 댓글수 0 2022. 12. 16.
[ MongoDB ] MongoDB 접속 ( Use. Python ) DB 정보 Replica Name: shard01 192.168.100.37:27017 192.168.100.37:27018 192.168.100.37:27019 Python 접속 https://www.mongodb.com/community/forums/t/python-connection-to-replicaset/151808 https://charsyam.wordpress.com/2011/12/07/pymongo에서의-mongodb-replica-set에서의-failover-과정/ While로 돌리면서 Primary DB를 Kill하였을떄 기존 Secondary가 Primary로 넘어가면서 Connection이 되는것을 확인함 db = client['test'] = test Database 접속 coll.. 공감수 0 댓글수 0 2022. 12. 16.
[MongoDB] - MongoDB Binary Install https://generated-ixia-4d4.notion.site/1-Binary-Install-Community-Version-5-0-dbccc6ba9a544ac4bf02f10e2f795f1e 공감수 0 댓글수 0 2022. 12. 15.
[ MySQL & MariaDB ] OS Buffer Cache 공간 확인 ( Use. Percona ) 목차 1.Buffer/Cache 사용하는 파일 확인 2. Unmap_cache를 이용하여 Cache 반납 3.Buffer/Cache 확인 MySQL 에서 Buffer Cache를 얼만큼 사용하고 있는지 확인 percona blog에 올라와있는 툴로 확인 Cent 7.3의 경우 aclocal Version이 1.13이므로 MakeFile을 수정하고 make 실행 **[root@slave linux-ftools]# git clone [root@slave linux-ftools]# yum -y install perl [root@slave linux-ftools]# cd linux-ftools/ [root@slave linux-ftools]# ./configure** **[root@slave linux-ftoo.. 공감수 0 댓글수 0 2022. 11. 21.
[ MySQL ] MTS ( Multi Thread Slave ) https://generated-ixia-4d4.notion.site/MTS-Multi-Thread-Slave-8a780e402e364cd2bf6579ddc1ce7fdf 공감수 1 댓글수 1 2022. 11. 17.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.