Free

[Redis] Redis 기본 개념 및 Failover (1)

개요Redis를 직접 다뤄보며정리한 개념용량 관련 문제새롭게 알게 된 failover내용을 정리하고 기록한다.Redis란메모리에 데이터를 두는 저장소관계형 DB는 디스크에 테이블로 저장한다면, Redis는 RAM에 키-값으로 담는다.관계형 DB와의 차이점 관계형 DBRedis저장 위치디스크메모리 (RAM)구조테이블 / 행 / 열키 = 값조회SQL키를 직접 지정속도밀리초마이크로초용량테라바이트급RAM 크기까지만영속성기본 보장설정에 따라 다름 장단점빠르다비싸다작다그렇기 때문에 자주 쓰거나 잠깐 쓰는 데이터를 담는 용도로 사용한다. 용량이 작아 지우지 않으면 금방 찬다. 용도캐시세션 저장소작업 큐실시간 이벤트 전달분산 락, 카운터, 순위표 데이터 타입타입형태읽은 후용도Stringkey = "값"남음캐시, 카운터..

서론CKA를 공부하다가 kubectl apply 동작 원ㄹ에 대해 알게 되어 이를 기록해두고자 한다.본론kubectl apply란파일 이름 또는 표준 입력을 사용하여 리소스에 구성을 적용한다.Kubernetes 리소스의 구성을 선언적으로 관리하는 데 사용한다. Kubernetes에서는 명령형 접근법과 선언형 접근법 2가지가 사용된다.명령형 접근법: CLI 명령어를 통한 객체 관리선언형 접근법: YAML 파일 기반 객체 관리 특징선언적 접근 방식멱등성: 여러 번 실행 가능 (리소스가 없다면 생성, 리소스가 있다면 업데이트)변경 추적: 향후 업데이트를 위해 마지막으로 적용된 구성을 추적 사용법생성deployment.yamlapiVersion: apps/v1kind: Deploymentmetadata: na..

서론LLM, RAG, LangChain, AI Agent 등에 대한 내용을 GPT와 개념 공부를 했다. 이에 대한 내용을 기억하기 위해 글을 작성하고자 한다. GPT에 의존하여 이해하고 작성한 개념들이라 틀린 내용이 있을 수 있다. 틀린 내용이 있다면 알려주시길...!본론RAGRetrieval-Augmented GenerationLLM이 답변을 생성하기 전에 관련 정보를 검색(Retrieval)하여, 그 정보를 함께 참고하면서 답변을 생성(Generation)하는 방식Retrieval↓관련 문서를 검색 + Generation↓검색한 문서를 참고하여 답변 생성 필요한 이유최신 정보를 모른다검색을 통해 최신 정보를 가져온다.LLM은 학습이 끝난 이후의 정보를 알지 못한다.회사 내부 문서를 모른다사내 문서를 ..

서론LLM, RAG, LangChain, AI Agent 등에 대한 내용을 GPT와 개념 공부를 했다. 이에 대한 내용을 기억하기 위해 글을 작성하고자 한다. GPT에 의존하여 이해하고 작성한 개념들이라 틀린 내용이 있을 수 있다. 틀린 내용이 있다면 알려주시길...!본론LLMLarge Language Model매우 많은 텍스트 데이터를 학습하여 다음에 올 토큰(Token)을 예측하는 모델LLM은 문장을 이해해서 답하는 것이 아니라, 학습한 패턴을 바탕으로 다음 토큰의 확률을 계산하여 생성한다.이전까지의 입력(Context)을 기반으로 다음에 올 Token의 확률 분포를 계산하고 하나씩 생성하는 모델 예를 들어, 오늘 날씨가 → 좋네요 / 좋습니다 / 어때요 …이러한 자동완성 기능을 매우 거대하고 정교하..

서론마지막으로 Grafana에 대해 정리하겠다. Loki로 수집한 로그와 Prometheus로 수집한 메트릭을 대시보드로 시각화해보자.Loki 관련Loki의 경우 템플릿이 존재하지 않으니 직접 제작해야 한다.AI한테 추천받은 구성으로 꾸몄다. 크게 세 파트로 나눌 수 있다. 로그 탐색 패널{server_type="main"} |= ``{server_type="monitor"} |= ``Grafana의 Logs 패널에서 실시간 로그 스트림을 확인할 때 사용한다. 모든 로그를 필어 없이 그대로 볼 수 있다. 에러 카운트 패널sum by(service_name) (count_over_time({server_type="monitor"} |~ `(?i)error` [1m]))sum by(service_name) ..

서론NCS 대비를 하기 위해서 빠른 계산법을 익힐 필요가 있었다. Youtube만 찾아봐도 빨리 푸는 팁은 많다. 하지만 이걸 직접 사용해보지 않으면 익히기가 어려웠고 이걸 체득하기 위해 매일 조금씩 학습지처럼 문제를 풀어보고자 했다. 이 문제를 자동으로 매일 오전에 뽑아주면 좋겠다는 생각을 해서 만들게 되었다. 본 내용에서는 내가 구축한 과정을 위주로 작성할 것이다. 하지만 나와 같이 이런 시스템을 구축하고 싶거나 해당 시스템을 가져가서 활용하고 싶을 때 참고해도 좋을 것이다.본론우선 관련 Github 주소이다.https://github.com/seomj/daily_ncs.git GitHub - seomj/daily_ncs: 🚀 Gemini-Based NCS Automation Pipeline🚀 G..

서론이번엔 Prometheus에 대해 이어서 이야기하고자 한다.Loki 관련 내용은 이전 포스팅을 참고하길 바란다.https://seomj74.tistory.com/396구조는 Loki 관련 포스팅에서 다뤄 스킵하고 바로 Prometheus 설정에 대해 설명하겠다. Prometheuscadvisor와 node exporter를 통해서 메트릭을 수집하도록 했다. Loki에서는 promtail config와 loki config를 따로 관리했지만, Promethus에서는 cadvisor와 node exporter 관련 설정 파일이 따로 없다. 그렇기에 Prometheus config 파일만 살펴보도록 하자.초기x-filter-node-exporter: &filter_node_exporter - source..

서론이번 프로젝트에서는 모니터링 구현까지 진행했다. 3년 전 모니터링 환경을 구축해 봤던 경험이 있지만 거의 처음이라고 봐도 될 정도였다. 원래 글 하나에 전부 적으려고 했으나... 양이 많아질 거 같아 3개에 거쳐 포스팅하고자 한다. 이번에는 프로젝트 구조에 대해 가볍게 설명한 뒤, LPG 중 Loki에 대해 적어보고자 한다.구조우선 프로젝트 인프라 구조는 아래와 같다.AWS EC2(t2.xlarge): Main ServerAWS EC2(t2.micro): Mock ServerMac mini: Monitoring Server (+ GitLab Runner)GitLab Runner를 Monitoring Server에 둔 이유: Build 과정에서 CPU와 메모리를 사용하기 때문에 Main Server는 ..

원본https://toss.tech/article/payments-legacy-9 레거시 인프라 작살내고 하이브리드 클라우드 만든 썰오픈소스 기반 OpenStack 프라이빗 클라우드를 직접 구축해, 퍼블릭과 Active-Active 하이브리드 클라우드로 운영하며 자동화·모니터링·고가용성을 확보한 이야기를 들려드려요.toss.techhttps://youtu.be/x2jep67D698?si=498UNuKTj7aLpn6J 내용 정리Active-Active로 운영하는 하이브리드 클라우드를 만드는 것이 목표관건은 프라이빗 클라우드를 어떻게 구성하느냐 프라이빗 클라우드가 만족해야 할 조건애자일한 인프라유연성오픈소스 기반→ OpenStack But, 시스템 엔지니어는 2명이며 OpenStack 경험이 없었다. O..

서론같이 공부했던 사람들과 이야기하며 토스 CNI를 검색해보게 되었다. 그 과정에서 토스 컨퍼런스와 기술 블로그를 봤는데 그 중 가볍게 본 컨퍼런스 영상에 대해 인사이트를 얻었다. 때마침 스터디 방향성도 조정되어 이를 기록하고 생각을 나눠보고자 한다.영상https://youtu.be/_pz3CxNdXEU?si=7Tp9a_XbovFFYPyj TMC25 | Engineering - 작지만 강한 DevOps Team 운영하기#토스뱅크 #DevOps #TMC25토스뱅크는 500개 이상의 마이크로서비스로 구성된 서비스를 1,200만 사용자에게 제공합니다. 꽤나 큰 규모의 컨테이너 환경을 DevOps 엔지니어 3명이 운영해 왔어요. 적은 인www.youtube.com 내용 정리뭐 하는 팀인가?Platform Div..