전체 글

이미지https://hub.docker.com/r/apache/kafkaKafka 3.0.0부터 KRaft모드를 지원 해서 Zookeeper 없이 Kafka를 동작https://www.c-sharpcorner.com/article/apache-kafka-without-zookeeper/https://kafka.apache.org/documentation/#krafthttps://kafka.apache.org/documentation/#zk_depr env 설정# broker.env## Kafka 브로커가 특정 IP 주소와 포트에서 수신 대기하도록 설정하는 데 사용KAFKA_LISTENERS: PLAINTEXT://:9092,CONTROLLER://:9093 # default PLAINTEXT://:909..

Kafka란?pub-sub 모델의 메시지큐 방식 기반, 분산 메시징 시스템producer는 topic에 이벤트를 게시하고, consumer는 topic을 구독해 이로부터 이벤트를 가져와 처리Controller클러스터 관리: 컨트롤러는 클러스터의 메타데이터를 관리하고, 파티션과 리플리카의 상태를 모니터링리더 선출: 컨트롤러는 파티션의 리더 브로커를 선출파티션 재할당: 필요에 따라 파티션을 다른 브로커로 재할당Broker= Kafka 서버메시지 저장 및 전송: 클라이언트로부터 데이터를 받아 적절한 파티션에 저장하고, 소비자에게 메시지를 전달브로커 간 통신: 다른 브로커와 통신하여 데이터 복제와 같은 작업을 수행replication-factorhttps://ggop-n.tistory.com/91https://..

https://github.com/ShimHyesu/KakaoTech_Bootcamp/tree/main/0728_Docker_DB 목표Docker로 MariaDB 연결하여 테이블 생성하고 내용 삽입한다.테이블 데이터를 Docker로 띄운 웹에서 확인한다. 파일 구조appapp.js → 앱 진입connection.js → 데이터베이스와의 연결을 설정userRouter.js → 사용자 정의 라우터 모듈DockerfiledbDockerfileinitdb.sql → 데이터베이스 초기화docker-compose.yaml.env Docker Composeversion: '3.9'services: app: build: context: ./app dockerfile: Dockerfile ..

0715 AWS 기초Amazon Web ServicesAmazon이 제공하는 클라우드 컴퓨팅 플랫폼Region : 지리적(최대 국가 단위)으로 분리된 여러 위치AZ(Availability Zone) : Region 내에 위치한 데이터 센터 그룹  VPC(Virtual Private Cloud) : 개인 네트워크 구성Subnet : VPC 잘게 쪼개는것 → 실제 VM이 올라갈 네트워크 대역Private Subnet: 인터넷 게이트웨이 X → NAT 게이트웨이를 통해 인터넷 통신Public Subnet: 인터넷 게이트웨이 O라우팅 테이블: 서브넷 → 인터넷 게이트웨이 네비게이션보안그룹 → 인바운드, 아웃바운드인터넷 게이트웨이NAT 게이트웨이: private subnet에서도 인터넷이 가능하게 하기 위해 사용..

0708 Linux 심화CGroup(Control Group): 프로세스 그룹에 대한 리소스 사용량 제한Namespace프로세스가 리소스 격리해서 사용할 수 있도록종류: mnt, pid, net, user, ipc, utsChroot (Change root): 프로세스의 루트 디렉토리 변경Unix Domain Socket동일한 호스트 내에서 프로세스 간 통신(Inter-Process Communication, IPC)을 위한 메커니즘 중 하나네트워크를 통해 데이터를 전송하지 않고 로컬 파일 시스템을 통해 통신OverlayFS (Overlay File System)여러 디렉토리를 하나의 계층적 파일 시스템으로 병합하여 제공하는 기능구조Lowerdir : 읽기 전용; 불변Upperdir : 쓰기 전용Work..

0701 : 오리엔테이션오프라인 장소인 판교에서 오리엔테이션 진행 생성형 AI 시대의 개발자 방향성에 대한 특강 진행 → Generalist, T자형 인재 강조 아이스 브레이킹, 출결 관리, 업무 환경인 EXP에 대한 미션 수행  0702 : 강의 계획 설명기초와 실습 사례 중심의 강의 + 프로젝트/실습 위주주도적인 의사결정 기반의 교육 운영 클라우드 엔지니어들이 하는 일 : 서비스 구축 및 자동화, 데이터 운영 및 백업, 전체 보안, 서비스 모니터링 및 장애 대응, 클라우드 비용 관리, AI 리소스 관리클라우드 엔지니어로 경험해보면 좋은 일서비스 운영 : 도메인 붙여보기, Scale in / Scale out , 개인정보처리방침과 이용약관 이해하고 붙이기데이터 관리 : 백업 자동화, 데이터베이스 클라우..

zsh, oh-my-zsh 설치 및 커스텀https://kangyb.tistory.com/22 [MAC] iTerm2 꾸미기 (oh-my-zsh, font, theme 등) iTerm 커스텀작성일 : 2022-08-14 version : mac os 12.5 ( Monterey ) CPU : intel 기준으로 작성 되었으며 m1 맥북은 hombrew세팅에 별도의 설정이 필요하다. m1 맥북 사용자분들은 homebrew 세팅을 참고하여 우선작업이 필요하다kangyb.tistory.com  zsh 유용한 플러그인https://richwind.co.kr/208 [MacOS - ZSH] 유용한 플러그인 2종 - 자동완성/하이라이트맥북 M1 Pro로 PC를 변경했습니다. 세팅할게 많네요 ^^ 2020.06.01..

음식 인식을 위한 음식 사진, 유저 사진 등 서버로 이미지를 전송해야할 필요가 있었다. 기존에는 base64 방식을 채택했으나, 서버로 전송하는데 시간이 오래 걸려 이 부분을 개선하기로 했다. 이미지 전송에는 여러 가지 방법이 있지만, 대표적인 방식인 Base64와 FormData에 대해 알아보도록 하자! 📍Base64 인코딩 이진 데이터를 64개의 ASCII 문자로 변환하는 방식이다. 인코딩 방법 24비트 버퍼에 위쪽(MSB)부터 한 바이트씩 세 바이트를 집어넣는다. (버퍼의 남은 부분은 0으로 채워넣는다.) 그리고, 버퍼의 위쪽부터 6비트(2^6=64)씩 잘라 그 값을 읽어 Base64 색인표와 맵핑한다. 이 과정을 거치면 4개의 ASCII 문자로 변환된다. ++예시 특징 데이터 손실 방지: 이진 데..