본문 바로가기

CS ﹒ Algorithm/Network Infra

Toss SLASH 22 - 토스 증권 실시간 시세 적용기 정리
CS ﹒ Algorithm/Network Infra 2023. 4. 17. Toss SLASH 22 - 토스 증권 실시간 시세 적용기 정리 금주의 사내 스터디 주제로 "Toss SLASH 22 - 토스 증권 실시간 시세 적용기"를 시청하게 되었다. application부터 Infra까지 대용량 처리를 위한 여정을 22분이라는 짧은 영상에 알차게 담은 영상이라 굉장히 유익하기 때문에 관심이 있으면 직접 보도록 하자. (https://toss.im/slash-22/sessions/2-6) 지난번에 시청한 영상은 오직 카프카 하나만을 다루고 있었기 때문에 영상과 관련된 레퍼런스를 자세하게 조사할 수 있었지만, 이번에는 너무 광범위한 내용을 다루고 있어서.. 영상 내용 요약 및 부가적인 설명 정도로 글을 작성해볼까 한다. 코틀린은 언제 공부하나.. 1. 주문 호가 및 시세를 전달하기 위한 WebSocket 채택 (1) 왜 WebSocket을 채택했..
Apache Kafka의 디자인과 네이버 데뷰
CS ﹒ Algorithm/Network Infra 2023. 4. 9. Apache Kafka의 디자인과 네이버 데뷰 사내 스터디로 Naver Deview 2023의 "네이버 스케일로 카프카 컨슈머 사용하기" 영상을 보고 정리하기로 했다. (https://www.youtube.com/watch?v=OxMdru93E6k) 근데 나의 카프카에 대한 이해도는 구글에 검색하면 수두룩하게 나오는 카프카에 대한 정보들 수준이라.. ㅎ 영상이 너무 난해하게 느껴져서 레퍼런스까지 함께 정리하게 되었다. 아래 글은 모두 내 개인적인 공부를 위한 것이고, 카프카에 대해 알고 싶다면 레퍼런스를 직접 읽도록 하자. https://kafka.apache.org/documentation/#design Apache Kafka Apache Kafka: A Distributed Streaming Platform. kafka.apache.org 1...
네트워크 인프라 (5) 네트워크 인프라의 가용성 및 이중화
CS ﹒ Algorithm/Network Infra 2022. 10. 20. 네트워크 인프라 (5) 네트워크 인프라의 가용성 및 이중화 1. 가용성 가용성은 서버와 네트워크 프로그램 등의 정보 시스템이 정상적으로 사용 가능한 정도를 말한다. 서비스를 끊임 없이 오래 서비스할 수 있을 경우 가용성이 높은 시스템이라고 하며, 이를 고가용성이라 표현한다. 고가용성을 만족시키기위한 방법들은 다음과 같다. 1. 컴포넌트 이중화 (1) 이유 - 컴포넌트에 고장, 장애가 발생해도 복구할 수 있어야 한다. - 애초에 고장, 장애에 의한 정지가 최소한으로 발생해야 한다.(MTBF, Mean Time Between Failur, 평균 무고장 시간) (2) H/W계층의 경우 : 전원, 네트워크, 디스크를 이중화할 수 있다. (3) 시스템 계층 : 특정 서버의 처리가 중단 되어도 다른 서버에서 지속적으로 처리하게 할 수 있다. (4) 물리적 위치 계층 : 시..
네트워크 인프라 (4) 서버 이해를 위한 최소한의 기반 지식
CS ﹒ Algorithm/Network Infra 2022. 10. 17. 네트워크 인프라 (4) 서버 이해를 위한 최소한의 기반 지식 1. Series / Parallel 1-1. 직렬 / 병렬이란 병렬 처리는 "다수의 사람이 동시에 다수의 일을 하는 것"과 동일한 의미이다. 대규모 웹 서비스의 경우 방대한 사용자 요청이 밀려오기 때문에 병렬화가 필수적이다. 그러나 모든 부분에서 병렬 처리가 가능한 것은 아니며, 결국 직렬 처리가 필요한 부분이 있는데 이런 부분에서 병목 현상이 생긴다. 이런 직렬화가 필요한 구간은 CPU의 코어 개수가 늘어나도 의미가 없으며, 클럭 주파수 자체를 높이는 수 밖에 없다. 즉, 병렬화라는 동시에 여러가지 작업을 수행하는 것으로 처리 속도가 빨라지는 것은 아니지만 단위 시간당 처리량을 늘릴 수 있다. 또한 병렬 처리에서는 합류점, 직렬화 구간, 분기점이 병목 지점이 될 수 있다. 병렬화할 때는 일을 분담해서..
네트워크 인프라 (3) 3계층 아키텍처의 흐름과 가상화
CS ﹒ Algorithm/Network Infra 2022. 10. 14. 네트워크 인프라 (3) 3계층 아키텍처의 흐름과 가상화 1. 서버와 OS *네트워크의 3계층 아키텍처에서도 실제로는 모두 스위치를 이용해 경유하며 각 물리 서버 컴퓨터가 요청을 처리하고 있는 것이기 때문에 기본적인 프로세스와 스레드에 대해 기초적인 부분은 알고 넘어가야 한다. 1-1. 프로세스와 스레드 1. 우리가 설치된 프로그램을 실행하면 OS관리자인 Kernel이 프로세스를 작성하고 메모리 공간을 할당한다. 2. 프로세스가 시작되면 사용자의 요청을 받는다. 하나의 프로세스는 메모리 공간(Stack, Heap, Data 등)을 점유하며 내부에는 최소 1개 이상의 스레드가 동작한다. 이 때 스레드는 프로세스 내부의 실행 흐름으로 볼 수 있다. 이미 프로세스가 독립된 메모리 공간을 점유하고 있기 때문에 스레드를 시작해도 신규 메모리 공간은 필요 없으나, 하나의..
네트워크 인프라 (2) 서버의 물리적 구성
CS ﹒ Algorithm/Network Infra 2022. 10. 11. 네트워크 인프라 (2) 서버의 물리적 구성 1. 물리 서버의 외관 랙 마운트 서버는 기본적으로 Rack Mount Rail이 탑재되어 슬라이드 형태로 랙에 장착한다. 랙에 장착되는 서버 장비의 크기는 규격이 정해져있으며 U(Rack Unit)으로 표기하는데, 유닛 당 높이는 1.75인치(약 4.5cm)이며 폭은 19인치(약 50cm)이다. 서버 장비의 크기에 높이에 따라 1U, 2U, 3U, 4U, 8U등으로 다양하게 분류되며, 랙 자체의 크기는 42U가 보편적이다. 또한, 서버 뿐 아니라 랙 자체에도 Data Storage와 Network Switch 등이 탑재되어 있다. 2. 물리 서버의 내부 * cpu와 메모리 구조에 관한 글은 이전 컴퓨터 구조 관련 포스팅에서 자세하게 다뤘으므로 간략하게 설명한다. (https://7357.tistory...
네트워크 인프라 (1) 인프라 아키텍처의 종류
CS ﹒ Algorithm/Network Infra 2022. 10. 8. 네트워크 인프라 (1) 인프라 아키텍처의 종류 1. 집약형과 분할형 아키텍처 (1) 집약형 아키텍처 옛날에는 이렇게 한 대의 대형 컴퓨터를 이용해서 서버를 운영하는 경우가 대부분이였으며, 이런 대형 컴퓨터를 '범용 장비', '호스트', '메인 프레임'이라고도 부른다. 하나의 컴퓨터로 모든 처리를 하기 때문에 '집양형 아키텍처'라고 부른다. 한 대로 모든 업무를 처리하기 때문에 서로 다른 업무를 동시에 실행해도 부하로 인한 문제가 발생하지 않도록 리소스를 관리할 수 있도록 고성능의 컴퓨터를 사용하고, 이중화되어 cpu 하나가 망가져도 멈추지 않는다. 집약형 아키텍처의 장점 1. 한 대의 대형 컴퓨터만 있으면 되기 때문에 구성이 간단하다. 2. 대형 컴퓨터의 리소스 관리나 이중화에 의해 안정성이 높고 고성능이다. 집약형 아키텍처의 단점 1. 대형 컴퓨터..

티스토리툴바