2024-01-22 기준 현 셋업 정리
(사진은 작년 10월 기준)
# 장비
[방화벽]
CPU: Intel G4560
RAM: DDR4 32GB (16GB * 2)
OS: pfSense
[스토리지/서버]
Dell PowerEdge R930
CPU: Intel E7-8880v4 * 4 (88core)
RAM: DDR4 ECC Reg 32G * 48 (1.5 TB)
RAID Controller:
- Dell PERC H730P (HBA 모드)
- Dell P810 (IT Crossflasing 펌웨어, HBA 모드, DAS 전용)
Disk:
- (SATA) WD Blue 250GB * 2
- (SATA) WD Blue 500GB * 5
- (SATA) WD Blue 1TB * 1
- (M.2 NVMe) 삼성 970 EVO Plus 500GB * 1
- (U.2 NVMe) Kioxia CD6-R 7.68TB (KCD61LUL7T68) * 5
OS: TrueNAS Scale
[DAS]
Dell PowerVault MD1200
Disk: (SATA) HGST 4TB * 4, (SAS) HGST 4TB * 8
R930과 연결
[컴퓨팅 서버]
CPU: I7-8700
RAM: DDR4 32GB * 4 (128GB)
Disk: WD Green 120GB * 2 (OS Mirror), WD Blue 1TB * 1 (/var 파티션 전용)
[네트워크]
NEXT-3029GL2-10G (SFP+ 10Gbps 광케이블을 통해 서버간 연결)
Dell S6000 (QSFP+ 40Gbps, 팬 소음으로 예비 장비로 대기중)
[전원]
UPS: APC EasyUPS SRV3KRI (3000VA, 온라인 방식, 정전 시 백업타임 약 30분)
[예비 장비]
- Dell PowerEdge R720xd
- Dell PowerEdge R620
- Dell PowerEdge R610
- I7-2600
# 인프라 구성
[네트워크]
WAN -> pfSense (방화벽) -> NEXT-3029GL2-10G (스위치) -> 개별 서버
[스토리지]
R930 내 TrueNAS Scale 의 zfs Pool 이용
- NVMe Pool
- - Data: U.2 NVMe 7.68TB SSD * 5 RAIDZ
- HDD Pool
- - Data: SATA/SAS 4TB HDD * 12 RAIDZ2
- - 읽기 캐시: 1TB SSD
- - LOG (동기 쓰기 캐시): 500TB SSD Mirror
- - Metadata: M.2 NVMe 500GB SSD + SATA 500GB SSD * 2 (Mirror)
[VM]
- Zabbix Server (서버 및 네트워크 모니터링 도구)
- 레거시 웹 서버 (기존 VM 기반에서 운영하던 XE 등의 레거시 웹 서버)
- Rancher Cluster (K8s 클러스터를 편리하게 관리하기 위한 K8s 클러스터)
- -> Etcd, Control Plane, Worker Role이 통합된 VM으로 3개 가동
- Main RKE2 K8s Cluster (RKE2 기반 K8s 클러스터)
- -> 대부분의 워크로드를 해당 클러스터에서 실행, Etcd, Control Plane 이 통합된 VM 3개 및 Worker Role 을 가진 VM 3개 가동 (R930 내 CPU 소켓별로 NUMA Node 를 분리하여 VM 실행함)
[서버]
I7-8700 서버는 별도의 하이퍼바이저 OS를 띄우지 않고 바로 우분투 서버를 올린 뒤 RKE2 K8s 워커 에이전트를 실행 함
# 내부 서비스 구성
[설계]
디자인 시스템: Penpot
[개발]
형상관리: GitLab
이슈 트래킹: GitLab
CI/CD: GitLab CI
GitOps: Argo CD
[운영]
모니터링: Zabbix
로깅 시스템: EFK Stack
에러 트래킹: Sentry
[커뮤니케이션]
메신저: Mattermost
문서 관리: wiki.js
파일 공유: Nextcloud
[보안]
방화벽: pfSense
IPS/IDS: Suricata
내부 VPN: OpenVPN, WireGuard
[클라우드 서비스 지원]
객체 스토리지: MinIO
RDB: Percona MySQL Operator, PostgreSQL Operator
캐시: Redis Operator (Failover Cluster, Standalone)
로드 밸런서: MetalLB (BGP 라우팅 구성)
영구 스토리지 (K8s PVC): Democratic CSI
인증서 관리: Cert Manager
웹서비스 리버스 프록시: Nginx Ingress
K8s 관리: Rancher
가상머신: TrueNAS Scale, Proxmox VE
세부 구성을 전부 나열하기엔 너무 많아 전반적인 구조만 정리함
전기 요금: 한 달에 50만 원..
홈 랩 구성하실 분들은 참고 하시길..
2월에 추가로 변경된 구성 보러가기: https://tech.softbell.net/?p=376
댓글