[Archtecting on AWS] Storage & S3

Created
November 16, 2023
Created by
D
DaEun Kim
Tags
AWS
Property

Block Storage

  • 데이터λ₯Ό κ³ μ •λœ μ‚¬μ΄μ¦ˆμ˜ λΈ”λ‘μœΌλ‘œ λ‚˜λˆ μ„œ μ‹λ³„μžμ™€ ν•¨κ»˜ μ €μž₯.
  • AZ λ‚΄μ—μ„œλ§Œ 볡제 ν—ˆμš©.
  • 적용 μ„œλΉ„μŠ€
    • EBS
    • Instance Store(ec2 μž¬λΆ€νŒ… 되면 μ‚¬λΌμ§€λŠ” νœ˜λ°œμ„± λ””μŠ€ν¬)

Object Storage

  • 객체 λ‹¨μœ„λ‘œ μ €μž₯ (객체의 μΌλΆ€λ§Œ μˆ˜μ •ν•  수 μ—†λ‹€.)
  • κ°μ²΄λŠ” key: metadata, value: file 으둜 ꡬ성.
  • νŒŒμΌμ„ 자주 λ³€κ²½ν•˜λŠ” μš”κ΅¬μ‚¬ν•­μ— 뢀적합.
  • μ—¬λŸ¬ 리전에 볡제 κ°€λŠ₯.
  • 적용 μ„œλΉ„μŠ€
    • S3
    • S3 Glacier

File Storage

  • 파일 μ‹œμŠ€ν…œ ν˜•νƒœλ‘œ 디렉토리/파일 μ €μž₯.
  • 파일 탐색에 μ§€μ—°μ‹œκ°„ λ°œμƒ κ°€λŠ₯.
  • 적용 μ„œλΉ„μŠ€
    • EFS
    • FXS for windows

S3 (Simple Storage Service)

  • WORM (Write Once Read Many times) μ½˜ν…μΈ  μ €μž₯에 μ μ ˆν•˜λ‹€.
  • 파일 λ°±μ—… / 정적 μ›Ή μ‚¬μ΄νŠΈ ν˜ΈμŠ€νŒ…(with CloudFront) / λ―Έλ””μ–΄ μ½˜ν…μΈ  μ„œλΉ™μ— ν™œμš© κ°€λŠ₯ν•˜λ‹€.
  • 버킷 μš©λŸ‰μ— μ œν•œμ΄ μ—†λ‹€.
  • λ²„ν‚·μ˜ 이름은 μ „ μ„Έκ³„μ—μ„œ κ³ μœ ν•΄μ•Ό ν•œλ‹€. (버킷이름을 파일 URI λ„λ©”μΈμœΌλ‘œ μ‚¬μš©ν•˜κΈ° λ•Œλ¬Έ.)

S3 access point

  • 버킷에 μ μš©ν•  λ¦¬μ†ŒμŠ€ 기반 μ •μ±…μœΌλ‘œ μ•‘μ„ΈμŠ€ κΆŒν•œμ„ μ„€μ •ν•˜κΈ°μ—λŠ” λ³΅μž‘λ„κ°€ 크고 μ •μ±… μž‘μ„± μš©λŸ‰μ΄ ν•œμ •λ˜μ–΄ 있기 λ•Œλ¬Έμ— λ¦¬μ†ŒμŠ€ 기반 μ •μ±… λŒ€μ‹  S3 access point λ₯Ό μ‚¬μš©ν•œλ‹€

S3 객체 μ•”ν˜Έν™”

  • SSE-S3
  • KMS
  • SSE-C

사둀 별 S3 ν•˜μœ„ μ„œλΉ„μŠ€

image
image

파일 버저닝

  • 버킷에 β€˜λ²„ν‚· 버전 관리’ ν™œμ„±ν™”ν•˜λ©΄ λ™μΌν•œ μ΄λ¦„μ˜ 파일이 μ—¬λŸ¬λ²ˆ 올라갈 λ•Œλ§ˆλ‹€ 버전 아이디 λΆ€μ—¬.
  • νŒŒμΌμ„ μ‚­μ œν•˜λ©΄ soft delete ν•˜κ³  soft delete 에 λŒ€ν•œ 버전도 생성. β†’ 파일 μ‚­μ œλ₯Ό μ·¨μ†Œν•˜λ €λ©΄ 파일 μ‚­μ œμ— λŒ€ν•œ 버전을 μ—†μ• λ©΄ 됨.

multi-part upload

  • 객체 1κ°œλ‹Ή 5TB κΉŒμ§€ μ—…λ‘œλ“œ κ°€λŠ₯ν•˜μ§€λ§Œ μ΅œλŒ€ μš©λŸ‰ μ±„μ›Œμ„œ 객체λ₯Ό μ—…λ‘œλ“œ ν•˜μ§€λŠ” μ•ŠλŠ”λ‹€. β†’ λŒ€μš©λŸ‰ νŒŒμΌμ€ λ©€ν‹°νŒŒνŠΈ μ—…λ‘œλ“œ.
  • uploadObject() API 에 multi-part μ˜΅μ…˜ μ‚¬μš©.

더 λΉ λ₯΄κ²Œ μ‚¬μš©μžμ—κ²Œ μ½˜ν…μΈ  μ œκ³΅ν•˜κΈ° (transfer acceleration)

EFS

  • μ—¬λŸ¬ μΈμŠ€ν„΄μŠ€(across-AZ)κ°€ μŠ€ν† λ¦¬μ§€λ₯Ό κ³΅μœ ν•΄μ•Ό ν•˜λŠ” μƒν™©μ—λŠ” EFS μ‚¬μš© ꢌμž₯.
  • EBS λŠ” μΈμŠ€ν„΄μŠ€ λ‹¨μœ„λ‘œλ§Œ μ‚¬μš©ν•˜λŠ” κ±Έ ꢌμž₯.

Data migration

λ§ˆμ΄κ·Έλ ˆμ΄μ…˜μ„ ν•˜λ €λ©΄ μ•„λž˜ 4가지 νŒŒμ•… ν•„μš”.

  • 데이터λ₯Ό μ΄λ™ν•˜λ €λŠ” μœ„μΉ˜
  • 데이터 이동 κ΄€λ ¨ 사둀
  • μ΄λ™ν•˜λ €λŠ” λ°μ΄ν„°μ˜ μœ ν˜•
  • μ‚¬μš© κ°€λŠ₯ν•œ λ„€νŠΈμ›Œν¬ λ¦¬μ†ŒμŠ€

AWS migration tool

  • DataSync
  • Storage Gateway
  • SnowFamily