์˜์–ดํ”„๋ž‘์Šค์–ด์ŠคํŽ˜์ธ์–ด

Ad


์˜จ์›์Šค ํŒŒ๋น„์ฝ˜

Fluent Bit Linux์šฉ Amazon Kinesis Firehose ๋‹ค์šด๋กœ๋“œ

Fluent Bit Amazon Kinesis Firehose Linux ์•ฑ์„ ๋ฌด๋ฃŒ๋กœ ๋‹ค์šด๋กœ๋“œํ•˜์—ฌ Ubuntu ์˜จ๋ผ์ธ, Fedora ์˜จ๋ผ์ธ ๋˜๋Š” Debian ์˜จ๋ผ์ธ์—์„œ ์˜จ๋ผ์ธ์œผ๋กœ ์‹คํ–‰

์ด๊ฒƒ์€ ์ตœ์‹  ๋ฆด๋ฆฌ์Šค๋ฅผ AmazonKinesisDataFirehoseforFluentBit1.7.0.zip์œผ๋กœ ๋‹ค์šด๋กœ๋“œํ•  ์ˆ˜ ์žˆ๋Š” Fluent Bit Amazon Kinesis Firehose๋ผ๋Š” Linux ์•ฑ์ž…๋‹ˆ๋‹ค. ์›Œํฌ์Šคํ…Œ์ด์…˜์šฉ ๋ฌด๋ฃŒ ํ˜ธ์ŠคํŒ… ์ œ๊ณต์—…์ฒด์ธ OnWorks์—์„œ ์˜จ๋ผ์ธ์œผ๋กœ ์‹คํ–‰ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

Fluent Bit Amazon Kinesis Firehose with OnWorks๋ผ๋Š” ์ด ์•ฑ์„ ์˜จ๋ผ์ธ์—์„œ ๋ฌด๋ฃŒ๋กœ ๋‹ค์šด๋กœ๋“œํ•˜์—ฌ ์‹คํ–‰ํ•˜์‹ญ์‹œ์˜ค.

์ด ์•ฑ์„ ์‹คํ–‰ํ•˜๋ ค๋ฉด ๋‹ค์Œ ์ง€์นจ์„ ๋”ฐ๋ฅด์„ธ์š”.

- 1. ์ด ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์„ PC์— ๋‹ค์šด๋กœ๋“œํ–ˆ์Šต๋‹ˆ๋‹ค.

- 2. ํŒŒ์ผ ๊ด€๋ฆฌ์ž https://www.onworks.net/myfiles.php?username=XXXXX์— ์›ํ•˜๋Š” ์‚ฌ์šฉ์ž ์ด๋ฆ„์„ ์ž…๋ ฅํ•ฉ๋‹ˆ๋‹ค.

- 3. ์ด๋Ÿฌํ•œ ํŒŒ์ผ ๊ด€๋ฆฌ์ž์—์„œ ์ด ์‘์šฉ ํ”„๋กœ๊ทธ๋žจ์„ ์—…๋กœ๋“œํ•ฉ๋‹ˆ๋‹ค.

- 4. ์ด ์›น์‚ฌ์ดํŠธ์—์„œ OnWorks Linux ์˜จ๋ผ์ธ ๋˜๋Š” Windows ์˜จ๋ผ์ธ ์—๋ฎฌ๋ ˆ์ดํ„ฐ ๋˜๋Š” MACOS ์˜จ๋ผ์ธ ์—๋ฎฌ๋ ˆ์ดํ„ฐ๋ฅผ ์‹œ์ž‘ํ•ฉ๋‹ˆ๋‹ค.

- 5. ๋ฐฉ๊ธˆ ์‹œ์ž‘ํ•œ OnWorks Linux OS์—์„œ ์›ํ•˜๋Š” ์‚ฌ์šฉ์ž ์ด๋ฆ„์œผ๋กœ ํŒŒ์ผ ๊ด€๋ฆฌ์ž https://www.onworks.net/myfiles.php?username=XXXXX๋กœ ์ด๋™ํ•ฉ๋‹ˆ๋‹ค.

- 6. ์‘์šฉ ํ”„๋กœ๊ทธ๋žจ์„ ๋‹ค์šด๋กœ๋“œํ•˜์—ฌ ์„ค์น˜ํ•˜๊ณ  ์‹คํ–‰ํ•ฉ๋‹ˆ๋‹ค.

์Šคํฌ๋ฆฐ ์ƒท

Ad


์œ ์ฐฝํ•œ ๋น„ํŠธ Amazon Kinesis Firehose


๊ธฐ์ˆ 

Amazon Kinesis Data Firehose์šฉ Fluent Bit ์ถœ๋ ฅ ํ”Œ๋Ÿฌ๊ทธ์ธ์ž…๋‹ˆ๋‹ค. ์ด ํ”Œ๋Ÿฌ๊ทธ์ธ์€ ๊ณ„์† ์ง€์›๋ฉ๋‹ˆ๋‹ค. ๊ทธ๋Ÿฌ๋‚˜ ์šฐ๋ฆฌ๋Š” ๊ทธ๊ฒƒ์— ๋Œ€ํ•œ ๊ฐœ๋ฐœ์„ ์ผ์‹œ ์ค‘์ง€ํ•˜๊ณ  ๋Œ€์‹  ๊ณ ์„ฑ๋Šฅ ๋ฒ„์ „์— ์ง‘์ค‘ํ•  ๊ฒƒ์ž…๋‹ˆ๋‹ค. ๊ณ ์„ฑ๋Šฅ ํ”Œ๋Ÿฌ๊ทธ์ธ์˜ ๊ธฐ๋Šฅ์ด ์‚ฌ์šฉ ์‚ฌ๋ก€์— ์ถฉ๋ถ„ํ•˜๋‹ค๋ฉด ์‚ฌ์šฉํ•˜์‹ญ์‹œ์˜ค. ๊ทธ๊ฒƒ์€ ๋” ๋†’์€ ์ฒ˜๋ฆฌ๋Ÿ‰์„ ๋‹ฌ์„ฑํ•  ์ˆ˜ ์žˆ๊ณ  ๋” ์ ์€ CPU์™€ ๋ฉ”๋ชจ๋ฆฌ๋ฅผ ์†Œ๋น„ํ•ฉ๋‹ˆ๋‹ค. ์ด ํ”Œ๋Ÿฌ๊ทธ์ธ์€ Fluent Bit 1.2.0+์—์„œ ํ…Œ์ŠคํŠธ๋˜์—ˆ์Šต๋‹ˆ๋‹ค. ์ด์ „ Fluent Bit ๋ฒ„์ „์—์„œ๋Š” ์ž‘๋™ํ•˜์ง€ ์•Š์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ตœ์‹  ๊ธฐ๋Šฅ๊ณผ ๋ฒ„๊ทธ ์ˆ˜์ •์ด ํฌํ•จ๋œ ์ตœ์‹  ๋ฒ„์ „์˜ Fluent Bit๋ฅผ ์‚ฌ์šฉํ•˜๋Š” ๊ฒƒ์ด ์ข‹์Šต๋‹ˆ๋‹ค. Fluent Bit ๋ฐ ์ด๋Ÿฌํ•œ ํ”Œ๋Ÿฌ๊ทธ์ธ์„ ์‚ฌ์šฉํ•˜์—ฌ ์ปจํ…Œ์ด๋„ˆ ์ด๋ฏธ์ง€๋ฅผ ๋ฐฐํฌํ•ฉ๋‹ˆ๋‹ค.



ํŠน์ง•

  • ํ”Œ๋Ÿฌ๊ทธ์ธ์—๋Š” kinesis:PutRecords ๊ถŒํ•œ์ด ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.
  • ์ด ํ”Œ๋Ÿฌ๊ทธ์ธ์€ AWS SDK Go๋ฅผ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.
  • ์ด ํ”Œ๋Ÿฌ๊ทธ์ธ์€ Fluent Bit 1.2.0+์—์„œ ํ…Œ์ŠคํŠธ๋˜์—ˆ์Šต๋‹ˆ๋‹ค.
  • ์ด๋ฏธ์ง€๋Š” Amazon ECR Public Gallery์—์„œ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • Fluent Bit์™€ ์ด ํ”Œ๋Ÿฌ๊ทธ์ธ์œผ๋กœ ์ปจํ…Œ์ด๋„ˆ ์ด๋ฏธ์ง€๋ฅผ ๋ฐฐํฌํ•ฉ๋‹ˆ๋‹ค.
  • SSM ํผ๋ธ”๋ฆญ ํŒŒ๋ผ๋ฏธํ„ฐ๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ํ•ด๋‹น ์ง€์—ญ์˜ Amazon ECR ์ด๋ฏธ์ง€ URI๋ฅผ ์ฐพ์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.


ํ”„๋กœ๊ทธ๋ž˜๋ฐ ์–ธ์–ด

Go


์นดํ…Œ๊ณ ๋ฆฌ

ํ”Œ๋Ÿฌ๊ทธ์ธ ๋ฐ ์ถ”๊ฐ€ ๊ธฐ๋Šฅ

์ด๊ฒƒ์€ https://sourceforge.net/projects/flu-bit-amz-ki-firehose.mirror/์—์„œ๋„ ๊ฐ€์ ธ์˜ฌ ์ˆ˜ ์žˆ๋Š” ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์ž…๋‹ˆ๋‹ค. ๋ฌด๋ฃŒ ์šด์˜ ์ฒด์ œ ์ค‘ ํ•˜๋‚˜์—์„œ ๊ฐ€์žฅ ์‰ฌ์šด ๋ฐฉ๋ฒ•์œผ๋กœ ์˜จ๋ผ์ธ์œผ๋กœ ์‹คํ–‰ํ•˜๊ธฐ ์œ„ํ•ด OnWorks์—์„œ ํ˜ธ์ŠคํŒ…๋˜์—ˆ์Šต๋‹ˆ๋‹ค.


๋ฌด๋ฃŒ ์„œ๋ฒ„ ๋ฐ ์›Œํฌ์Šคํ…Œ์ด์…˜

Windows ๋ฐ Linux ์•ฑ ๋‹ค์šด๋กœ๋“œ

Linux ๋ช…๋ น

  • 1
    2to3-3.5
    2to3-3.5
    2to3-3.3 - Python2์—์„œ Python3์œผ๋กœ ๋ณ€ํ™˜๊ธฐ
    ...
    2to3-3.5 ์‹คํ–‰
  • 2
    2 ~ 3
    2 ~ 3
    2to3-2.7 - Python2์—์„œ Python3์œผ๋กœ ๋ณ€ํ™˜๊ธฐ
    ...
    2to3 ์‹คํ–‰
  • 3
    cpqarrayd
    cpqarrayd
    cpqarrayd - ์–ด๋ ˆ์ด ์ปจํŠธ๋กค๋Ÿฌ
    ๋ชจ๋‹ˆํ„ฐ๋ง ๋ฐ๋ชฌ ๊ตฌ๋ฌธ: cpqarrayd [-d]
    [-v] [-t ํ˜ธ์ŠคํŠธ [-t ํ˜ธ์ŠคํŠธ]] ์„ค๋ช…:
    ์ด ํ”„๋กœ๊ทธ๋žจ์€ HP๋ฅผ ๋ชจ๋‹ˆํ„ฐ๋งํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
    (์ปดํŒฉ) ์–ด๋ผ...
    cpqarrayd ์‹คํ–‰
  • 4
    cproto
    cproto
    cproto - C ํ•จ์ˆ˜ ํ”„๋กœํ† ํƒ€์ž… ์ƒ์„ฑ
    ํ•จ์ˆ˜ ์ •์˜ ๋ณ€ํ™˜ ...
    ์‹คํ–‰ cproto
  • 5
    ๊ทธ๋นˆ
    ๊ทธ๋นˆ
    gbbin - ๋ฐ์ดํ„ฐ๋ฅผ ๋น„๋‹ํ•˜๋Š” ํ”„๋กœ๊ทธ๋žจ ...
    gbbin ์‹คํ–‰
  • 6
    GB๋ถ€ํŠธ
    GB๋ถ€ํŠธ
    gbboot - ๋ถ€ํŠธ์ŠคํŠธ๋žฉ ์‚ฌ์šฉ์ž ์ œ๊ณต ๋ฐ์ดํ„ฐ ...
    gbboot ์‹คํ–‰
  • ๋”ยป

Ad