요약
후지필름이 생성형 AI로 늘어난 데이터 보관 수요에 맞춰 테이프 생산 능력을 5배로 늘립니다.
후지필름이 발표한 투자 계획을 아스테크니카가 전했습니다. 회사는 생성형 AI가 퍼지면서 세계의 데이터가 폭발적으로 늘고 있다고 봤습니다. 이 데이터를 싸고 안전하게 보관할 수단으로 자기 테이프를 꼽았습니다.
왜 중요한가
- 소비자는 오래전에 버린 테이프가 기업과 클라우드 업계에서는 AI 시대에 오히려 수요가 커지는 매체가 됐습니다.
- 랜섬웨어 공격이 정교해지면서 네트워크와 떼어 보관하는 에어갭(망 분리 보관) 백업의 가치가 다시 주목받고 있습니다.
핵심 내용
- 약 100억 엔(약 6,300만 달러)을 들여 생산 능력을 2025 회계연도의 5배로 늘립니다.
- 가나가와 공장 오다와라 사업장에 2026~2028 회계연도에 걸쳐 설비와 인력을 늘립니다.
- 이 투자는 LTO(기업용 데이터 테이프 표준) 전용 설비로는 후지필름 사상 최대 규모입니다.
- 주력은 2025년에 내놓은 10세대 FUJIFILM LTO Ultrium10으로, 두 가지 페라이트 입자를 섞어 쓴 첫 테이프입니다.
- 회사는 대형 클라우드와 데이터센터 운영사가 낮은 비용 때문에 테이프 사용을 늘리고 있다고 밝혔습니다.
HN 반응
- 기록한 테이프를 실제로 복원해 보고 여러 벌을 남기라는 조언과, 15년간 고장이 거의 없어 하드디스크보다 낫다는 경험담이 맞섰습니다.
- 개인은 Amazon S3 Glacier Deep Archive로 테이프의 싼 보관비를 누리라는 추천에, 길게 보면 하드디스크보다 비싸고 복원 비용도 크다는 반론이 붙었습니다.
테이프를 다뤄 보는 (불)쾌한 경험을 해 본 적 없는 분들을 위해, 아카이빙해 놓고 잊어버리기 전에 알아 둘 함정들이 있습니다.
아카이브를 만들 때는 반드시 다시 읽어 보는 단계를 건너뛰지 마세요. 시스템이 읽을 수 있다고 확인해 주는 것만 말하는 게 아닙니다. 테이프에서 실제로 데이터를 복원해 보라는 겁니다. 기록한 앱은 읽을 수 있다고 확인해 줬는데도 테이프에서 데이터를 못 꺼낸 적이 있습니다.
드라이브는 다른 드라이브가 쓴 데이터를 읽는 데 문제가 생길 수 있습니다. 자기가 쓴 테이프조차 못 읽을 수도 있습니다.
시간과 비용을 두 배 들이면 두 개를 쓸 수 있는데, 하나만 쓸 이유가 있을까요? 제가 테이프를 다룬 내내 하나만 쓴 적은 한 번도 없습니다. DVD 초창기에는 디스크를 찍어 내려고 이미지를 LTO에 써서 보냈습니다. 하나가 읽히지 않을 경우에 대비해 항상 두 개를 보냈고, 일정이 워낙 빡빡해서 새 테이프를 보내느라 이틀만 날려도 납품 일정이 망가졌습니다. 다른 시설에서는 테이프를 세 개 썼습니다. 하나는 현장에 보관하고, 하나는 아이언마운틴(IronMountain)에 보내고, 하나는 고객에게 직접 보냈습니다. 현장 사본이 읽히지 않아서 아이언마운틴 사본을 가져온 경우가 수없이 많았습니다. 이건 대형 로봇 테이프 라이브러리가 관리했기 때문에 각 테이프를 서로 다른 드라이브에서 동시에 썼고, 그래서 비용은 3배여도 시간은 1배였습니다.
권장하는 대로 드라이브 클리닝 카세트를 쓰세요. 더러운 헤드 때문에 데이터가 제대로 기록되거나 읽히지 않을 수 있습니다. 읽는 데 문제가 있으면 테이프를 포기하기 전에 먼저 헤드를 청소하세요. 방금 쓴 테이프조차 읽는 데 문제가 있다면, 다른 사람이라고 읽을 수 있을 거라고 생각하지 마세요.
여러분이 쓴 테이프를 쓸 사람이 그 테이프를 무엇으로 썼는지 알도록 해 두세요. 모든 아카이버가 서로 호환되는 건 아닙니다. tar 명령으로 테이프에 썼다면 GUI 앱을 쓰는 사람은 읽을 수 없습니다.
저는 서로 다른 LTO 테이프 버전 5가지, 다른 카세트 형식 5가지(DAT, DDS 등), 그리고 오픈 릴까지 다뤘지만 15년 동안 단 한 번도 문제가 없었습니다(아마 1000개쯤 썼을 겁니다). 테이프는 아주 자주 순환시켰고 드라이브도 제대로 정비하긴 했습니다. 그래도 한 달에 한 번꼴로 고장 나던 RAID 디스크 어레이에 비하면 훨씬 나았습니다. 또 "반영구적"이라는 NVMe도 저는 못 믿습니다. 전원 없이 1년 지나면 사실상 초기화되니까요.
데이터 보존 기간은 온도에 따라 지수적으로 줄어들지만, 반대로 냉각하면 지수적으로 늘어납니다. 보수적으로 잡으면 영하 20도에서 30년입니다. 플래시의 또 다른 장점은 이제 테이프보다 밀도가 훨씬 높고(약 10배) 옮길 필요도 없다는 점입니다. 보관 랙에서 전원을 꺼 둔 채로 두고, 6개월쯤마다 전원을 켜서 리프레시하면 됩니다. 다만 여전히 터무니없이 비싸고, 밀도가 높을수록 더 비쌉니다.
맞습니다. 유일하게 실질적인 단점은 테이프나 HDD에 비해 TB당 가격이 너무 높다는 것이고, 그것만 아니면 말씀하신 대로 냉동고에 넣어 두면 보존 문제는 해결됩니다.
1000개도 많긴 한데, 윗분은 몇 자릿수는 더 많이 쓰신 것 같네요.
네, 1년에 1000개는 가볍게 썼습니다. 한 번 쓸 때마다 테이프가 3개씩 들어가면 그 숫자는 금방 불어나요. 저희 시설에는 드라이브 10대씩 들어간 로봇 타워가 3대 있었고, 다른 시설에도 따로 있었습니다. 이걸 다루는 전담 부서가 따로 있었죠. 데이터가 든 테이프가 로봇 안에 있으면 한 시간 안에 복원을 시작할 수 있었습니다. 현장 라이브러리에 있는 테이프라면 로봇에서 어떤 테이프를 빼낼지 정하느라 몇 시간 안에 시작하는 정도였고요.
저는 그보다 몇 자릿수 더 많이 다뤘는데 오류도 많이 봤습니다.
그래도 하드 드라이브와 비교하면 새 발의 피죠.
테이프 수에 비해 오류가 어느 정도 자릿수였나요? 1%? 0.1%? 0.01%?
오류가 1000분의 1이면 발견되지 않을 가능성이 높겠네요. 테이프에서 데이터를 꺼내는 일이 얼마나 자주 있나요?
쓰자마자 읽어 보라는 조언을 따르면 테이프의 100%에서 데이터를 꺼내게 됩니다.
진심으로, 대체 뭘 쓰셨길래 그렇게 문제가 많았던 겁니까?
저희는 LTO를 쓰는데 15년 동안 불량 테이프를 딱 하나 본 것 같고, 그것도 쓰는 도중에 망가졌습니다. 테이프 풀을 돌려 가며 정기적으로 복원 작업을 하고, 모든 테이프를 최소 몇 달에 한 번은 건드립니다. 하드 드라이브보다 고장률이 훨씬 낮습니다.
드라이브는 오래되면 좀 까다로워질 수 있지만, 실제로 고장 나기 전에 대체로 다 보고가 됩니다.
저희가 쓴 자동 테이프 라이브러리는 전부, 드라이브가 테이프를 요청하면 라이브러리가 알아서 어느 슬롯에 있는지 찾아 줬습니다.
흥미로운 지적입니다. 요즘 테이프는 시장 최상위 영역에 있습니다. 회전하는 금속판에 다 담기지 않을 만큼 데이터가 많을 때(부피로는 두 배 밀도입니다), 그리고 규제 당국이 수년 치 오프사이트 오프라인 아카이브를 갖추게 할 때 쓰입니다.
그런데 흥미로운 변화가 일어나고 있습니다. 플래시는 이제 부피당 밀도가 테이프보다 훨씬 높고 더 많이 다시 쓸 수 있습니다. 주기적인 리프레시가 필요하지만 영하 10도쯤으로 보관하면 수십 년은 데이터를 유지할 겁니다. 데이터 양이 늘어나면 플래시가 니어라인·오프라인 저장소의 선택지가 될 수도 있습니다. 매체에 드라이브가 내장되어 있어서 기계 장치로 옮겨 주는 로봇이 필요 없으니, 온라인·니어라인 아카이브도 스토리지 서버 랙에 훨씬 가까운 모습이 될 겁니다. 단점은 테이프보다 수천 배 비싸다는 겁니다.
플래시 메모리에도 품질이 다른 종류가 있나요(다른 종류, 다른 등급 같은 거요)? 진지하게 묻는 건데, 지금까지 폰에 꽂아 쓴 microSD는 전부 꽤 빨리 맛이 갔고, 듣도 보도 못한 싸구려도 아니고 그냥 중간 가격대의 중간 용량 microSD였거든요. 그래서 플래시 기반 매체는 정말정말 조심해서 믿을 것 같습니다. 반면 폰 자체는 한 번도 말썽을 부린 적이 없는데, 폰에는 microSD와 다른 메모리를 쓰는 걸까요? 아니면 접점이 나빠진 걸까요? 그럴 것 같진 않은 게, 저는 폰에 한 번 넣어 놓고 그대로 두거든요.
네, 아래 내용은 전체적으로는 부정확한 농담이지만 현실적인 요소가 들어 있다고 생각하고 읽어 주세요.
신뢰성 기준으로 가장 높은 등급은 산업용 제품에 들어가고, 그다음 등급은 이름 있는 브랜드의 SSD에, 낮은 등급은 대중용 메모리 카드에 들어갑니다. 어느 날 유명 낸드 제조사의 한 직원이 "이건 C등급도 아깝다"고 했고, 그날 USB 플래시 드라이브가 발명되었습니다...
현실은, 특히 요즘(2010년대 초반 이후)은 당연히 더 복잡합니다. 소비자 제품은 온갖 칩으로 만들어지고, 브랜드나 심지어 구체적인 모델·가격대도 품질을 느슨하게만 가늠하게 해 줍니다. 밀도(SLC/MLC/TLC/QLC/PLC, 즉 셀 하나에 비트를 몇 개나 욱여넣었는가) 같은 사양은 늘 공개되는 것도 아니고, 공개돼도 모델별로 보장되는 값이 아닙니다. 위조나 플래시 사기(주소 오버플로로 덮어쓰기가 일어나는 부풀린 용량)도 일부 시장에서는 여전히 만연하고요...
eMMC는 신뢰성에서(납땜으로 붙어 있고 교체할 수 없다는 점을 보완하는 걸까요?) 그리고 성능에서도 일반 microSD보다 한 등급 위인 게 맞습니다. UHS-II 카드와 리더를 실물로 본 적이 몇 번이나 있나요? 대부분의 eMMC는 8비트 모드를 염두에 두고 설계되어 실제로 그렇게 쓰이며, 대개 그 덕을 볼 만큼 빠릅니다. 폰 내장 저장소가 UFS처럼 더 새롭고 빠른 기술일 수도 있다는 건 말할 것도 없고요!
그건 그렇고, 말씀하신 사례는 우연일 가능성이 낮습니다. 접점을 의심하시는데, 요즘 microSD+SIM 트레이 설계에서 접점이 나빠지는 일은 저도 자주 봅니다. 그 카드들이 USB microSD 리더에서는 작동하나요? (micro/mini SD를 SD로 바꿔 주는 어댑터는 피하세요. 두께 제약이 있는 설계라 헐거워지고 망가지는 속도가 끔찍합니다!)
아뇨, 그 정도로 싸질 일은 절대 없을걸요.
원글 쓴 분은 DAT 테이프로 백업하는 재미를 보신 것 같네요.
저는 VFX 업계에서 일했고, 여러 가지 테이프 시스템을 관리하는 즐거움을 누렸습니다.
드라이브 하나짜리 HP MSL4048 테이프 "로봇"부터 LTO6 드라이브 25대가 들어간 여러 랙짜리 괴물까지 다양했습니다.
우선 좋은 소프트웨어가 필요합니다. 이게 핵심입니다. tar를 중심으로 직접 만들 수도 있지만 테스트를 해 봐야 합니다. 오픈소스 로봇 드라이버가 (있거나 예전에 있었는데) 쓰기가 좀 고통스럽긴 합니다(여기선 LLM이 도움이 됩니다).
큰 로봇에서 골치 아픈 건 기계 쪽입니다.
제가 쓴 시스템에는 상황을 볼 수 있는 CCTV 카메라가 달려 있었습니다. 잘 돌아갈 때는 드라이브 25대짜리 괴물이 초당 30기가를 포화시킬 수 있었습니다. 우리가 겪은 문제는 니어라인이 라이브러리 캐시를 채울 만큼 대역폭이 충분한지, 그리고 라이브러리 캐시가 충분히 빠른지를 확인하는 것이었습니다.
그런데 로봇이 우울해져서 테이프를 떨어뜨리거나, 아무 슬롯에나 테이프를 집어넣고는 화를 내거나, 드라이브가 우울해져서 청소기로 빨아 줘야 하는 일이 있었습니다. 데이터는 멀쩡했습니다. 그리고 저희는 거기서 정기적으로 페타바이트 단위를 넣고 뺐습니다.
궁금하신 분들을 위해 알려 드리면, 테이프 라이브러리는 1U(테이프 5개)와 2U(테이프 15개) 같은 작은 크기까지 다양하게 나옵니다. 예를 들면 이런 것들입니다.
https://buy.hpe.com/ca/en/storage/tape-storage/business-class-libraries/hpe-storage-msl-entry-level-tape-automation/p/1011221564
https://buy.hpe.com/ca/en/storage/tape-storage/business-class-libraries/hpe-storage-msl2024-tape-library/p/1014897556
오래된 2U 라이브러리의 내부는 이렇게 생겼습니다.
테이프 하드웨어에 큰 설비 투자를 하지 않고도 내 데이터 백업에서 테이프의 낮은 TB당 비용을 누리고 싶다면, Amazon S3 Glacier Deep Archive를 위한 rustic의 콜드 스토리지 지원을 진심으로 추천합니다. 복원할 계획이 없다면 결국 월 1달러/TB 수준입니다. (보조 백업으로 쓰고, 복원은 주 백업에서 하는 것으로 계획하세요.) 저는 rustic+GDA를 1년쯤 써 왔고, 다른 분들도 이 경로를 매끄럽게 쓸 수 있도록 이 소프트웨어 생태계에 몇 가지 개선도 기여했습니다. 이 방법을 쓰고 나서는 더는 직접 테이프 하드웨어를 사고 싶은 유혹이 들지 않습니다!
복원할 계획이 없다면, 그 아카이브가 유효한 백업인지 어떻게 알 수 있습니까?
Glacier로 보내기 전에 백업을 테스트하면 됩니다.
백업을 /dev/null로 보내기 전에 테스트했는데요?
테이프는 아이언마운틴에 보내기 전에 테스트하고, 아이언마운틴이 테이프를 소자(消磁)해 버리지 않았다고 그냥 믿는 수밖에 없습니다. 테스트 삼아 테이프 하나를 거기서 회수해 보는 거죠.
물리적인 테이프를 배송한다는 말처럼 읽히는데요? 전혀 몰라서 하는 진지한 질문입니다.
같은 과정으로 테스트 파일 몇 개를 업로드해 보고 복원해 보세요.
실제로 계산해 보면 비싼 겁니다.
맞아요, 적은 양에는 좋지만 5년간 TB당 60달러면 최근 가격이 올랐어도 패리티까지 포함한 하드 드라이브보다 비쌉니다. 테이프가 제 값을 하는 구간 근처에만 있어도 테이프가 훨씬 쌉니다.
그리고 데이터를 꺼내는 데도 돈이 들지 않나요?
꺼내는 데 돈이 든다고만 하는 건 엄청나게 축소한 표현입니다. 제가 알기론 1TB짜리 파일 하나를 꺼내는 데 80달러쯤 들고 이틀쯤 걸립니다.
월 TB당 1달러보다 싼 온라인 클라우드 스토리지 서비스가 있을까요?
저는 취미로 보관하는 동영상 파일이 수천 개 있고 합쳐서 수 TB입니다.
순전히 백업용이라 파일을 꺼낼 일은 거의 없습니다. 그래도 1GB짜리 파일 하나를 꺼내는 데 100달러쯤 받는 서비스는 쓰기 망설여질 것 같습니다.
제가 알기로 AWS S3에서는 CloudFront를 쓰면 최대 1TB까지 거의 공짜로 꺼낼 수 있습니다.
지금은 파일을 us-east-1 리전에 보관하고 있습니다.