컴퓨터와 DB : 초기, 관계형 DB, NoSQL과 빅 데이터

데이터베이스

컴퓨터와 DB(데이터베이스)에 대해 이야기해 보려고 합니다. DB가 뭘까요? 일반적으로 컴퓨터 시스템에 전자 방식으로 저장된 구조화된 정보 또는 데이터의 체계적인 집합을 의미합니다. 어려우신가요? 여러분, 우리가 매일 사용하는 컴퓨터와 스마트폰에는 정말 많은 데이터들이 저장되어 있죠? 여러분 그것을 어떻게 관리하시나요? 

 

제 아내는 사진 찍는 것을 엄청 좋아해서 아마도 저의 10배쯤 사진 데이터들이 있을 겁니다. 아이들의 어린 시절부터 20년이 넘도록 쌓인 데이터들은 그녀의 기쁨이자, 골칫거리였습니다. 데이터가 너무 방대하다 보니, 아내는 어떻게 관리할 줄을 몰랐기 때문에 그렇습니다. 바로 이럴 때, 그 데이터들을 효과적으로 관리하고 활용하는 것이 바로 DB의 역할입니다. 

 

DB는 우리가 사용하는 모든 컴퓨터 프로그램의 기반이 되는 핵심 기술입니다. 저도 30년 동안 소프트웨어 개발을 해왔는데, DB 기술의 변화를 아주 직접 경험해 온 사람입니다. 오늘 글에서는 초기 DB 시스템부터 관계형, 최근의 NoSQL과 빅 데이터까지, DB 기술의 변천사를 살펴보고 그 중요성에 대해 이야기해 보도록 하겠습니다. 자, 그럼 시작하겠습니다.

 

컴퓨터와 초기 DB 시스템

반응형

컴퓨터 초기 DB 시스템은 1960년대부터 시작됩니다. 당시에는 컴퓨터 메모리가 매우 작고 저장 공간이 제한적이었기 때문에, 데이터를 체계적으로 관리하는 것이 매우 중요했습니다. 초기의 DB 시스템은 주로 파일 기반으로 운영되었습니다. 데이터를 파일로 관리하고, 이를 프로그램에서 직접 읽고 쓰는 방식이었습니다. 마치 책장에 파일 폴더를 꽂아두는 것과 같은 원리였습니다. 하지만 이 방식은 데이터 중복, 데이터 무결성 문제, 데이터 검색의 어려움 등 많은 한계가 있었습니다.

그래서 등장한 것이 계층형 데이터베이스와 네트워크형 DB입니다. 이 시스템에서는 데이터를 트리 구조나 그물 구조로 연결하여 관리할 수 있었습니다. 마치 가족 관계도를 그리듯이 말입니다. 하지만 이런 방식도 데이터가 더욱 복잡해지면서 한계에 부딪히게 됩니다. 이런 문제를 해결하기 위해 DB 관리 시스템이 등장하게 되었습니다.

관계형 DB의 등장

반응형

관계형 DB가 1970년대 중반에 등장하면서 DB 기술은 큰 혁신을 이루게 됩니다. 관계형 DB는 테이블 형태로 데이터를 구조화하고, 테이블 간 관계를 통해 복잡한 데이터 구조를 표현할 수 있었습니다. 이를 통해 데이터 관리가 훨씬 수월해졌습니다. 쉽게 말하면, 여러분이 흔히 사용하는 마치 엑셀 파일과 같은 구조입니다. 이를 통해 데이터를 쉽게 검색하고 조작할 수 있게 되었습니다.

예를 들어, 교사였던 저의 아내도 20년 전에 학생수는 많고(약 500명), 기술은 발달하지 않아서 학생 정보를 관리할 때 애를 먹었었는데, 전문가인 제가 살짝 도와줬던 일이 있습니다. 이름, 학번, 연락처, 장래 희망, 성적 등을 각각의 필드로 구분해서, 손쉽게 데이터를 관리할 수 있도록 프로그램을 짜주었습니다. 그 프로그램을 써본 아내는 기뻐서 환호성을 질렀고, 저는 그날 저녁 한우 암소 고기에, 제가 좋아하는 미더덕이 들어간 된장찌개를  오랜만에 실컷 먹었죠!  

이처럼 관계형 DB는  복잡한 데이터도 효과적으로 관리할 수 있게 해 주기 때문에, 데이터 처리의 효율성과 정확성을 높여주었고, 지금까지도 가장 널리 사용되고 있습니다. 그래서 관계형 DB는 빠르게 보급되었고, 많은 기업과 기관에서 사용되기 시작했습니다. 은행의 계좌 정보, 온라인 쇼핑몰의 상품 정보, 병원의 환자 기록 등 다양한 분야에서 활용되었습니다. 

전문가인 저도 관계형 데이터베이스를 처음 접했을 때, 마치 헤매던 숲 속에서 넓은 길을 발견한 것 같은 느낌이었습니다. 복잡한 데이터 구조를 깔끔하게 정리할 수 있게 되었기 때문입니다. 이후 SQL이라는 강력한 질의어가 등장하면서 데이터베이스 활용도가 크게 높아졌습니다. 지금도 대부분의 컴퓨터 프로그램은 관계형 DB를 기반으로 동작하고 있습니다.

 

NoSQL과 빅 데이터

반응형

NoSQL과 빅 데이터에 대해 알아보겠습니다. 일단 용어가 너무 전문적이고, 빅 데이터라니 뭔가 말에 짓눌리는 기분이 드실 겁니다. 차분히 하나하나 알아봅시다. 2000년대 들어, 데이터베이스 기술은 또 한 번의 혁신을 겪게 됩니다. 바로  NoSQL DB의 등장이고 '빅 데이터' 시대의 도래와 맞물려 있습니다. 빅 데이터란 말 그대로, 기존의 DB로는 처리하기 어려울 만큼 방대한 양의 데이터를 말합니다.

인터넷과 모바일 기술의 발달로 데이터의 양이 기하급수적으로 늘어나면서, 지금도 온라인에서는 소셜 미디어, 센서, 이미지 등 다양한 형태의 데이터가 실시간으로 생성되고 있습니다. 여러분도 그 방대한 데이터들을 대체 어떻게 관리하는지 한 번쯤은 의문을 가진 적이 있으신가요? 

NoSQL 데이터베이스는 영어로 Not only SQL입니다. 눈치채셨겠지만, 관계형 DB와는 다른 방식으로 데이터를 저장하고 관리합니다. 기존의 관계형 DB는 표 형태로 데이터를 저장하지만, NoSQL DB는 문서, 그래프, 키-값 쌍 등 다양한 형태로 데이터를 저장할 수 있습니다. 이를 통해 기존의 관계형 DB로는 처리하기 어려운 대용량, 비정형 데이터도 효과적으로 관리할 수 있게 되었습니다. 

저도 최근에는 NoSQL DB를 많이 사용하고 있는데, 정말 놀라운 속도와 확장성을 경험했습니다. 예를 들어 소셜 미디어 분석 서비스를 개발할 때, 관계형 DB로는 감당하기 어려운 수많은 게시물과 댓글을 효과적으로 처리할 수 있었습니다. 제가 보기에 NoSQL과 빅 데이터는 마치 숲 속에 숨겨진 보물 창고를 발견한 것 같았습니다.

아직도 어려우신가요? 조금 더 가까운 제 일상에서 예를 들어보겠습니다. 어느 날 식구들이랑 저녁을 먹는데, 제 아내가 어느 날 그러더군요. “페이스북이 내 일상을 다 훔쳐보나 봐. 참, 귀신이 곡할 노릇이야. 어떻게 알고, 어제 내가 말한 알로에 화장품이 오늘 딱 페이스북에 광고로 뜨는 걸까?” 그러자 제 딸이’ 어, 나도 그런데! 이상하게 인스타그램에 내가 좋아하는 BTS 지민이가 자꾸 등장해. 어떻게 된 거지, 아빠?”라고 묻더군요. 저는 “자신의 적은 자신이지 귀신이 아니야! 잘 생각해 봐, 당신이나 네가 결국 다 정보를 제공한 거라고!” 라며, SNS가 얼마나 무서운지 말해주었습니다. (17번째 글, 컴퓨터와 소셜 미디어의 발전 과정에 관한 포스팅 글을 참고해 주세요)

혹시 여러분도 이런 경험이 있으신가요? 이게 바로 빅데이터 때문에 가능한 이야기입니다. Facebook, Twitter, Instagram 등에서 여러분은 (아마도 별생각 없이) 자신의 일상이나, 생각을 포스팅하고 서로 댓글도 달 것입니다. 이렇게 사용자들이 생성하는 방대한 양의 데이터는 전형적인 빅 데이터 사례입니다. 이러한 데이터는 NoSQL DB에 저장되며, 사용자의 관심사, 활동 패턴 등을 분석하여 사용자에게 맞춤형으로 개인화된 콘텐츠와 광고를 제공하는 것입니다. 요즘 같은 SNS 시대에 여러분은 프라이버시 보호를 위해 스스로 주의해야 할 것입니다.

 

빅데이터를 다룰 줄 아는 저 이기에, 제 아내는 물론 아들, 딸에게 SNS를 가급적 하지 말라고 몇 번 잔소리를 했지만, 아쉽게도 아무 소용이 없었습니다. 그래서 살짝 작전을 바꿨습니다. (제가 사용하는 방식처럼) 사용 빈도를 좀 줄이고, 개인정보 유출 및 오남용에 주의하라고 말입니다. 사진을 포스팅하더라도 가급적 얼굴이 전면에 드러나는 것은 피하고, 너무 자세한 얘기는 쓰지 말라고 부탁했습니다.  아내는 제 얘기를 약간 귀담아듣고 자제했지만, 제 딸은 ‘꼰대’ 보듯이 저를 쳐다보는 눈빛을 잊을 수가 없더군요. 사실, 제 딸은 인스타그램이 그 아이의 최고 친구입니다. 그러니 SNS 속에서 빠져서 나오지 않는 딸에게는 소귀에 경 읽기였습니다. 아빠로서, 참 난감합니다. 여러분은 어떻게 대처하시는지요? 좋은 아이디어가 있으시면 댓글로 남겨주시면 참고하겠습니다. 


이상 오늘은 컴퓨터와 데이터베이스의 역사, 즉 초기의 파일 기반 시스템에서 시작해, 관계형 DB, 그리고 최근의 빅데이터와  NoSQL 데이터베이스에 이르기까지, 데이터를 효과적으로 관리하고 활용하는 기술의 발전을 살펴보았습니다. 앞으로도 DB 기술은 계속해서 발전할 것이며, 우리의 삶에 더욱 깊숙이 스며들 것입니다. 여러분 중에 몇몇도 언젠가는 이런 기술을 직접 다루게 될 수도 있을 겁니다. 하지만 이러한 기술의 부작용과 바른 사용법을 고려해야 합니다. 온라인 세상의 들판에는 현실보다 더 굶주린 늑대들이 으르렁 거리며 먹잇감을 찾고 있다는 점 기억하셨으면 좋겠습니다.  그럼 다음 글에서는 <하드웨어의 발전>을 다루어 보겠습니다. 감사합니다.