Chp08/(IP)Chp8_Data Has to Go Somewhere.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Chp 8. Data Has to Go Somewhere\n",
    "- 발표자 : 이아름\n",
    "- 발표일 : 2017.9.2(토)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Relational Databases"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "관계형 데이터 베이스\n",
    "- 다중 사용자 접근\n",
    "- 사용자 보호\n",
    "- 저장과 검색 효율적인 방법\n",
    "- 스키마에 의해 정의, 제한된 데이터\n",
    "- 다양한 타입의 데이터들의 관계 \n",
    "- 선언적 (명령형x) z쿼리 언어 SQL\n",
    "\n",
    "이들은 관계를 보여주기때문에, 관계형이라고 부르고,\n",
    "표 형태로 나타낸다. (행과 열)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### SQL"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "SQL은 선언적 언어. ( 관계형 데이터베이스의 보편적인 언어)\n",
    "SQL의 쿼리는 텍스트, 문자열\n",
    "\n",
    "- 문자열 형태로 클라이언트가 데이터베이스 서버로, 서버에서 클라이언트로 전송\n",
    "\n",
    "SQL은 2가지 문장 카테고리가 존재\n",
    "\n",
    "- DDL (data definition language)\n",
    "-- 테이블, 데이터베이스 및 데이터베이스에 대한 생성, 삭제, 제약 조건 및 사용 권한을 처리\n",
    "- DML (data manipulation language\n",
    "--데이터 삽입, 선택, 업데이트 및 삭제를 처리\n",
    "<img src=\"./img/01.png\" width=700 />\n",
    "\n",
    "\n",
    "\n",
    "<img src=\"./img/02.png\" width=700 />\n",
    "\n",
    "- SQL INSERT 문을 사용하여 만들기\n",
    "- SELECT를 사용하여 읽기\n",
    "- UPDATE를 사용하여 업데이트\n",
    "- DELETE를 사용하여 삭제\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### DB-API"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "An application programming interface (API)는 call할수 있는 함수집합\n",
    "\n",
    "- connect()\n",
    "-- 데이터베이스 연결 \"username, password, server address...\"\n",
    "- cursor()\n",
    "-- 쿼리 객체 만들기\n",
    "- execute() and executemany()\n",
    "-- 데이터베이스에 대해 하나 이상의 SQL명령어 실행\n",
    "\n",
    "- fetchone(), fetchmany() and fetchall()\n",
    "--실행 결과 표시\n",
    "\n",
    "\n",
    "다음 단원부터 DB-API 따르는 python 데이터베이스 상세 설명\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### SQLite"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "SQLite는 오픈소스관계형데이터\n",
    "\n",
    "MySQL, PostgreSQL 만큼 완벽하진 않지만, SQL을 지원하고 다중 사용자 관리 가능\n",
    "-- 웹브라우저, 스마트폰 등 SQLite를 내장 데이터 베이스로 사용\n",
    "\n",
    "사용하려는 로컬 SQLite에 connect()로 접근\n",
    "\n",
    "- 특수 문자열 'memory'는 데이터 베이스의 메모리 생성\n",
    "\n",
    "#### ex) enterprise.db 데이터베이스와 zoo 테이블 만들어 보기"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- critter : A variable length string, and our primary key\n",
    "- count :An integer count of our current inventory for this animal\n",
    "- damages : The dollar amount of our current losses from animal-human interactions"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "import sqlite3\n",
    "conn=sqlite3.connect('enterprise.db')\n",
    "curs=conn.cursor()\n",
    "\n",
    "#쿼리 객체 생성"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<sqlite3.Cursor at 0x58119d0>"
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "curs.execute('''CREATE TABLE zoo (critter VARCHAR(20) PRIMARY KEY, count INT, damages FLOAT)''')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<sqlite3.Cursor at 0x58119d0>"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "\n",
    "# 동물 추가\n",
    "curs.execute('INSERT INTO zoo VALUES(\"duck\", 5, 0.0)')\n",
    "curs.execute('INSERT INTO zoo VALUES(\"bear\", 2, 1000.0)')\n",
    "\n",
    "# safer하게 추가하는 방법\n",
    "ins = 'INSERT INTO zoo (critter, count, damages) VALUES(?, ?, ?)'\n",
    "curs.execute(ins, ('weasel', 1, 2000.0))\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[(u'duck', 5, 0.0), (u'bear', 2, 1000.0), (u'weasel', 1, 2000.0)]\n"
     ]
    }
   ],
   "source": [
    "\n",
    "# VALUES(?, ?, ?)를 사용해서 execute()함수에 넣으면 위에 (\"\", , ) 이렇게 안해줘도 편리하게 할 수 있음\n",
    "\n",
    "curs.execute('SELECT * FROM zoo')\n",
    "\n",
    "rows = curs.fetchall()\n",
    "print(rows)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[(u'weasel', 1, 2000.0), (u'bear', 2, 1000.0), (u'duck', 5, 0.0)]"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 수 순서로 정렬\n",
    "curs.execute('SELECT * from zoo ORDER BY count')\n",
    "curs.fetchall()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[(u'duck', 5, 0.0), (u'bear', 2, 1000.0), (u'weasel', 1, 2000.0)]"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 내림차순\n",
    "curs.execute('SELECT * from zoo ORDER BY count DESC')\n",
    "curs.fetchall()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[(u'weasel', 1, 2000.0)]"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 어떤게 더 많은 비용 처리하는지\n",
    "\n",
    "curs.execute('''SELECT * FROM zoo WHERE damages = (SELECT MAX(damages) FROM zoo)''')\n",
    "curs.fetchall()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "# SQL 종료할때 connect 끊어야 함 \n",
    "\n",
    "curs.close()\n",
    "conn.close()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### MYSQL & PostgreSQL"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- Mysql은 실제 서버가 있어서, 네트워크를 통해 다른 장치에서 접근 가능한 것\n",
    "\n",
    "- PostgreSQL은 오픈소스 관계형 데이터 베이스. (MySQL보다 뛰어나다)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### SQLAlchemy"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- 데이터 베이스간 파이선 라이브러리\n",
    "\n",
    "\n",
    "- 라이브러리 설치\n",
    "\n",
    "    - pip install sqlalchemy     ||    conda install sqlalchemy\n",
    "\n",
    "\n",
    "\n",
    "- SQLAlchemy levels\n",
    "    - 낮은 수준의 데이터베이스를 연결하고, 결과 반환 가능 \n",
    "    - Python SQL 표현 언어 사용\n",
    "    - 높은 계층은 The Object-Relational Mapper(ORM) 계층\n",
    "\n",
    "\n",
    "- SQLAlchemy 초기 정의!\n",
    "-- dialect + driver :// user : password @ host : port / dbname\n",
    "\n",
    "\n",
    "\n",
    "    -- dialect -- 데이터베이스 유형\n",
    "    -- driver -- 데이터베이스에 사용하려고 하는 특정 driver\n",
    "    -- user and password \n",
    "    -- host and port -- 서버위치\n",
    "    -- dbname -- 처음 서버에 연결할 데이터베이스 이름\n",
    "\n",
    "                                                    \"SQLAIchemy connection driver 종류\"\n",
    "<img src=\"./img/03.png\" width=200 />\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "import sqlalchemy as sa"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "# 메모리에 대한 저장소 메모리 만들기\n",
    "conn = sa.create_engine('sqlite://')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<sqlalchemy.engine.result.ResultProxy at 0x5da9828>"
      ]
     },
     "execution_count": 14,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "conn = sa.create_engine('sqlite://')\n",
    "\n",
    "# zoo 라는 데이터 테이블 만들기  3개열\n",
    "conn.execute('''CREATE TABLE zoo (critter VARCHAR(20) PRIMARY KEY, count INT, damages FLOAT)''')\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<sqlalchemy.engine.result.ResultProxy at 0x5de0b70>"
      ]
     },
     "execution_count": 15,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 빈 테이블에 3개 데이터 넣기\n",
    "\n",
    "\n",
    "ins = 'INSERT INTO zoo (critter, count, damages) VALUES (?, ?, ?)'\n",
    "conn.execute(ins, 'duck', 10, 0.0)\n",
    "conn.execute(ins, 'bear', 2, 1000.0)\n",
    "conn.execute(ins, 'weasel', 1, 2000.0)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<sqlalchemy.engine.result.ResultProxy object at 0x0000000005DC7F28>\n"
     ]
    }
   ],
   "source": [
    "# 출력하기\n",
    "rows = conn.execute('SELECT * FROM zoo')\n",
    "print(rows)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "(u'duck', 10, 0.0)\n",
      "(u'bear', 2, 1000.0)\n",
      "(u'weasel', 1, 2000.0)\n"
     ]
    }
   ],
   "source": [
    "# 안됨! 왜냐면, SQLAIchemy는 rows list가 아니기 때문에,\n",
    "# 그래서 아래와 같이 변경\n",
    "\n",
    "for row in rows:\n",
    "    print(row)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### The SQL Expression Language\n",
    "\n",
    "\n",
    "SQLAIchemy의 SQL 표현 언어\n",
    "\n",
    "다양한 조작을 위한 SQL언어\n",
    "\n",
    "관계형 데이터베이스 접근 방식\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "import sqlalchemy as sa\n",
    "conn = sa.create_engine('sqlite://')\n",
    "\n",
    "\n",
    "#zoo table 정의\n",
    "\n",
    "meta = sa.MetaData()\n",
    "\n",
    "# table 가로안에 column으로 3가지 호출 메소드 넣기\n",
    "\n",
    "zoo = sa.Table('zoo', meta,sa.Column('critter', sa.String, primary_key=True),sa.Column('count', sa.Integer),sa.Column('damages', sa.Float))\n",
    "meta.create_all(conn)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<sqlalchemy.engine.result.ResultProxy at 0x5e3b908>"
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 데이터 삽입\n",
    "conn.execute(zoo.insert(('bear', 2, 1000.0)))\n",
    "\n",
    "conn.execute(zoo.insert(('weasel', 1, 2000.0)))\n",
    "conn.execute(zoo.insert(('duck', 10, 0)))\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[(u'bear', 2, 1000.0), (u'weasel', 1, 2000.0), (u'duck', 10, 0.0)]\n"
     ]
    }
   ],
   "source": [
    "# select문 만들고, 출력\n",
    "\n",
    "result = conn.execute(zoo.select())\n",
    "rows = result.fetchall()\n",
    "print(rows)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### The Object-Relational Mapper\n",
    "\n",
    "\n",
    "- ORM은 SQL 표준언어를 사용하지만, 데이터베이스 mechanisms을 보이지 않게 데이터베이스 가져오는 방법을 처리\n",
    "\n",
    "\n",
    "\n",
    "\n",
    "\n",
    "\n",
    "\n",
    "\n",
    "- db만들고, class 만들기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "import sqlalchemy as sa\n",
    "from sqlalchemy.ext.declarative import declarative_base\n",
    "\n",
    "# zoo.db 파일 만들기\n",
    "conn = sa.create_engine('sqlite:///zoo.db')\n",
    "\n",
    "# zoo class 정의, 속성 연결, table columns\n",
    "\n",
    "Base = declarative_base()\n",
    "\n",
    "\n",
    "class Zoo(Base):\n",
    "    __tablename__ = 'zoo'\n",
    "    critter = sa.Column('critter', sa.String, primary_key=True)\n",
    "    count = sa.Column('count', sa.Integer)\n",
    "    damages = sa.Column('damages', sa.Float)\n",
    "    def __init__(self, critter, count, damages):\n",
    "        self.critter = critter\n",
    "        self.count = count\n",
    "        self.damages = damages\n",
    "    def __repr__(self):\n",
    "        return \"<Zoo({}, {}, {})>\".format(self.critter, self.count, self.damages)\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- class 정의하고, 이제 데이터베이스와 테이블 생성"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "Base.metadata.create_all(conn)\n",
    "\n",
    "\n",
    "first = Zoo('duck', 10, 0.0)\n",
    "second = Zoo('bear', 2, 1000.0)\n",
    "third = Zoo('weasel', 1, 2000.0)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(<Zoo(duck, 10, 0.0)>, <Zoo(bear, 2, 1000.0)>, <Zoo(weasel, 1, 2000.0)>)"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 데이터 출력,\n",
    "first, second, third"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- SQL영역으로 ORM얻고, 데이터베이스와 연결하기위한 session 만들기 "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "from sqlalchemy.orm import sessionmaker\n",
    "Session = sessionmaker(bind=conn)\n",
    "session = Session()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- 세션 안에서 3개 객체를 데이터베이스에 넣기 add() 사용해서"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "# 한개씩 add()\n",
    "session.add(first)\n",
    "\n",
    "# 리스트 추가할 경우 add_all()\n",
    "session.add_all([second, third])\n",
    "\n",
    "\n",
    "# force everything to complete\n",
    "\n",
    "session.commit()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "$ sqlite3 zoo.db\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- 4가지 구조의 SQL을 배웠는데, 어떤게 더 잘 맞는가 ?\n",
    "\n",
    "    - Plain DB-API, as in the earlier SQLite section\n",
    "    - The SQLAlchemy engine room\n",
    "    - The SQLAlchemy Expression Language\n",
    "    - The SQLAlchemy ORM\n",
    "    \n",
    "    \n",
    "- 추천하는 것은, SQL의 복잡성을 피하기 위해 ORM을 사용하는 것이 더 자연스럽다. "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### NoSQL Data Stores\n",
    "\n",
    "- 일부 데이터베이스는 관계형이 아니면 SQL을 지원하지 않는다.\n",
    "\n",
    "- 그러나 엄청 큰 데이터 세트, flexivle한 데이터 정의 등을 원할 경우 NoSQL 사용\n",
    "\n",
    "### The dbm Family\n",
    "\n",
    "- dbm 형식은 NoSQL이 만들어진지 오래전 \n",
    "\n",
    "- DBM 데이터베이스는 파이선 딕셔너리와 같다\n",
    "    - key에 값을 할당하고, database disk에 자동 저장\n",
    "    - key에서 값을 얻을 수 있음\n",
    "    \n",
    "- EX) open() 메소드 사용, 'r' 쓰고, 'c'는 읽고"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [
    {
     "ename": "ImportError",
     "evalue": "No module named dbm",
     "output_type": "error",
     "traceback": [
      "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[0;31mImportError\u001b[0m                               Traceback (most recent call last)",
      "\u001b[0;32m<ipython-input-18-0ee5f5751c3c>\u001b[0m in \u001b[0;36m<module>\u001b[0;34m()\u001b[0m\n\u001b[0;32m----> 1\u001b[0;31m \u001b[1;32mimport\u001b[0m \u001b[0mdbm\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m      2\u001b[0m \u001b[0mdb\u001b[0m \u001b[1;33m=\u001b[0m \u001b[0mdbm\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mopen\u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;34m'definitions'\u001b[0m\u001b[1;33m,\u001b[0m \u001b[1;34m'c'\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n",
      "\u001b[0;31mImportError\u001b[0m: No module named dbm"
     ]
    }
   ],
   "source": [
    "import dbm\n",
    "db = dbm.open('definitions', 'c')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<img src=\"./img/04.png\" width=500 />\n",
    "\n",
    "\n",
    "- key와 값은 bytes로 저장\n",
    "- 데이터베이스 객체를 반복할 수 없지만, len()으로 key의 수를 얻을 수 있고\n",
    "- get() setdefault() 함수 사용 가능\n",
    "\n",
    "\n",
    "### Memcached\n",
    "\n",
    "- Memcached는 memory내에서 빠르게 key-value cashe server (: 관리하고 있는 데이터의 복사분을 축적해서 이용자가 접속하고 있는 서버에 신속하게 데이터를 제공하는 서버)\n",
    "- 즉, 메모리 부족으로 인한 메모리 부족을 피하도록, 오래된 데이터를 소멸.. \n",
    "- 또한, 동시에 여러개의 memcached 서버에 연결 가능\n",
    "\n",
    "\n",
    "- 설치 -- $ pip install python-memcached\n",
    "\n",
    "\n",
    "- 서버 연결 !\n",
    "    - Set and get values for keys\n",
    "    - Increment or decrement a value\n",
    "    - Delete a key\n",
    "    \n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {},
   "outputs": [
    {
     "ename": "ImportError",
     "evalue": "No module named memcache",
     "output_type": "error",
     "traceback": [
      "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[0;31mImportError\u001b[0m                               Traceback (most recent call last)",
      "\u001b[0;32m<ipython-input-32-f4bbaace3883>\u001b[0m in \u001b[0;36m<module>\u001b[0;34m()\u001b[0m\n\u001b[0;32m----> 1\u001b[0;31m \u001b[1;32mimport\u001b[0m \u001b[0mmemcache\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0m",
      "\u001b[0;31mImportError\u001b[0m: No module named memcache"
     ]
    }
   ],
   "source": [
    "import memcache"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<img src=\"./img/05.png\" width=400 />\n",
    "\n",
    "\n",
    "\n",
    "### Redis\n",
    "\n",
    "- Redis 데이터 구조 서버, memcached와 마찬가지로, Redis서버의 모든 데이터는 메모리에 저장\n",
    "\n",
    "- 장점\n",
    "    - 신뢰성 , 리스타트를 위해 디스크에 저장\n",
    "    - 오래된 데이터 보관\n",
    "    - 간단한 문자열보다 많은 데이터 구조 제공\n",
    "    \n",
    "    \n",
    "#### Strings\n",
    "\n",
    "- 단일 값을 갖는 키key는 문자열!\n",
    "\n",
    "- redis.Redis('localhost') or redis.Redis('localhost', 6379)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {},
   "outputs": [],
   "source": [
    "import redis\n",
    "conn = redis.Redis()\n",
    "conn.keys('*')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "metadata": {},
   "outputs": [
    {
     "ename": "ConnectionError",
     "evalue": "Error 10061 connecting to localhost:6379. .",
     "output_type": "error",
     "traceback": [
      "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[0;31mConnectionError\u001b[0m                           Traceback (most recent call last)",
      "\u001b[0;32m<ipython-input-37-5c25334e5475>\u001b[0m in \u001b[0;36m<module>\u001b[0;34m()\u001b[0m\n\u001b[1;32m      1\u001b[0m \u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m----> 2\u001b[0;31m \u001b[0mconn\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mset\u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;34m'secret'\u001b[0m\u001b[1;33m,\u001b[0m \u001b[1;34m'ni!'\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m      3\u001b[0m \u001b[0mconn\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mset\u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;34m'carats'\u001b[0m\u001b[1;33m,\u001b[0m \u001b[1;36m24\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[1;32m      4\u001b[0m \u001b[0mconn\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mset\u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;34m'fever'\u001b[0m\u001b[1;33m,\u001b[0m \u001b[1;34m'101.5'\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[1;32m      5\u001b[0m \u001b[1;33m\u001b[0m\u001b[0m\n",
      "\u001b[0;32mC:\\Users\\AREUM\\Anaconda2\\lib\\site-packages\\redis\\client.pyc\u001b[0m in \u001b[0;36mset\u001b[0;34m(self, name, value, ex, px, nx, xx)\u001b[0m\n\u001b[1;32m   1169\u001b[0m         \u001b[1;32mif\u001b[0m \u001b[0mxx\u001b[0m\u001b[1;33m:\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[1;32m   1170\u001b[0m             \u001b[0mpieces\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mappend\u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;34m'XX'\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m-> 1171\u001b[0;31m         \u001b[1;32mreturn\u001b[0m \u001b[0mself\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mexecute_command\u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;34m'SET'\u001b[0m\u001b[1;33m,\u001b[0m \u001b[1;33m*\u001b[0m\u001b[0mpieces\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m   1172\u001b[0m \u001b[1;33m\u001b[0m\u001b[0m\n\u001b[1;32m   1173\u001b[0m     \u001b[1;32mdef\u001b[0m \u001b[0m__setitem__\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0mself\u001b[0m\u001b[1;33m,\u001b[0m \u001b[0mname\u001b[0m\u001b[1;33m,\u001b[0m \u001b[0mvalue\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m:\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n",
      "\u001b[0;32mC:\\Users\\AREUM\\Anaconda2\\lib\\site-packages\\redis\\client.pyc\u001b[0m in \u001b[0;36mexecute_command\u001b[0;34m(self, *args, **options)\u001b[0m\n\u001b[1;32m    671\u001b[0m             \u001b[1;32mif\u001b[0m \u001b[1;32mnot\u001b[0m \u001b[0mconnection\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mretry_on_timeout\u001b[0m \u001b[1;32mand\u001b[0m \u001b[0misinstance\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0me\u001b[0m\u001b[1;33m,\u001b[0m \u001b[0mTimeoutError\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m:\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[1;32m    672\u001b[0m                 \u001b[1;32mraise\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m--> 673\u001b[0;31m             \u001b[0mconnection\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0msend_command\u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;33m*\u001b[0m\u001b[0margs\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m    674\u001b[0m             \u001b[1;32mreturn\u001b[0m \u001b[0mself\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mparse_response\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0mconnection\u001b[0m\u001b[1;33m,\u001b[0m \u001b[0mcommand_name\u001b[0m\u001b[1;33m,\u001b[0m \u001b[1;33m**\u001b[0m\u001b[0moptions\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[1;32m    675\u001b[0m         \u001b[1;32mfinally\u001b[0m\u001b[1;33m:\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n",
      "\u001b[0;32mC:\\Users\\AREUM\\Anaconda2\\lib\\site-packages\\redis\\connection.pyc\u001b[0m in \u001b[0;36msend_command\u001b[0;34m(self, *args)\u001b[0m\n\u001b[1;32m    608\u001b[0m     \u001b[1;32mdef\u001b[0m \u001b[0msend_command\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0mself\u001b[0m\u001b[1;33m,\u001b[0m \u001b[1;33m*\u001b[0m\u001b[0margs\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m:\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[1;32m    609\u001b[0m         \u001b[1;34m\"Pack and send a command to the Redis server\"\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m--> 610\u001b[0;31m         \u001b[0mself\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0msend_packed_command\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0mself\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mpack_command\u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;33m*\u001b[0m\u001b[0margs\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m    611\u001b[0m \u001b[1;33m\u001b[0m\u001b[0m\n\u001b[1;32m    612\u001b[0m     \u001b[1;32mdef\u001b[0m \u001b[0mcan_read\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0mself\u001b[0m\u001b[1;33m,\u001b[0m \u001b[0mtimeout\u001b[0m\u001b[1;33m=\u001b[0m\u001b[1;36m0\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m:\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n",
      "\u001b[0;32mC:\\Users\\AREUM\\Anaconda2\\lib\\site-packages\\redis\\connection.pyc\u001b[0m in \u001b[0;36msend_packed_command\u001b[0;34m(self, command)\u001b[0m\n\u001b[1;32m    583\u001b[0m         \u001b[1;34m\"Send an already packed command to the Redis server\"\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[1;32m    584\u001b[0m         \u001b[1;32mif\u001b[0m \u001b[1;32mnot\u001b[0m \u001b[0mself\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0m_sock\u001b[0m\u001b[1;33m:\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m--> 585\u001b[0;31m             \u001b[0mself\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mconnect\u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m    586\u001b[0m         \u001b[1;32mtry\u001b[0m\u001b[1;33m:\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[1;32m    587\u001b[0m             \u001b[1;32mif\u001b[0m \u001b[0misinstance\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0mcommand\u001b[0m\u001b[1;33m,\u001b[0m \u001b[0mstr\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m:\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n",
      "\u001b[0;32mC:\\Users\\AREUM\\Anaconda2\\lib\\site-packages\\redis\\connection.pyc\u001b[0m in \u001b[0;36mconnect\u001b[0;34m(self)\u001b[0m\n\u001b[1;32m    487\u001b[0m         \u001b[1;32mexcept\u001b[0m \u001b[0msocket\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0merror\u001b[0m\u001b[1;33m:\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[1;32m    488\u001b[0m             \u001b[0me\u001b[0m \u001b[1;33m=\u001b[0m \u001b[0msys\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mexc_info\u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m[\u001b[0m\u001b[1;36m1\u001b[0m\u001b[1;33m]\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m--> 489\u001b[0;31m             \u001b[1;32mraise\u001b[0m \u001b[0mConnectionError\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0mself\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0m_error_message\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0me\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m    490\u001b[0m \u001b[1;33m\u001b[0m\u001b[0m\n\u001b[1;32m    491\u001b[0m         \u001b[0mself\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0m_sock\u001b[0m \u001b[1;33m=\u001b[0m \u001b[0msock\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n",
      "\u001b[0;31mConnectionError\u001b[0m: Error 10061 connecting to localhost:6379. ."
     ]
    }
   ],
   "source": [
    "\n",
    "conn.set('secret', 'ni!')\n",
    "conn.set('carats', 24)\n",
    "conn.set('fever', '101.5')\n",
    "\n",
    "# Get the values back by key:\n",
    "conn.get('secret')\n",
    "conn.get('carats')\n",
    "conn.get('fever')\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Lists\n",
    "\n",
    "- list는 문자열만 포함가능\n",
    "- lpush() 사용해서 문자열 삽입\n",
    "\n",
    "#### Hashes\n",
    "\n",
    "- python dictionary와 유사하지만, 문자열만 포함할 수 있음\n",
    "\n",
    "\n",
    "    - hmget() 값 multi 로 가져오기\n",
    "\n",
    "#### Sets\n",
    "\n",
    "- python sets과 유사\n",
    "\n",
    "#### Sorted sets\n",
    "\n",
    "- 다양한 redis 유형중 하나는 set 또는 zset \n",
    "\n",
    "- 각 값에는 연결된 부동 소수점 점수가 있고, 각 항목에 액세스 할 수 있음\n",
    "\n",
    "    - Leader boards\n",
    "    - Secondary indexes\n",
    "    - Timeseries, using timestamps as scores\n",
    "    \n",
    "    \n",
    "- 마지막 case 보여주고, time 함수를 통해 , 로그인 추적할 수 있음\n",
    "\n",
    "\n",
    "#### Bits\n",
    "\n",
    "- 많은 공간을 효율적으로 처리하는 방법\n",
    "\n",
    "- If, 등록 된 사용자가 있는 웹 사이트에서 사람들이 기록하는 빈도 추적할때\n",
    "\n",
    "    - 특정날짜 방문하는 사용자 수, 같은 사용자가 다음날짜에 방문하는 빈도, 날자 등등 redis set를 사용할 수 있지만 그것보다는\n",
    "    - ID를 이용하는 bits가 더 빠르게 추적할 수 있음\n",
    "    \n",
    "    \n",
    "#### Caches and expiration\n",
    "\n",
    "- Redis key는 유효기간을 정해줄 수 있음\n",
    "\n",
    "- expire()함수를 사용!\n",
    "\n",
    "### Other NoSQL\n",
    "\n",
    "- 아래 표는 서버와 해당 python api를 보여준다. \n",
    "\n",
    "- NoSQL 서버는 메모리보다 큰 데이터를 처리하한다.\n",
    "\n",
    "<img src=\"./img/06.png\" width=200 />\n",
    "\n",
    "### Full-Text Databases\n",
    "\n",
    "- 마지막으로, full text 검색을 위한 데이터 베이스가 있음\n",
    "- 아래 표와 같음\n",
    "\n",
    "<img src=\"./img/07.png\" width=200 />"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "1504237918.269"
      ]
     },
     "execution_count": 40,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import time\n",
    "now = time.time()\n",
    "now"
   ]
  }
 ],
 "metadata": {
  "anaconda-cloud": {},
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.1"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 1
}