개발괭발메모장

연말 코드프리징 이후 우선순위

1. 자료구조 알고리즘

2. JS 다시 다지기 -> 진행중

3. 리엑트 스터디

4. 뷰로 밥벌어먹고 살았는데, 어떻게 할까 고민 중. -> 아직 벌어먹고사는중

5. 스벨트. 스벨트 재밌어보인다.

6. deno

7. elasticsearch 새버전에 대해서 학습 다시 해야함.

8. mongodb도 많이 올라갔네

9. 주워들은게 많으니 뭐 만들어볼건많은데..... 확 끌리는게없네  그래서 1-8이라도 잘 해보려고.

- 신년계획이라고 쓴다.

음.. 정말 방치 상태라 거미줄이 여기저기 많이 쳐졌다.

코드조각이나 메모 같은걸 외부에 공개할 수 없고 가공해야하고, wiki에 작성하다보니 좀 방치되는 느낌이 강한데...

뭐... 먹고사는일=생존이 걸려있다보니 어쩔 수 없는것 같기도 하고

ㅠㅠ

꾸준하게 개발한걸 정리해서 보안정책에 걸리지않게 글 작성하는 분들 참 대단한것같고... 그래.

음...

눈부시지 않게, 스킨을 편집. 다크모드 느낌으로 수정.

스키마가 있는거 빼고 뭐 저런 신통한 아이가...

------------

Some NewSQL solutions :

• VoltDB  (in-memory database) : http://voltdb.com/
• ClustrixDB (distributed peer-to-peer SQL database) : http://www.clustrix.com/
• NuoDB (distributed database management) : http://www.nuodb.com/
• GenieDB (based on MySQL) : http://www.geniedb.com/
• ScaleArc (SQL traffic manager ) :  http://www.scalearc.com/
• ScaleDB (MySQL scalability) : http://scaledb.com/
• Tokutek/TokuDB (MySQL/MariaDB scallability): http://www.tokutek.com/
• JustoneDB (built upon PostgreSQL) : http://www.justonedb.com/
• MemSQL (in-memory database) : http://www.memsql.com/

Some “In-Memory” databases provided by big vendors

• SAP Hana : http://www.saphana.com
• Oracle TimesTen : http://www.oracle.com/us/products/database/timesten/overview/index.html
• IBM solidDB : http://www-01.ibm.com/software/data/soliddb/

ref. http://labs.sogeti.com/newsql-whats/

golang + websocket  서버 프로그래밍

상황 - 서버개발 혼자, 코드 첫줄부터 어드민까지 6주

자동화 CI 배포 구축. (메소스, 마라톤, 등등)

고랭에 불안감이 좀 사라진 상태. (고랭 6~7개월차)

---

죽지않는 서버를 만들기위해 TDD 

ㄴ 테스트 패키지 통해서 -race 옵션으로 부하가 어디 걸리는지 체크해보고.

- GoCD (CI.CD 툴)

ㄴ git에 올려서 도커 이미지 빌드 했구.

- mesos - 마라톤 

ㄴ 인스턴스 비정상 종료시, 페일오버 전략을 진행.

- 엔그라인더 부하테스트.

ㄴ 테스트 스크립트는 자이썬을 써 에러율 확인. - 엔그라인더에서 좀 덜뜨길래 메소스 제한 걸린거 풀어줌... (뭐였지 기억안남)

- 메모리 고루틴 회수 체크.

ㄴ 어드민 페이지 생성. 뷰로짬.

ㄴ 사용율이랑 메모리 스택같은거 가져와서 확인용으로 빠르게 만듬.

-------

방법론에 대한 고민을 하게 됨.

고랭철학 CPS ( 순차 프로세스 통신)

ㄴ 채널 채널 채널

ㄴ 구글에서 일어나는 다양한 동시성에 환멸을 느껴 만든 프로젝트 언어.

ㄴ 약간 객체지향 부정적.

ㄴ Rob Pike

동시성

ㄴ 한꺼번에 많은 일을 다루는 것 (순차성이 중요함)

병렬성

ㄴ 많은 일을 한꺼번에 실행.

적당한 개발론을 고민.

- Mutex vs Channel

> 가장 빨리만나는 고 책을 참고했는뎅,

400만개 append 해서 500ms

언 버퍼드 채널로 했을 경우.

-- 테스팅을 해봄.

뮤택스는 400만개 다했고.

채널은 230만개 된 상황.

---- 잘되길래 뮤택스로 코딩을 했더니 데드락 같은걸 느낌. 

커뮤니케이팅을 통해 메모리를 공유하라.

고루틴간의 대화를 뮤텍스 보호에 너무 의존 하지 말 것.

그래서 뮤텍스 제거를 들어감.

stateful한 코드를 제거해 나감.

> 채널을 통해서 상태를 관리했음. leave채널이나, live채널에 넣는 식으로.

라이브러리를 고를때도 뮤텍스가 적거나 없는걸로 .

range, close, select

-----

고루틴 릭

- 뮤텍스 싸잉 안맞음.

- 샌더가 없는데, 리시버가 있거나

- 리시버가 없는데, 샌더가 있는경우.

defer 호출로 panic이 발생하면 send

defer HandlePanic()

닫힌 채널에 뭔가 값을 계속 보낼 떄. 이런걸 받았음.

- 고루틴을 닫는 타이밍을 고려...

-------

웹소캣 서버를 만들어야했고.

- 고 소캣 iO에서 브로드케스트 락 해제 관련 이슈가 있었고.

필요한 부분만 가지고와서

고릴라 웹소켓을 쓰고.

- 웹소캣 지원안하는 폰은 버리고.

- cors, origin 옵션문제도 여기 넣을 수 있음.

리드펌프 / 라이트 펌프 2개의 고루틴이 돌아감.

---------

- 7가지 동시성 모델 책.

1.4.7 / 1.99 있음. 서로 비호환 (완전 다르더라 ;;;;;;;;;;)

폴더만듬. mkdir sqoop

다운

wget http://mirror.navercorp.com/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

해제

tar xzf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

환경변수 등록 (.bashrc)

export SQOOP_HOME=/어딘가 위치/sqoop

export PATH=$PATH:$SQOOP_HOME/bin

...

source .bashrc

테스트.

sqoop test

---- 스쿱 준비 완료.

mysql 준비.

db 생성. CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

형식에 맞게 테이블만들고.

... 날렸는데 안됨.

jdbc dirver가 라이센스 때문에 sqoop에 없나봄.

wget http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.28.tar.gz

받아서 속에 jar 만 sqoop/lib 폴더에 넣기.

..실행.

sqoop export --connect jdbc:mysql://서버:포트/디비명 --username 유저 --password 비번 --table 테이블명 --num-mappers 1 --export-dir /data/데이타

했는데

에러!! sqoop  Transferred 0 bytes 데이터 전송 안됨...!

=ㅅ= 아........ .... 리얼 클러스터랑 베타 DB랑 전송 막혔다. ACL로 클러스터 다 열어야 하는데 못해이거. 

경험했다.