디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

정신놓고막적어보는웹구축논의

핫산테크갤로그로 이동합니다. 2020.10.02 04:08:16
조회 75 추천 1 댓글 9

오늘은 거대함을 목격한듯해서 일단 잠시 쉬어가는날이되었음.

1시부터 그나마 2시간 유익하게 보내긴 했다...2시부터였네;


2시까지 오늘동안은 그닥 한게없는듯.


뇌가 너무 혼란해졌다,다시.

거대한 규모를 마주하면, 뇌가 좁아진상태에서 내가 본래 최고효율이 나는데

지금 너무 광대한걸 느낀다,다시.난 너무작고..쓸려간다..


===


현재한것

html기반 스트럭쳐에대한 이해 60퍼정도.

css,요구되는건구현가능.


서버측과의 post, get request 등 통신법에대해 아직은 이해 못 하는 상황,내일쯤될듯.


js파일로

혹은 그냥 서버에서 직접이 나으려나

아니 서버측에서 ram에 데이터 적재하고있으면 되지않나 싶음.

굳이 파일 io 매번 왔다갔다하기 넘 낭비같다.


300메가의 이미지 파일이면, 이걸 ssd에서 로딩하면 빠르다만

읽기속도 10메가짜리에서 로딩하면 좀 느림.근데 이게 느리진 않겠지만..

그래서,램..이 라즈베리파이3b+는 고작 1기가였네;아하.

rpi4는 4기가도되는데, 그정도면 ㄹㅇ 육중하겠구나 싶다.


1기가면그래도 크래시는안날듯싶다, 앱이 이상하게돌아가는거만 아니면.


구조적으로근데 리소스의 핵심인 다량 이미지파일을 램에 들고있는게 그닥 좋진 않아보이는데,

리퀘스트 요청받을때 io에서 지연이 생기면 그게 고스란히 지연되잖아. 10ms단위도 감당안됨.

100kB짜리를 로딩하면, 1초에 ..100장로딩하면,,솔직히아무문제없긴한데;

sd카드는 랜덤엑세스되니까 디스크기반도아니고 뭐 문젠안되지싶음.


아무튼,이렇게 부랴부랴 간신히 약식으로 구축하느냐

아예 장고로 바닥부터 철저히하느냐

의 고민인데,

상황상 이건 일단 이대로 끝내고 이후에 부착하는게좋지싶은데,

여기서 충격적인 현재 문제가,


html측에서 js로 프레임을 생성하고 그안에 리소스를 담을건데

이걸,, 리퀘스스트로 따오는게,,..어?이건 보내는거지 받는게아님.일단무시하고..


<form method = "POST" action = "http://어쩌고.com/어쩌고"

로들어간다, _예시는 그러나 입력을 보내는경우임.


같은 주소가 아니면, 폼을 나눠서, 리퀘스트를 따로 처리하게됨.

리퀘스트 수 자체를 줄이는게 최적화에 되게 도움이 된다고 생각하는 전제하에

꽤나 귀찮게되어버린 일이다,


그러나 고작 이딴거 최적화하자고 전체 개발시간 자체와 기회비용으로서의 시간을 버리는게 합당할까??


=====

서버측에 데이터보내긴 잘 되는데,


서버에선 클라측에 return으로 뭘 보낼까.. template를 render 해서 보내는경우,,html파일이 정적으로 구축되되 변수입력쯤은되겠지.

js자료형을 클라측에 보내는게 되려나..?되던거같긴한데


혼란하다.자고보자.어제 6시에 자서 2연속 조진듯.


=-

아무튼 js로받는게 된다고 가정하고

근데 그딴게어딨어. js스크립트에서 서버측에 뭘 요청하는 능동적 함수가 되겠지.


html에서 이미지를 스트링데이터로 요청하는건 될..수도있고..굳이그래야하나근데?


텍스트가 문제인데,이걸로 누적 5일은 꼬라박고있는데,

편하게 정도대로 할거면 장고서버 구축해서 얌전히 받아야함.db까지 다 깔고.


이상적으론 리퀘스트에대해 리턴 하나로 다 냅다보내는건데,그게안되는것같기도하다..


일단 클라단에서 js로 박스만드는것까진 자체적으로하고

내용물만 서버에서 채워오도록 하자.

이걸 로컬에서 그냥 하게하고싶다.그게낫지싶고..

그러려면 아마 다되긴한듯..ㅇㅇ. json파일 매우큰덩어리 하나만 보유하고있으면 된다.이건 파이썬코드로 폴더전체스캔해서 만들게하지뭐.

ㅇㅇㅇㅇㅇ그게 백번나음, 그래야 크롤러단에서 그냥 플레인텍스트로 자료 저장하고

그걸 끌어올때 json으로 재구축하지. 하 이걸 이제서야 하게되네. 이전에 믿음이넘부족했다.

400kB짜리 텍스트데이터를 보유하고있어야한다는 개념이 납득이 안 되었음.

지금 램이 기가단위인데 대체 이런건 왜 집착하는걸까.

아니근데 아두이노같은건 ㄹㅇ 램관리중요함. 그런 ..인식이..나를..괴롭혔고..지금 이게 해소되었음을 느낀다.


변수덩어리를 전역에서 죄다 보유하고있다는게 진짜 미친짓은 맞고

이게 글 1000개가 넘어가면 진짜 정신나간짓인것도 맞는데,


이렇게 리스트를 클라측에서 다 보유하고있으면,

sort등을 html단에서 처리가능하다. 서버측 연산이 완전히 자유로워짐.

sql이 그러면에서 이런 쿼리를 썩 효율좋게 매우빨리 처리해주니 정말 좋구나 싶다.

조건1,조건2를 결합해서 쿼리하는거 파이썬코드 언제다짜고있냐;

..야근데 난 이거 js로 짜야할판인데지금;


아무튼 그냥 마음 딱! 놓고 전역정보를 죄다 끌고와버리자. 500kB정도밖에안됨. 이미지하나가 1메가도하는세상에 원;


그리고 크롤러는 일 최소한만 하게하고

이전엔 파일정보도 담고있었는데 게시글로서 최소한의정보만 담게 하자.

그리고 ㅡ,,전역 자료관리자를 파이썬으로 만들어서 json데이터입력시 실제 파일갯수를 파악하고 네이밍해서 저장하고있어야지.

그게 ㄹㅇ 백번나음.

이전에 jpg랑 gif두개가있으면 그걸 로딩을 1,xxx식으로 그냥 못하고 gif일수도있고 jpg일수도있읍니다

이따위로 처리해야하니 진짜 곤란했는데, 그걸 하필 html단에서 짜야하고.근데 html도 후보1,후보2.,식으로 이미지로드도 유연하게하긴함.그건진짜놀랍네

아무튼 그렇다더라도 이게 파일이 확정적이지않고 이쯤에있겠지..하는거라 불안정했는데

이젠 파일 전체를 파이썬에서 관리하고,단단하게 검증도 가능할 듯.

파일 전역 관리자 및 무결성 검증 코드를 파이썬에서 자고, 그걸 서버측에서 로드해서 심지어 상시 수행도 됨.

이러면 10분 리프레시주기 이런식으로 파일 변경사항있으면 추가및 반영도 바로 되는거고.매우안정적이다.


다 좋은데, 데이터전체를 클라측에서 json으로 500kB어치를 램에 보유하고있어야한단게 아직도 맘에걸림.


일단 지금, 서버측 db 안 쓰는 조건에서 어떻게든 글하고 이미지 끌고오는방법은 구축해냈다.



근데 핵심적으로, js가 html을 그릴때 ,1차로 그린뒤에 ..다시 리로드하는 건 끔찍한거같고

근데 이게 진짜 하 무슨 성능이슈도아니고 이렇게까지 집착해야하나싶기도하다만


아무튼

1.js단에서 sort등뭐든 해서 화면에 빈박스 여러개 생성.그안에 html코드도담음.html그리기명령.

2.브라우저에서 html그리기. 박스만 리프레시되고 나머지는안건드리면좋겠다.._이건검증이필요함.언제조사하기...그냥하지말까..?이것도 개발속도에지연되나?

3.그려진html은, img태그,p태그가 존재해서 그림,글이 표현되는데, img는 우선 빈박스를 로드한후에 서버에서 땡겨올까?


3-2 이럴거면 그냥 img태그는 빈박스로 만들고 텍스트도그냥적당히처리할까싶기도하다. 그러고 2차 리프레시때(이경우도물론 전체리프레시발생하면절대안됨)

img소스만 서버측으로 바꿔치기하던가 ,js에서 미리 준비해둔걸 샵 교체하던가..근데이쯤되면 미친일같다,이따위론 하지 말자;

글채우는게문젠데, 위의 2번에서 js가 미리 그냥 정보를 박아넣고시작하는게 낫지 싶다.ㅇㅇㅇㅇ. img는 틀크기때문에 유지할 의의가 매우 있..나..?

...박스크기가 유동적이잖아.그럼 로드되면 크기변하는건어쩔수없지.그러네. ..음..일단그럼이건대충구현해보고,이후 간단하니까뭐.ㅇㅋ.

개발속도가 중요하다, 막상 이상한 집착은 정작 진행되면서무시되는경우, 노력은,,근데 기술적 조사하며 배경 이해하는건 매-우 유익하다고 주장은함.매우.ㄹㅇ.

최적화한답시고 코드 이상하게 만지는게 이상한거지. 


구조적으로 이미 모든게 구축된 상태에서 그저 키보드로 옮겨적을뿐인코드를 작성하는게 좋지싶음,지금은.

그게,기술적근거에의해 납득이되어야하는거고.


아무튼, 지금 1000개글정도까지는 그냥 속도희생하고 1MB가 되더라도 그냥 클라측 램에 적재해두고 사는게 낫지싶다.ㅇㅇ..나쁜게아니라고이게.

폰트파일이 한글폰트는 1메가하는판인데, 그것을 용인한다면 지금 이건 아무것도아님.이게 전체 데이터베이스를 보유하고있는거기도하고.


근데 글이 만 개가 되면, 10MB짜리 js파일이됨ㅋㅋㅋㅋㅋ이건좀문제다만.근데 그냥 처음 캐싱해두고 쓰는 뭐 그런거면 괜찮지않나? 1회만 다운하면

데이터베이스 전체에 접근 가능한 초고속 클라이언트 내장 데이터베이스가 구축되는데. 난 이게 괜찮다고 봄.

"글 10만개"

크아악!

이러면 100mB가 되어서,이때부턴 db가 필요하다.안쓸수가없는지경이다. 이래서 db가 필요한것.

구조적으로,1000개까진괜찮은데 10만개부턴 문제다?이건 프로그램구조상 말도안되는일임. 방향성을 그대로 유지해야지.


근데 일단 허용가능한 범위라는것에서 보면 ㄹㅇ 괜찮다고봄.


css도 보면 데탑 최대사이즈 1920기준으로 잡고가는거라서, 이후크기는 그냥 지원안하는거보고 어이없었는데 이해가 됨.좀 그렇게

감당가능한, 예측범위안의 선이란걸 지키지 뭐.


애초에그리고 10만개 글정도 될거면, 애초에 그냥 다른 생물체가 되는거라서 그건 그만큼의 일이 필요한게 타당함.

지금은 일종의 편법인건데,지금규모에선 말도안되게효율적인거고.


치명적 문제가 하나 있는데, 시크릿모드에선 캐싱 안 하고 매번 다운받아서,디씨도 보면 시크릿으로보면 확 느림.매번 다 다운받거든.

근데 뭐 괜찮겠지.


일단, 서버측 db전혀안쓰고 구축하는건 갖췄고


심지어 태그를 20개 글자 추가해도, 고작 1줄이라서 500kB 선에서 해결됨.

이러면 클라 js측에서 데이터 몽땅 끌어온뒤에 쿼리 연산후에


블록만 만들고, 텍스트는 클라측에서 보유하고있는걸 박아넣고

img만 서버에서 따 오면 됨.

진짜 좋다.. 이게좋은게 글 리퀘스트가 한번 덜 필요함.

굳이따지면 이걸 ,,리퀘스트한번에 글+이미지 담아보내면 최적화 더 되나 싶은데

미친짓같다. 디씨만 봐도 img 태그 오지게쓰이는데뭐.


아무튼,이렇게 , db안쓰고 자체동작가능한 시스템의 구축을 해냈다.


핵심은, 왠지 시스템 구조상 전역 텍스트데이터를 클라측에서 보유하고있는게 미친짓 같았는데

아니 미친짓 맞을지도몰라;

이게 10만글 이쯤이면 문제맞다만,

글 1000개에 500kB정도면 솔직히 문제없다. 정말로. 한글폰트가 800kB하는데.정말아무것도아님

애초에 이미지 3개만 다운받아도 그게그거고.


근데이게무슨 장벽마냥 나를 쥐어잡고있다, 절대안된다는식으로,,,

프로그램논리상은 이딴짓 하면 안되지싶긴함.


대체 누가 서버측 전역 글의 데이터를 죄다 클라측에 준상태로 시스템을 운영하겠냐...


근데 나름 좀 미래적이긴한듯.


지금 기존의 웹 시스템상은, 클라는 최소한의 창문으로만두고, 서버에서 제공해주는걸 받아먹기만하는 분리가 이뤄졌고

그게 나쁜건아니고 구조 크고 유지보수하고 뭐 그러면 이해되는건데


나도그런걸 하려했다만,,, 시스템전체규모가 3배 커지게되는 문제가 있다.


..아무튼 이건 좀만더보되,솔직히 ㄹㅇ 괜찮음.


이전에 2주전에 구상한건 미쳐가지고, 글 박스마다 텍스트를 죄다 개별적으로 로딩하는 코드를 배정하고,

그게 다음 루프에서 수행되면 가져와서,그걸 다시 전역에서 돌아가는 체커가 리스트에 추가된 텍스트를 감지하면, 글에 반영한다

이딴 3단 구조였는데 , 정신나가는것같다.

이건진짜 ,,나름 되게 멋있긴함근데, ㄹㅇ멋있음. 다른 외부 프로그램없이 철저히 진짜 간결하게 돌아가니까.


아무튼 그건그렇고,, 왜안쓰냐물어보자면, dom리프레시발생우려랑, 

박스생성해서코드박기

다음루프때코드가로딩됨,수행됨

수행되는결과의 글 정보가 다시 리프레시되며 글자로 박힘


의 3단게과정이

박스생성

다음우프에서 수행,바로보임


의 과정이 못되기때문이다. 이게훨낫지뭐.


===


근데나름 나쁜건아님,이거좋은건 개별글의자료를 독립적으로 운용가능하니까, 전역자료 죄다 끌고오지않아도됨.

단점은 리퀘스트가 1개 더 추가되는거고,그게뭐나쁜건아니다만,,

,,,그리고 이런방식에선 10만개 글도 선형적인 증가하는 게 없다. 10만개여도 동일하게 운용 가능함.


...괜찮은데..?

다만 이것도 전역 글번호 리스트는 안고있어야함.

그리고 이것의 심각한 단점은 , sort등을하면서버측에서 연산수행해줘야함. 이럴거면 db구축하지. 아 이게문젠지도.되게 뒤바뀐느낌임이러면.


데이터는 서버가 갖고있고, 서버에서 쿼리문도처리해주고, 근데 정작 데이터베이스에서 글 본문만 직접 접근해서 가져온다??

근데이미지도 직접 가져오는거잖아. 그런의미에선 나쁘진않은듯;



sort는 근데 정신나간게아니면 js가아니고 파이썬으로짜는게맞지싶은데, 연산부담이 우려되긴함.


=============


일단,

1.글목록 아는 상태에서 랜덤불러오기, 최신순/역순 불러오기, 높은조회수,추천수 불러오기,태그있다고치고 불러오기

에 대한 논리적 시스템을 구축한다


분기1.일단 랜덤으로 우르르 불러오는것을 실제로 해 본다. 지연발생하는지 보는게 핵심. 폴더내의 자료를 바로 끌고오기.

분기2.서버전역에서 자료를 구축해둔뒤에, 그걸 넘겨받아서 처리하는경우, 쿼리등처리를어케하냐에대한 논의를 해 보자.


3번이 오늘 드디어 납득되었고, 그러나 아직 정서상 수용이 안 되어서 사고가 막혀있으므로 내일 점검해보자.


내일은 오랜만에 뭔가 작정하고 일 하는게아니라 논리적인 구조를 갖추려고 시도하는 날이다.


자자.12시에깰듯..

추천 비추천

1

고정닉 1

0

댓글 영역

전체 리플 0
등록순정렬 기준선택

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 사극이 찰떡, 한복핏 완벽한 여자 스타는? 운영자 20/10/20 - -
공지 ▒▒▒▒ 러브라이브 갤러리 통합 공지사항 ♬ ▒▒▒▒ [115] 러브라이브갤로그로 이동합니다. 15.10.12 103642 122
공지 러브라이브 게임 관련 사진과 내용을 올려주시기 바랍니다. [1470] 운영자 13.12.03 905399 286
10431578 왜 남의 아내 보고 자꾸 자기 아내라 그럼 Πι갤로그로 이동합니다. 13:50 6 0
10431577 엄마 선물 준비햇음 [4] Ripago갤로그로 이동합니다. 13:50 12 0
10431576 려화랑 결혼해야징 [1] 러브마지널갤로그로 이동합니다. 13:49 10 0
10431575 에리넘커여움 [2/1] ડeal갤로그로 이동합니다. 13:46 12 0
10431574 려화랑잘되면 좋은점 현중이랑니코랑갤로그로 이동합니다. 13:45 8 0
10431573 오늘 3타 올설거지해버림 카스미아리사갤로그로 이동합니다. 13:42 5 0
10431572 근데 동생이 왜 2인분 안 사옴? [4] Πι갤로그로 이동합니다. 13:41 19 0
10431571 김치<-악마의 음식 [2] 주호갤로그로 이동합니다. 13:34 19 0
10431569 코미 동생은 인내심 레벨 999인듯 [2] 카스미아리사갤로그로 이동합니다. 13:34 16 0
10431568 려화내꺼임 [4] 모차르트갤로그로 이동합니다. 13:33 18 0
10431567 뭔 고기랑 긴떡볶이 드가있는건데 개마싯노 [5] 카토갤로그로 이동합니다. 13:33 21 0
10431566 새상에서 내가 사온거 뺏어먹는놈이 제일 나쁜놈임 [2] 모차르트갤로그로 이동합니다. 13:33 12 0
10431565 시발 동생쳐먹는거 개맛잇는데 뺏어먹기뭐하네 [3] 카토갤로그로 이동합니다. 13:30 33 0
10431564 Hi. [3] 김유알(125.186) 13:29 13 0
10431563 오늘자....한남 1패 적립.... [3] Ripago갤로그로 이동합니다. 13:29 18 0
10431562 킹댕이랑 보댕이랑 무슨사이임 카토갤로그로 이동합니다. 13:29 11 0
10431561 난 좃비트나 해야지 [1] ㅅㅋㅇㄷ갤로그로 이동합니다. 13:26 9 0
10431560 좆냥이쉑 열받게하네 씨발 [8] Pro매국노갤로그로 이동합니다. 13:26 34 0
10431559 나왜학교감나왜학교감나왜학교감나왜학교감나왜학교감 [1] Ripago갤로그로 이동합니다. 13:26 8 0
10431558 저 지금 좆동생이 사온 떡볶이 짬처리중임 [3] 카토갤로그로 이동합니다. 13:24 25 0
10431557 방학때 골프배우기로함 모차르트갤로그로 이동합니다. 13:24 7 0
10431556 다들모함 [1] 카토갤로그로 이동합니다. 13:23 8 0
10431555 강준이 그리우면 개추 한번씩 누르고 가셈.. [1] ㅇㅇ(106.102) 13:21 9 1
10431554 왜 현악기 리겜도 있고 타악기 리겜도 있고 건반악기 리겜도 있는데 [7] Πι갤로그로 이동합니다. 13:18 29 0
10431553 똥트남 국제결혼할바에 혼자산다 [1] ㅇㅇ(110.70) 13:10 14 0
10431552 사쿠라꼴리는듯싶다가도 벌레가알존나까서 새끼한테까지 [3] 현중이랑니코랑갤로그로 이동합니다. 13:08 25 0
10431551 아 집에가서 뭐하지 모차르트갤로그로 이동합니다. 13:03 6 0
10431550 서울우유 밀크티 괜찮네 으후루꾸갤로그로 이동합니다. 13:03 4 0
10431549 아 야발 클전 첫날에 설거지만 존나하네 [4] 카스미아리사갤로그로 이동합니다. 13:01 24 0
10431548 수제버거 냄새 존나좋네.... 으후루꾸갤로그로 이동합니다. 13:00 10 0
10431547 컨셉에미친겜 [6] ડeal갤로그로 이동합니다. 12:57 30 0
10431546 갓직히 여동생이 좆쿠라말고 이리야였으면 [3] Pro매국노갤로그로 이동합니다. 12:56 22 0
10431545 극장판 음충도 좆처럼생겼냐?? [1] Pro매국노갤로그로 이동합니다. 12:55 23 0
10431544 음 오늘 라멘 맛집 [4] 모차르트갤로그로 이동합니다. 12:54 15 0
10431543 저는 제 여동생한테 절대 안 저럼 [3] Πι갤로그로 이동합니다. 12:54 18 0
10431542 신지 사쿠라 첨따먹엇을때 [2] 으후루꾸갤로그로 이동합니다. 12:52 21 0
10431541 솔직히사쿠라는이거임 [1] ノノン갤로그로 이동합니다. 12:52 18 0
10431540 cu에 토핑3배 참치마요 이거좀 오지네 으후루꾸갤로그로 이동합니다. 12:51 11 0
10431539 ㅎㅇ ㅅㅋㅇㄷ갤로그로 이동합니다. 12:48 7 0
10431538 이래서 레이프물 보나봅니다 [4] ㅇㅇ(110.70) 12:47 33 0
10431537 큐알코드머노이기 [2] ノノン갤로그로 이동합니다. 12:46 12 0
10431536 시험조지고산죠 [2] 으후루꾸갤로그로 이동합니다. 12:41 16 0
10431535 메박도착ㅋㅋ ノノン갤로그로 이동합니다. 12:40 6 0
10431534 뭐야 1주차 특전 색지네 푸갤라미™갤로그로 이동합니다. 12:38 10 0
10431533 사쿠라 뷰지 음충으로 꽈악 조여주는 [5] Pro매국노갤로그로 이동합니다. 12:31 43 0
10431532 코로나 예방 홍보대사 미쿠 vs [3] Πι갤로그로 이동합니다. 12:31 21 0
10431531 사쿠라 ㅁㅊ 존나꼴려 [2] ㅇㅇ(110.70) 12:28 36 0
10431530 미국 이거 뭐임 ㄷㄷㄷㄷ [2] Πι갤로그로 이동합니다. 12:28 25 0
갤러리 내부 검색
전체게시물 정렬 옵션

오른쪽 컨텐츠 영역

이슈줌NEW

1/6

힛(HIT)NEW

그때 그 힛

1/3