AIエッジデバイス入門 〜記録するカメラから思考するカメラへ〜

"*ΤοδσόΠεೖ໳
‫ه‬࿥͢ΔΧϝϥ͔Βࢥߟ͢ΔΧϝϥ΁
$IBOHF
GSPN
SFDPSEJOH
UP
UIJOLJOH

ࣗ‫঺ݾ‬հ ໊લɿ͔Β͋͛ʢຊ໊͸಺ॹʣ
͓࢓ࣄɿѪ஌‫ݝ‬ͷ૊ΈࠐΈ‫ܥ‬ΤϯδχΞ
Ո଒ɿ࠺ɾ່ʢͦΕͧΕਓʣ
झຯɿΧϝϥͱిࢠ޻࡞ LBSBBHF
ͱ͍͏ٕज़‫ܥ‬ʢʁʣ
ͷϒϩάΛॻ͍͍ͯ·͢ IUUQLBSBBHFIBUFOBEJBSZKQ

࡞ͬͨ΋ͷͷҰ෦

ओͳஶॻɾ‫ྗڠ‬ ϥζύΠϚΨδϯɾ೔‫ܦ‬-JOVYɾ
ࣗ෼Ͱಈ͔͢ਓ޻஌ೳ

ड৆ "JEFNZOPUF
ಛผ৆ड৆

σΟʔϓϞβΠΫ

(PPHMFͷษ‫ڧ‬ձͰొஃ TFUG ϋʔυ෦ɿJetson Nano, Edge TPU & TF Lite micro ಛू IUUQTUGVHUPLZPDPOOQBTTDPNFWFOU (PPHMF͞Μͱ/7*%*"͞Μʹ‫·ڬ‬Εͯ"*ʹؔͯ͠ϓϨθϯʂʁ

ࠓ೔ͷΞδΣϯμ      "*ͬͯԿʁσΟʔϓϥʔχϯάͬͯԿʁ
σΟʔϓϥʔχϯά͕ಘҙͳ͜ͱ
͓͢͢Ί"*ΤοδσόΠε
"*ΤοδσόΠεͰը૾ೝࣝ
"*ਓࡐΛͲ͏΍ͬͯखʹೖΕΔʁ

࣭໰ "*ͬͯԿͰ͠ΐ͏ʁ

ʢࣗ෼ͷʣ౴͑ Α͘෼͔Γ·ͤΜ
ʢఆ͕ٛ͋Γ·ͤΜʣ

"*ͷఆٛͷྫ ग़యɿদඌ๛ʮਓ޻஌ೳ͸ਓؒΛ௒͑Δ͔ʯ

࣭໰ ‫ػ‬ցֶशͬͯԿʁ
σΟʔϓϥʔχϯάͬͯԿʁ

8IBU
JT
‫ػ‬ցֶशʁ ϧʔϧΛ‫ؤ‬ுͬͯ
࡞Γ͜Ήͷ͕ॏཁ %BUB *OQVU ैདྷͷ
ϓϩάϥϜ %BUB 0VUQVU ‫ػ‬ցֶश 1SPHSBN 3VMFT 1SPHSBN 3VMFT σʔλ͕ॏཁ %BUB *OQVU %BUB 0VUQVU ϧʔϧ͸σʔλ͔Β
ࣗಈతʹੜ੒͞ΕΔ ‫ػ‬ցֶश͸σʔλ͕ॏཁ

8IBU
JT
σΟʔϓϥʔχϯάʁ ‫ࢣڭ‬σʔλ ग़ྗ ‫఻ٯࠩޡ‬೻
ग़ྗ͕ਖ਼ղʹۙͮ͘Α͏ʹύϥϝʔλΛֶश ਓؒͷ೴ͷ࢓૊ΈΛࢀߟʹͨ͠‫ػ‬ցֶशͷख๏
ʮΞϧΰϦζϜվળʯʮ‫ݯࢿࢉܭ‬ͷ૿ՃʯʮϏοάσʔλʯ
ʹΑΓੑೳ͕ඈ༂తʹਐԽ

Ұൠతͳ֓೦ਤ ਓ޻஌ೳ
‫ػ‬ցֶश
"* .BDIJOF
-FBSOJOH %FFQ
-FBSOJOH

࣭໰ σΟʔϓϥʔχϯά͕
ಘҙͳ͜ͱͬͯԿͰ͠ΐ͏ʁ

ʢࣗ෼ͷʣ౴͑ ը૾ೝࣝ

‫ڀݚ‬ϨϕϧͰ͸‫ʹط‬ਓΛ௒͍͑ͯΔ ώϯτϯઌੜ͕σΟʔϓϥʔχϯάͰ ίϯϖͰѹউ͠িܸΛ༩͑Δ ೥ʹ͸‫ʹط‬ਓؒΛ௒ ͍͑ͯΔ "MFY/FU ;'/FU (PPH-F/FU
7((/FU 3FT/FU /7*%*"ҎԼαΠτΑΓҾ༻
IUUQTEFWCMPHTOWJEJBDPNNPDIBKMEFFQMFBSOJOHKVMJB

தখ‫ۀا‬ɾ‫ݸ‬ਓϨϕϧͰ‫༻׆‬ਐΉ"*ը૾ೝࣝ ͖Ύ͏ΓͷબՌ ΫϦʔχϯά԰͞Μͷ
"*ηϧϑϨδ "*ΤοδσόΠε͕‫
ͯ͠༻׆‬ Χϝϥͷ໾ׂ͕‫ه‬࿥͔ΒࢥߟʹมԽ

"*ΤοδσόΠεઓࠃ࣌୅ খ‫҆Ͱܕ‬Ձͳ"*ΤοδσόΠε͕
"*ͷ‫༻׆‬Λ‫ޙ‬ԡ͍ͯ͠͠Δ

‫ݸ‬ਓతͳ͓͢͢Ί +FUTPO
/BOP

+FUTPO
/BOPͷྑ͍ͱ͜Ζ 4%Χʔυ‫ى‬ಈɻ4%ΧʔυΛ ࡞੒Ͱ͖Δ1$ 8JOEPXT
1$ ͑͋͞Ε͹࢖͑Δ /7*%*"੡(16
$6%"ରԠ ๛෋ͳϥζύΠ
‫׵ޓ‬ͷ*0 7
64#ίωΫλ‫ిڅ‬ ߴੑೳͰখ‫ͳܕ‬ϥζύΠ༻
Χϝϥ͕઀ଓͰ͖Δ ωοτͰެ։͞Ε͍ͯΔιϑτ͕
ʢ‫ؤ‬ுΕ͹ΘΓͱʣͦͷ··ಈ͘

+FUTPO
/BOP
‫ྫ༻׆‬ +FUTPO
/BOPͰը૾ೝࣝΛ‫ݸͨ͠༻׆‬ਓͷϞϊͮ͘Γ .BLFS
'BJSF
5PLZP




+FUTPO
/BOPͰը૾ೝࣝ

+FUTPO
/BOPͰը૾෼ྨͱ෺ମ‫ݕ‬ग़ ਓͷࣸਅ 1FPQMF ը૾෼ྨ ͦͷը૾͕Կ͔Λ෼ྨ ෺ମ‫ݕ‬ग़ ը૾ͷͲ͜ʹԿ͕͋Δ͔Λ‫ݕ‬ग़ ϑϦʔૉࡐఏ‫ڙ‬ɿมσδ‫
ॴڀݚ‬IUUQTMBCIFOEJHJDPN

• https://lab.hendigi.com

σΟʔϓϥʔχϯάͷը૾෼ྨ։ൃϑϩʔ ೖྗը૾ ೖྗը૾ ೖྗը૾ ೖྗը૾ ‫ࢣڭ‬σʔλ ֶश ֶशϞσϧ ֶशͷϑϩʔ ςετը૾ ֶशϞσϧ ݁Ռ ೝࣝͷϑϩʔ ֶशͱೝࣝͱͭͷεςοϓͰ࣮‫ݱ‬

ֶशʹؔͯ͠ ೖྗը૾ ೖྗը૾ ೖྗը૾ ೖྗը૾ ‫ࢣڭ‬σʔλ ֶश ֶशϞσϧ ֶशͷϑϩʔ (PPHMF
$PMBCPSBUPSZͱ͍͏‫ߏڥ؀‬ஙෆཁɾແྉͰ ࢖͑Δϒϥ΢β্ͷ1ZUIPO࣮ߦ‫ڥ؀‬Λ࢖༻
‫ࢣڭ‬σʔλͷऩू͔Β5FOTPS'MPXʢ,FSBTʣΛ࢖ͬ ֶͨशͱֶशϞσϧͷอଘ·Ͱߦ͏

ֶशͷํ๏ ༗ྉOPUFͰνϡʔτϦΞϧެ։ͯ͠·͢ IUUQTOPUFNVLBSBBHFOOCDEEEF ͦͷଞͷ༏ྑͳνϡʔτϦΞϧ͸ɺҎԼ‫ࢀࣄه‬র͍ͩ͘͞ IUUQTLBSBBHFIBUFOBEJBSZKQFOUSZ

+FUTPO
/BOPͰը૾෼ྨ ҎԼߦͰֶशࡁΈͷϞσϧΛ࢖ͬͨը૾෼ྨͷ ςετ͕Մೳ 
HJU
DMPOF
IUUQTHJUIVCDPNLBSBBHFLFSBTQJ

DE
LFSBTQJ

QZUIPO
JOTQFDU@DBNFSBQZ
EKFUTPO@OBOP@SBTQJ@DBN 1$ɾϥζύΠͰ΋ɺಉ͡ιϑτ͕ಈ͖·͢
ʢҰ෦ΦϓγϣϯͳͲมߋཁʣ

+FUTPO
/BOPͰը૾෼ྨ

σόΠεຖͷը૾ೝࣝ࣌ؒ Ϟσϧɿࣗ࡞ͷ௒খ‫ܕ‬χϡʔϥϧωοτϫʔΫ
ຕͷը૾ͷೝࣝʹ͔͔Δ࣌ؒΛଌఆ ೝࣝ࣌ؒ<ඵ>      ϥζύΠ +FUTPO
/BOP J.BD ϥζύΠΑΓഒߴ଎ɾ1$ͱ΄΅ಉ౳

+FUTPO
/BOPͰ෺ମ‫ݕ‬ग़

σΟʔϓϥʔχϯάͷ෺ମ‫ݕ‬ग़։ൃϑϩʔ ೖྗը૾ ೖྗը૾ ೖྗը૾ ೖྗը૾ ‫ࢣڭ‬σʔλ ֶश ֶशϞσϧ ֶशͷϑϩʔ ςετը૾ ֶशϞσϧ ݁Ռ ೝࣝͷϑϩʔ ։ൃͷϑϩʔࣗମ͸ը૾෼ྨͱಉ͡
ֶशϞσϧ͸ΑΓߴ౓ͳʢॏ͍ʣ΋ͷʹ

5FOTPS'MPX
0CKFDU
%FUFDUJPO
"1* (PPHMF͕ެ։͍ͯ͠Δɺ෺ମ‫ݕ‬ग़ͷͨΊͷιϑτ IUUQTHJUIVCDPNUFOTPSqPXNPEFMTUSFFNBTUFSSFTFBSDIPCKFDU@EFUFDUJPO
ΑΓҾ༻

• https://github.com/tensorflow/models/tree/master/research/object_detection

5FOTPS'MPX
0CKFDU
%FUFDUJPO
"1*ͷྑ͍఺ ༷ʑͳΞϧΰϦζϜʢ44%
3$//
ʜ
FDUʣ͕ ࢼͤΔ
ֶश͔Βਪ࿦·ͰՄೳͳιϑτ͕ἧ͍ͬͯΔ
͙͢࢖͑ΔֶशࡁΈͷϞσϧ͕ʮ.PEFM
;PPʯ ͱͯ͠ެ։͞Ε͍ͯΔ

5FOTPS'MPX
0CKFDU
%FUFDUJPO
"1*ͷѱ͍఺ ࢖͍ํ͕೉͍͠ ʢଟগʣ࢖͍΍͘͢͢ΔͨΊͷπʔϧ
ʮ0CKFDU
%FUFDUJPO
5PPMTʯΛ࡞Γ·ͨ͠ IUUQTHJUIVCDPNLBSBBHFPCKFDU@EFUFDUJPO@UPPMT

ʮ0CKFDU
%FUFDUJPO
5PPMTʯͷར఺ •ֶशιϑτͱਪ࿦ιϑτΛ෼཭͠ɺ‫ڊ‬େͳʮObject Detection APIʯແ͠Ͱखܰʹਪ࿦ʢ෺ମ‫ݕ‬ग़ʣ͕ࢼͤΔεΫϦϓτΛ༻ҙ •ֶशͷखؒΛ‫ݮ‬Β͢ϑΝΠϧʢઃఆϑΝΠϧ౳ʣΛ༻ҙ •NVIDIA TensorRTʹΑΔJetson Nano΁ͷϞσϧ࠷దԽεΫϦϓ τΛ༻ҙ ৄ͘͠͸ϒϩά‫ࢀࣄه‬রԼ͍͞
IUUQTLBSBBHFIBUFOBEJBSZKQFOUSZ

+FUTPO
/BOPͰ෺ମ‫ݕ‬ग़ ҎԼߦͷίϚϯυͰɺֶशࡁΈͷϞσϧμ΢ϯϩʔ υ͔Β෺ମ‫ݕ‬ग़·ͰՄೳ $ cd && git clone https://github.com/karaage0703/ object_detection_tools $ cd ~/object_detection_tools/models $ ./get_ssdlite_mobilenet_v2_coco_model.sh $ cd ~/object_detection_tools $ python3 scripts/object_detection.py -l='models/cocolabels-paper.txt' -m=‘models/ ssdlite_mobilenet_v2_coco_2018_05_09/ frozen_inference_graph.pb’ -d=‘jetson_nano_raspi_cam’

+FUTPO
/BOPͰ෺ମ‫ݕ‬ग़

σόΠεຖͷը૾ೝࣝ࣌ؒ Ϟσϧɿ44%
-JUF
.PCJMFOFU
W࢖༻
ຕͷը૾ͷೝࣝʹ͔͔Δ࣌ؒΛଌఆ ೝࣝ࣌ؒ<ඵ>      ϥζύΠ +FUTPO
/BOP J.BD ϥζύΠͷ໿ഒɾ1$ͱಉ౳ͷεϐʔυ
஫ɿ/7*%*"
5FOTPS35Ͱߴ଎Խ࣮ࢪ

ը૾ೝࣝͷੑೳΛ ޲্ͤ͞Δʹ͸ʁ

୊ࡐɿ%FFQ
+BOLFO
0HBLJ
.JOJ
.BLFS
'BJSF
ग़లʣ

ը૾ೝࣝਫ਼౓޲্ͷ޻෉ ɾ҆ఆͨ͠ࡱӨ‫ڥ؀‬ͷߏங
ɾֶश‫ܦ‬աͷ֬ೝ
ɾϞσϧͷબ୒
ɾσʔλͷਫ૿͠
ɾଟ਺ͷϑΟʔυόοΫ

ɹ҆ఆͨ͠ࡱӨ‫ڥ؀‬ͷߏங ϥΠτ΍ΧϝϥͰ҆ఆͨ͠ࡱӨ‫ڥ؀‬Λߏங શ෦‫Ͱۉ‬ௐୡ

ֶश‫ܦ‬աͷ֬ೝ ͙͢ਫ਼౓͕ʹανΔ Ξοοϓμ΢ϯ‫܁‬Γฦ͠ͳ͕Β
ਫ਼౓͕͡Θ͡Θ޲্͍ͯ͠Δ աֶश͍ͯ͠Δ
‫ࢣڭ‬σʔλ͕ྑ͘ͳ͍
ʢσʔλෆ଍͕େ൒ʣ ྑֶ͍श͕Ͱ͖͍ͯΔ͔΋ʂʁ

Ϟσϧͷબ୒ ɾมʹ͕Μ͹Βͣɺ࠷ઌ୺ͷ‫࡞͕ऀڀݚ‬੒ͨ͠༏लͳϞ σϧΛબͼ·͠ΐ͏
ɾλεΫʹΑͬͯɺ࠷దͳϞσϧ͸ҟͳΔͷͰɺ৭ʑࢼ ͯ͠ΈΔͷ͕ྑ͍Ͱ͢
ɾେ͖͍Ϟσϧ͸ɺେྔͷσʔλΛલఏͱ͍ͯ͠ΔͷͰɺ σʔλ͕ͦΕ΄Ͳେ͖͘ແ͍ʢ਺ඦຕʣ৔߹͸ɺখ͍͞ ϞσϧΛ࢖ͬͨํ͕ྑ͍৔߹΋͋Γ·͢

σʔλͷਫ૿͠ ৭ʑͳख๏͕͋ΔɻσΟʔϓϥʔχϯάͷ ϑϨʔϜϫʔΫʹඪ४తͳ‫ػ‬ೳ͕උΘͬͯ ͍ΔͷͰɺ·ͣ͸ͦΕΛ࢖͏ͷ͕ྑ͍

ࣦഊύλʔϯΛ‫ֶ͚ͯͭݟ‬श ֶश ςετ μϝͳύλʔϯͷ ‫ࢣڭ‬σʔλऔಘ μϝͳύλʔϯͷྫʢδϟϯέϯͷ৔߹ʣ ɾखͷ֯౓ͷҧ͍
ɾखͷ‫ܗ‬ͷҧ͍ʢਓʹΑͬͯҟͳΔʣ
ɾάʔɺνϣΩɺύʔҎ֎ͷख
ɾࣗ෼Ҏ֎ͷਓͷखʢࢠ‫ڙ‬ͷखʣ
ɾ෰ͷକ
ɾFUDʜ
஍ಓͳςετɾ/(ύλʔϯऩूɾֶशϑΟʔυόοΫͷ‫܁‬Γฦ͠
టष͍࡞‫͕ۀ‬ଟ͍Ͱ͢

ࣦഊύλʔϯΛ‫ֶ͚ͯͭݟ‬श ֶश ςετ μϝͳύλʔϯͷ ‫ࢣڭ‬σʔλऔಘ μϝͳύλʔϯͷྫʢδϟϯέϯͷ৔߹ʣ ɾखͷ֯౓ͷҧ͍
ɾखͷ‫ܗ‬ͷҧ͍ʢਓʹΑͬͯҟͳΔʣ
ɾάʔɺνϣΩɺύʔҎ֎ͷख
ɾࣗ෼Ҏ֎ͷਓͷखʢࢠ‫ڙ‬ͷखʣ
ɾ෰ͷକ
ɾFUDʜ
஍ಓͳςετɾ/(ύλʔϯऩूɾֶशϑΟʔυόοΫͷ‫܁‬Γฦ͠
టष͍࡞‫͕ۀ‬ଟ͍Ͱ͢

"*ਓࡐͷ‫ํ͚ͭݟ‬

"*ਓࡐΛͲ͏‫͚ͭݟ‬Δ͔ "*ਓࡐͷՁ֨͸ߴಅʂ
ո͛͠ͳ"*ϕϯνϟʔ΋ଟ͍ʜ ͍ͳ͚Ε͹ɹҭͯͯΈΑ͏ɹ"*ਓࡐ
͔Β͋͛৺ͷആ۟

"*‫Ͱ༻׆‬େ੾ͳ͜ͱ ࣮ࡍͷ"*γεςϜͰ‫ػ‬ցֶशʢσΟʔϓϥʔχϯάʣͷٕज़͕઎ΊΔׂ߹ NIPS2015࿦จ"Hidden Technical Debt in Machine Learning Systems" ΑΓҾ༻ "*ٕज़͸ॏཁ͚ͩΕͲɺશମͷ‫ۃ‬Ұ෦
"*ٕज़ऀ͕‫ۀ‬຿஌ࣝΛֶͿΑΓ
"*ٕज़ऀΛҭ੒ͨ͠ํ͕ۙಓ͔΋

• https://papers.nips.cc/paper/5656-hidden-technical-debt-in-machine-learning-systems

σΟʔϓϥʔχϯά͓͡͞Μͷࣄྫ IUUQTLBSBBHFIBUFOBEJBSZKQFOUSZ

σΟʔϓϥʔχϯά͓͡͞Μͷ‫੻ي‬ ϲ݄ σΟʔϓϥʔχϯάͷը૾ೝࣝσϞΛ‫ʹ*"ͯݟ‬໨֮ΊΔ िؒ‫ޙ‬ -JOVYɾ"*‫ڥ؀‬ηοτΞοϓ ϲ݄‫ޙ‬ 1ZUIPOͰը૾ೝࣝϓϩάϥϜ։ൃ
࢓ࣄͰ‫༻׆‬։࢝ ϲ݄‫ޙ‬ ηϛφʔࢀՃͷߨࢣͱର౳ʹٞ࿦ ϲ݄‫ޙ‬ +FUTPO
5959Λ୆ͣͭἧ͑ͯσΟʔϓϥʔχϯά࣮‫ݧ‬ ϲ݄‫ޙ‬ ձࣾͷ"*ઓུΛಈ͔͢ਓࡐʹ ΄΅ಠֶͰ୹‫ٕ*"Ͱؒظ‬ज़Λ਎ʹ͚ͭ‫ۀ‬຿Ͱ‫༻׆‬

ແྉɾ֨҆ͷ‫ࡐڭ‬ɺֶश‫ڥ؀‬͸ᷓΕ͍ͯΔ खΛಈ͔͠ͳ͕Βֶ΂ΔσΟʔϓϥʔχϯάͷ༏ྑͳνϡʔτϦΞϧ IUUQTLBSBBHFIBUFOBEJBSZKQFOUSZ ඞཁͳͷ͸৘೤ͱηϯεͱ࠷௿‫ݶ‬ͷ͓ۚ
ʢ1$ɺॻ੶ɺηϛφʔͳͲ͸ένΒͳ͍ʣ

"*ਓࡐ͸͋ͳ͔ͨ΋ʁ

‫ه‬࿥͔Βࢥߟ΁
૝૾͔Β૑଄΁

͝੩ௌ
͋Γ͕ͱ͏͍͟͝·ͨ͠