sysext: new tool for managing "system extensions" for /usr/ + /opt/

Merge pull request #18294 from ssahani/net-2

tree wide use ensure_put

Merge pull request #18300 from yuwata/analyze-verify-18252

analyze: resolve executable path if it is relative

udev: Use TAKE_PTR

udev-rules: Use ordered_hashmap_ensure_put

sysusers: use ordered_hashmap_ensure_put

Merge pull request #18303 from yuwata/verity-cleanup

veritysetup-generator: drop unused struct and variable

Merge pull request #18038 from yuwata/meson-split

meson: various cleanups

Merge pull request #18267 from lucaswerkmeister/truncate

Two StandardOutput=truncate:file improvements

Merge pull request #18299 from ssahani/ensure-put

More use of hashmap_ensure_put and ordered_hashmap_ensure_put

TODO: fix typo

veritysetup-generator: drop unused struct and variable

Follow-ups for 08b04ec7e72b7327b4803809732b1b8fce8dd069.

This also drops unnecessary inclusion.

Fixes CID#1443889.

meson: move several definitions related libsystemd to src/libsystemd/meson.build

meson: use static_libsystemd_pic

meson: add missing license header

meson: move test or fuzzer definitions to relevant meson.build in subdirectories

meson: drop unused variable

meson: drop unnecessary files from test definitions

meson: drop unnecessary libraries from journal related tests

meson: slightly disentangle code dependencies

But, still sd-id128 is used in src/basic.

meson: sort inclusion of meson.build files in subdirectories

meson: move libjournal_core definition to src/journal/meson.build

meson: move libudev related definitions to src/libudev/meson.build

Also, this makes libudev.so built in build directory.

meson: move and gather find_program()

meson: drop redundant source files in executable()

meson: move source file list for systemd-xdg-autostart-generator and its tests

meson: move source file list for busctl

meson: move source file list for systemd-cryptenroll

meson: move source file list for systemd-cryptsetup

meson: show standalone-binaries setting in the summary

meson: use condition argument in test definition

meson: drop redundant directory specification in additional source files

meson: move definition of systemctl source files

meson: introduce libtimesyncd_core library

meson: enable several tests even if the relevant features are disabled

meson: fix indentation

meson: drop unnecessary variable declarations

meson: drop unnecessary loop

test: drop bus-util.h from sd-bus

To drop src/shared from include directories to build libsystemd.so later.

efi: create symbolic link to efi/loader-feature.h

To drop src/boot/efi from include directories for binaries later.

util: move several DNS related definitions to src/basic/dns-def.h

DNS_HOSTNAME_MAX is used by sd-resolve, but it was defined in
src/shared/dns-domain.h. The library libsystemd should be independent
of source files under src/shared.

util: move unit-file.[ch] to src/basic

As basic/path-lookup.[ch] depend on them.

util: move parse_syscall_and_errno() to seccomp-util.c

This makes parse-util.c independent of seccomp-util.c, which is located
in src/shared.

fuzzers: move several fuzzers

meson: fix indentation

meson: make the second and third elements of tests or fuzzers optional

Then, we can shorten many test definitions.

test: move test-umount.c to src/shutdown

Then, we can drop src/shutdown from include directories later.

core: move several source files to src/shared

As, the files are used by many executables, fstab-generator, remount-fs,
machine-id-setup, and etc.
With this change, the total size of the relevant executables and
libshared slightly decreases.

Before:
```
$ ll systemd-fstab-generator systemd-remount-fs systemd-machine-id-setup systemd-shutdown systemd-nspawn systemd src/shared/libsystemd-shared-247.so
-rwxrwxr-x 1 watanabe watanabe 7577800 Jan  5 13:35 src/shared/libsystemd-shared-247.so
-rwxrwxr-x 1 watanabe watanabe 4608360 Jan  5 13:35 systemd
-rwxrwxr-x 1 watanabe watanabe  117240 Jan  5 13:35 systemd-fstab-generator
-rwxrwxr-x 1 watanabe watanabe   61576 Jan  5 13:35 systemd-machine-id-setup
-rwxrwxr-x 1 watanabe watanabe  853080 Jan  5 13:35 systemd-nspawn
-rwxrwxr-x 1 watanabe watanabe   70600 Jan  5 13:35 systemd-remount-fs
-rwxrwxr-x 1 watanabe watanabe  172624 Jan  5 13:35 systemd-shutdown
```
Total: 13461280

After:
```
$ ll systemd-fstab-generator systemd-remount-fs systemd-machine-id-setup systemd-shutdown systemd-nspawn systemd src/shared/libsystemd-shared-247.so
-rwxrwxr-x 1 watanabe watanabe 7658336 Jan  5 13:32 src/shared/libsystemd-shared-247.so
-rwxrwxr-x 1 watanabe watanabe 4523560 Jan  5 13:32 systemd
-rwxrwxr-x 1 watanabe watanabe   78288 Jan  5 13:32 systemd-fstab-generator
-rwxrwxr-x 1 watanabe watanabe   30984 Jan  5 13:32 systemd-machine-id-setup
-rwxrwxr-x 1 watanabe watanabe  840384 Jan  5 13:32 systemd-nspawn
-rwxrwxr-x 1 watanabe watanabe   39104 Jan  5 13:32 systemd-remount-fs
-rwxrwxr-x 1 watanabe watanabe  117160 Jan  5 13:32 systemd-shutdown
```
Total: 13287816

test: rewrite test-sd-device-thread.c to depend only on libsystemd

Similarly, this makes test-udev-device-thread.c depend only on libudev.

test: move tests for libudev into src/libudev

time-wait-sync: move time-wait-sync.c -> src/timesync/wait-sync.c

As wait-online is located under src/network.

xdg: move tests for xdg-autostart-generator

Then, we can drop src/xdg-autostart-generator from include directories
later.

meson.build: drop unused variable

test: move test-systemd-tmpfiles.py from src/test to test

As the other test scripts, e.g. test-sysusers.sh, are located under
test rather than src/test.

login: move src/login/logind-acl.[ch] -> src/shared/devnode-acl.[ch]

The files are used by logind and udevd. And the functions in the files
are not specific to logind, and quite general enough to move to
libshared.

tmpfiles: move offline-passwd.[ch] to src/tmpfiles

offline-passwd.[ch] are only used by systemd-tmpfiles and the relevant
test. And are not included in libshared. So, it is not suitable to
located under src/shared.

sd-journal: move source files for sd-journal to src/libsystemd/sd-journal

analyze: resolve executable path if it is relative

Fixes #18252.

path-util: also check absolute path is a directory or not in find_executable()

Merge pull request #17228 from bluca/bind_path_runtime

core: add systemctl and DBUS method to bind mount new paths without service restart

man: document effects of concurrent truncation

Co-authored-by: Lennart Poettering <lennart@poettering.net>

import: use - hashmap_ensure_put

core: execute - use hashmap_ensure_put

core: dbus - use set_ensure_put

network: sd-dhcp6-client - use ordered_hashmap_ensure_put

share: bus-unit-procs - use hashmap_ensure_put

resolve: link - use hashmap_ensure_put

remount-fs: Use hashmap_ensure_put

core: transaction - use hashmap_ensure_put

resolved: fix use-after-free with queries hitting the cache

When dns_transaction_complete() manages to resolve a query, it invalidates the
query candidate object. It shall not be accessed afterwards.

We have the following chain of calls:
dns_query_candidate_go → dns_transaction_go → dns_transaction_prepare → dns_cache_lookup (success: 1)
                                                                      → dns_transaction_complete
After returning back to dns_query_candidate_go(), we'd attempt to continue
iteration over the list of transactions attached to the query candidate,
accessing already freed (and overwritten) memory:

(gdb) bt
0  0x00007f637297cf47 in hashmap_iterate_entry (i=0x7ffe7e15cc90, h=0x706f746b73656465) at ../src/basic/hashmap.c:703
1  _hashmap_iterate (h=0x706f746b73656465, i=i@entry=0x7ffe7e15cc90, value=value@entry=0x7ffe7e15cc88,
    key=key@entry=0x0) at ../src/basic/hashmap.c:712
2  0x00007f637297d01b in set_iterate (s=<optimized out>, i=i@entry=0x7ffe7e15cc90, value=value@entry=0x7ffe7e15cc88)
    at ../src/basic/hashmap.c:733
hence we crash

3  0x0000557bc99eb80f in dns_query_candidate_go (c=c@entry=0x557bcaf86890) at ../src/resolve/resolved-dns-query.c:139
...but c is not valid here in the second iteration of the loop

4  0x0000557bc99eb720 in dns_query_candidate_notify (c=0x557bcaf86890) at ../src/resolve/resolved-dns-query.c:271
c was valid here at entry...

5  0x0000557bc99efe28 in dns_transaction_complete (t=0x557bcac072f0, state=<optimized out>)
    at ../src/resolve/resolved-dns-transaction.c:350
t is a valid transaction (11481 in the backtrace below)

6  0x0000557bc99f1efb in dns_transaction_process_reply (t=0x557bcac072f0, p=<optimized out>)
    at ../src/resolve/resolved-dns-transaction.c:1171
7  0x0000557bc99f2d41 in on_dns_packet (s=<optimized out>, fd=<optimized out>, revents=<optimized out>,
    userdata=0x557bcac072f0) at ../src/resolve/resolved-dns-transaction.c:1223
8  0x00007f6372a25217 in source_dispatch (s=s@entry=0x557bcb162c50) at ../src/libsystemd/sd-event/sd-event.c:3181
9  0x00007f6372a254fd in sd_event_dispatch (e=0x557bcb15b050) at ../src/libsystemd/sd-event/sd-event.c:3620
10 0x00007f6372a267c8 in sd_event_run (e=e@entry=0x557bcb15b050, timeout=timeout@entry=18446744073709551615)
    at ../src/libsystemd/sd-event/sd-event.c:3678
11 0x00007f6372a269ef in sd_event_loop (e=0x557bcb15b050) at ../src/libsystemd/sd-event/sd-event.c:3700
12 0x0000557bc99ddc14 in run (argc=<optimized out>, argv=<optimized out>) at ../src/resolve/resolved.c:92
13 0x0000557bc99d260a in main (argc=<optimized out>, argv=<optimized out>) at ../src/resolve/resolved.c:99

xxx.name.net systemd-resolved[31705]: Got message type=method_call sender=:1.3644 destination=org.freedesktop.resolve1 path=/org/freedesktop/resolve1 interface=org.freedesktop.resolve1.Manager member=ResolveHostname cookie=2 reply_cookie=0 signature=isit error-name=n/a error-message=n/a
xxx.name.net systemd-resolved[31705]: idn2_lookup_u8: xxx → xxx
xxx.name.net systemd-resolved[31705]: Looking up RR for xxx IN A.
xxx.name.net systemd-resolved[31705]: Sent message type=method_call sender=n/a destination=org.freedesktop.DBus path=/org/freedesktop/DBus interface=org.freedesktop.DBus member=AddMatch cookie=1102 reply_cookie=0 signature=s error-name=n/a error-message=n/a
xxx.name.net systemd-resolved[31705]: Sent message type=method_call sender=n/a destination=org.freedesktop.DBus path=/org/freedesktop/DBus interface=org.freedesktop.DBus member=GetNameOwner cookie=1103 reply_cookie=0 signature=s error-name=n/a error-message=n/a
xxx.name.net systemd-resolved[31705]: Got message type=method_return sender=org.freedesktop.DBus destination=:1.3324 path=n/a interface=n/a member=n/a cookie=4294967295 reply_cookie=1103 signature=s error-name=n/a error-message=n/a
xxx.name.net systemd-resolved[31705]: Cache miss for xxx.name.net IN A
xxx.name.net systemd-resolved[31705]: Transaction 11481 for <xxx.name.net IN A> scope dns on enp42s0/*.
xxx.name.net systemd-resolved[31705]: Using feature level UDP for transaction 11481.
xxx.name.net systemd-resolved[31705]: Using DNS server 192.168.1.1 for transaction 11481.
xxx.name.net systemd-resolved[31705]: Sending query packet with id 11481 of size 35.
xxx.name.net systemd-resolved[31705]: Got message type=method_return sender=org.freedesktop.DBus destination=:1.3324 path=n/a interface=n/a member=n/a cookie=4294967295 reply_cookie=1102 signature= error-name=n/a error-message=n/a
xxx.name.net systemd-resolved[31705]: Match type='signal',sender='org.freedesktop.DBus',path='/org/freedesktop/DBus',interface='org.freedesktop.DBus',member='NameOwnerChanged',arg0=':1.3644' successfully installed.
xxx.name.net systemd-resolved[31705]: Processing incoming packet on transaction 11481 (rcode=NXDOMAIN).
xxx.name.net systemd-resolved[31705]: Not caching negative entry without a SOA record: xxx.name.net IN A
xxx.name.net systemd-resolved[31705]: Transaction 11481 for <xxx.name.net IN A> on scope dns on enp42s0/* now complete with <rcode-failure> from network (unsigned).
xxx.name.net systemd-resolved[31705]: Positive cache hit for xxx.lan IN A
xxx.name.net systemd-resolved[31705]: Transaction 64364 for <xxx.lan IN A> on scope dns on enp42s0/* now complete with <success> from cache (unsigned).
xxx.name.net systemd-resolved[31705]: Sent message type=method_return sender=n/a destination=:1.3644 path=n/a interface=n/a member=n/a cookie=1104 reply_cookie=2 signature=a(iiay)st error-name=n/a error-message=n/a
xxx.name.net systemd-resolved[31705]: Sent message type=method_call sender=n/a destination=org.freedesktop.DBus path=/org/freedesktop/DBus interface=org.freedesktop.DBus member=RemoveMatch cookie=1105 reply_cookie=0 signature=s error-name=n/a error-message=n/a
xxx.name.net systemd-resolved[31705]: Freeing transaction 64364.
xxx.name.net systemd[1]: systemd-resolved.service: Main process exited, code=dumped, status=11/SEGV
xxx.name.net systemd[1]: systemd-resolved.service: Failed with result 'core-dump'.

Fixes #16168, https://bugzilla.redhat.com/show_bug.cgi?id=1895937.

sysusers: use ordered_hashmap_ensure_put

sd-netlink: use hashmap_ensure_put

varlink: use hashmap_ensure_put

network: wait-online - add a assert

network: wait-online - use hashmap_ensure_put

network: radv - use hashmap_ensure_put

install: use ordered_hashmap_ensure_put

network: Use TAKE_PTR

network: network -- use ordered_hashmap_ensure_put

network: address - use ordered_hashmap_ensure_put

update TODO

network: macsec - use ordered_hashmap_ensure_put

test: run strace with -f and copy log out

test: skip missing optional libraries in image install

Not all optional libraries might be available on developers machines,
so log and skip.
Also some pkg-config files are broken (eg: tss2 on Debian Stable) so
skip if the required variables are missing, and improve logs.

core: add DBUS method to bind mount new nodes without service restart

Allow to setup new bind mounts for a service at runtime (via either
DBUS or a new 'systemctl bind' verb) with a new helper that forks into
the unit's mount namespace.
Add a new integration test to cover this.

Useful for zero-downtime addition to services that are running inside
mount namespaces, especially when using RootImage/RootDirectory.

If a service runs with a read-only root, a tmpfs is added on /run
to ensure we can create the airlock directory for incoming mounts
under /run/host/incoming.

MountAPIVFS: always mount a tmpfs on /run

We need a writable /run for most operations, but in case a read-only
RootImage (or similar) is used, by default there's no additional
tmpfs mount on /run. Change this behaviour and document it.

machine: use file descriptor when chasing bind mount sources

Allows to always operate on pinned inodes, rather than paths, so that
races are less likely

machine: enter target PID namespace when adding a live mount

machinectl fails since 21935150a0c42b91a322105f6a9129116bfc8e2e as it's now
mounting onto a file descriptor in a target namespace, without joining the
target's PID namespace.
Note that it's not enough to setns CLONE_NEWPID, but a double-fork is required
as well, as implemented by namespace_fork().

Add a test case to TEST-13-NSPAWN to cover this use case.

shared/mount-util: use namespace_fork utils

machine: adjust error message to use 'normalized' instead of ../

machine/basic: factor out helper function to add airlocked mount to namespace

hwdb: Add Logitech MX 518 Legendary mouse

Add Logitech MX 518 Legendary model to hwdb.

Merge pull request #18289 from yuwata/core-load-fragment-cleanups

pid1: several cleanups for conf parsers

network: bond - use ordered_set_ensure_put

journal: context - use hashmap_ensure_put

journal: context - Use _cleanup_free_

network: address-pool: also check conflicts with foreign addresses

Fixes CI issue found in
https://github.com/systemd/systemd-centos-ci/pull/334.

hwdb: Add NEWYES 10" LCD writing tablet (#18274)

core: add logs when credential value is duplicated

core: make config_parse_documentation() explicitly return 0 on success